rsync exclude selon .gitignore & .hgignore & svn: ignore comme --filter =: C

Rsync inclut une option astucieuse --cvs-excludepour «ignorer les fichiers de la même manière que CVS», mais CVS est obsolète depuis des années. Existe-t-il un moyen d'exclure également les fichiers qui seraient ignorés par les systèmes de contrôle de version modernes (Git, Mercurial, Subversion)?

Par exemple, j'ai beaucoup de projets Maven extraits de GitHub. En général, ils incluent .gitignoreau moins une liste target, le répertoire de construction par défaut de Maven (qui peut être présent au niveau supérieur ou dans des sous-modules). Étant donné que le contenu de ces répertoires est entièrement jetable et qu'ils peuvent être beaucoup plus volumineux que le code source, je voudrais les exclure lors de l'utilisation de rsync pour les sauvegardes.

Bien sûr, je peux explicitement, --exclude=target/mais cela supprimera accidentellement les répertoires non liés qui se trouvent juste être nommés targetet ne sont pas censés être ignorés.

Et je pourrais fournir une liste complète des chemins absolus pour tous les noms de fichiers et de motifs mentionnés dans tout .gitignore, .hgignoreou svn:ignorebien sur mon disque, mais ce serait une énorme liste qui devrait être produit par une sorte de script.

Puisque rsync n'a pas de support intégré pour les extractions VCS autres que CVS, y a-t-il une bonne astuce pour lui donner leurs modèles d'ignorance? Ou une sorte de système de rappel par lequel un script utilisateur peut être demandé si un fichier / répertoire donné doit être inclus ou non?

Mise à jour : --filter=':- .gitignore'comme suggéré par LordJavac semble fonctionner aussi bien pour Git que --filter=:Cpour CVS, du moins sur les exemples que j'ai trouvés, bien que l'on ne sache pas si la syntaxe correspond exactement. --filter=':- .hgignore'ne fonctionne pas très bien pour Mercurial; par exemple, un .hgignorecontenant une ligne comme ^target$(l'équivalent Mercurial de Git /target/) n'est pas reconnu par rsync comme une expression régulière. Et rien ne semble fonctionner pour Subversion, pour lequel vous auriez à analyser .svn/dir-prop-baseune copie de travail 1.6 ou antérieure, et à lever les mains avec consternation pour une copie de travail 1.7 ou ultérieure.

Comme mentionné par luksan, vous pouvez le faire avec le --filterpassage à rsync. J'ai réalisé cela avec --filter=':- .gitignore'(il y a un espace avant ".gitignore") qui dit rsyncde faire une fusion de répertoire avec les .gitignorefichiers et de les exclure par les règles de git. Vous pouvez également ajouter votre fichier ignorer global, si vous en avez un. Pour faciliter son utilisation, j'ai créé un alias rsyncauquel le filtre était inclus.

Vous pouvez utiliser git ls-filespour créer la liste des fichiers exclus par les .gitignorefichiers du référentiel . https://git-scm.com/docs/git-ls-files

Options:

• --exclude-standardConsidérez tous les .gitignorefichiers.
• -o N'ignorez pas les changements non organisés.
• -i Afficher uniquement les fichiers ignorés.
• --directory Affiche le chemin du répertoire uniquement si le répertoire entier est ignoré.

La seule chose qu'il me restait à ignorer était .git.

rsync -azP --exclude=.git --exclude=`git -C <SRC> ls-files --exclude-standard -oi --directory` <SRC> <DEST>

et pourquoi rsync --exclude-from='path/.gitignore' --exclude-from='path/myignore.txt' source destination?
Cela a fonctionné pour moi.
Je pense que vous pouvez aussi avoir plus de --exclude-fromparamètres.

Solution 2018 confirmée

rsync -ah --delete 
    --include .git --exclude-from="$(git -C SRC ls-files \
        --exclude-standard -oi --directory >.git/ignores.tmp && \
        echo .git/ignores.tmp')" \
    SRC DST 

Détails: --exclude-fromest obligatoire au lieu de --exclude car le cas probable qui exclut la liste ne serait pas analysé comme un argument. Exclure de nécessite un fichier et ne peut pas fonctionner avec des tuyaux.

La solution actuelle enregistre le fichier d'exclusion dans le dossier .git afin de garantir qu'il n'affectera pas git statustout en le gardant autonome. Si vous le souhaitez, vous pouvez utiliser / tmp.

Pour mercurial, vous pourriez utiliser

hg status -i | sed 's/^I //' > /tmp/tmpfile.txt

pour collecter la liste des fichiers qui ne sont PAS sous contrôle mercurial en raison des restrictions .hgignore , puis exécutez

rsync -avm --exclude-from=/tmp/tmpfile.txt --delete source_dir/ target_dir/

pour rsync tous les fichiers sauf ceux ignorés. Remarquez l' indicateur -m dans rsync qui exclura les répertoires vides de la synchronisation car hg status -i ne listerait que les fichiers exclus, pas les répertoires

Essaye ça:

rsync -azP --delete --filter=":- .gitignore" <SRC> <DEST>

Il peut copier tous les fichiers dans le répertoire distant à l'exception des fichiers dans '.gitignore' et supprimer les fichiers qui ne se trouvent pas dans votre répertoire actuel.

Selon la rsyncpage de manuel, en plus de la liste standard des modèles de fichiers:

les fichiers répertoriés dans $ HOME / .cvsignore sont ajoutés à la liste et tous les fichiers répertoriés dans la variable d'environnement CVSIGNORE

Donc, mon fichier $ HOME / .cvsignore ressemble à ceci:

.git/
.sass-cache/

pour exclure .git et les fichiers générés par Sass .

J'avais un certain nombre de .gitignorefichiers très volumineux et aucune des solutions «rsync pure» ne fonctionnait pour moi. J'ai écrit ce script wrapper rsync , il respecte totalement les .gitignorerègles (incluez les !exceptions de style -style et les .gitignorefichiers dans les sous-répertoires) et a fonctionné comme un charme pour moi.

Consultez la section RÈGLES DE FILTRE DE FUSION-FILES dans rsync (1).

Il semble qu'il soit possible de créer une règle rsync --filter qui inclura les fichiers .gitignore au fur et à mesure que la structure des répertoires sera parcourue.

Au lieu de créer des filtres d'exclusion, vous pouvez utiliser git ls-filespour sélectionner chaque fichier à rsync:

#!/usr/bin/env bash

if [[ ! $# -eq 2 ]] ; then
    echo "Usage: $(basename $0) <local source> <rsync destination>"
    exit 1
fi

cd $1
versioned=$(git ls-files --exclude-standard)
rsync --verbose --links --times --relative --protect-args ${versioned} $2

Cela fonctionne même si git ls-filesrenvoie des chemins séparés par une nouvelle ligne. Ne fonctionnera probablement pas si vous avez des fichiers versionnés avec des espaces dans les noms de fichiers.

Alternatives:

git ls-files -zi --exclude-standard |rsync -0 --exclude-from=- ...

git ls-files -zi --exclude-per-directory=".gitignore" |...

(rsync ne comprend que partiellement .gitignore)

Réponse courte

rsync -r --info=progress2 --filter=':- .gitignore' SOURCE DEST/

Paramètres signifiant:

-r: récursif

--info=...: afficher la progression

--filter=...: exclure selon les règles répertoriées dans le fichier .gitignore