Comment puis-je calculer une somme de contrôle md5 d'un répertoire?

J'ai besoin de calculer une somme de contrôle md5 récapitulative pour tous les fichiers d'un type particulier ( *.pypar exemple) placés sous un répertoire et tous les sous-répertoires.

Quelle est la meilleure façon de le faire?

Edit: Les solutions proposées sont très sympas, mais ce n'est pas exactement ce dont j'ai besoin. Je recherche une solution pour obtenir une somme de contrôle récapitulative unique qui identifiera de manière unique le répertoire dans son ensemble, y compris le contenu de tous ses sous-répertoires.

find /path/to/dir/ -type f -name "*.py" -exec md5sum {} + | awk '{print $1}' | sort | md5sum

La commande find répertorie tous les fichiers qui se terminent par .py. La somme md5 est calculée pour chaque fichier .py. awk est utilisé pour sélectionner les md5sums (en ignorant les noms de fichiers, qui peuvent ne pas être uniques). Les md5sums sont triés. La somme md5 de cette liste triée est ensuite renvoyée.

J'ai testé cela en copiant un répertoire de test:

rsync -a ~/pybin/ ~/pybin2/

J'ai renommé certains des fichiers dans ~ / pybin2.

La find...md5sumcommande renvoie la même sortie pour les deux répertoires.

2bcf49a4d19ef9abd284311108d626f1  -

Créez un fichier d'archive tar à la volée et dirigez-le vers md5sum:

tar c dir | md5sum

Cela produit une seule somme md5 qui doit être unique à votre configuration de fichier et de sous-répertoire. Aucun fichier n'est créé sur le disque.

La suggestion d'utiliser ire_and_curses pose tar c <dir>quelques problèmes:

• tar traite les entrées du répertoire dans l'ordre dans lequel elles sont stockées dans le système de fichiers, et il n'y a aucun moyen de changer cet ordre. Cela peut effectivement donner des résultats complètement différents si vous avez le "même" répertoire à différents endroits, et je ne connais aucun moyen de résoudre ce problème (tar ne peut pas "trier" ses fichiers d'entrée dans un ordre particulier).
• Je me soucie généralement de savoir si les numéros groupid et ownerid sont identiques, pas nécessairement si la représentation sous forme de chaîne du groupe / propriétaire est la même. Ceci est conforme à ce que fait par exemple rsync -a --delete: il synchronise pratiquement tout (moins xattrs et acls), mais il synchronisera le propriétaire et le groupe en fonction de leur ID, pas sur la représentation sous forme de chaîne. Donc, si vous avez synchronisé avec un système différent qui n'a pas nécessairement les mêmes utilisateurs / groupes, vous devez ajouter l' --numeric-ownerindicateur à tar
• tar inclura le nom de fichier du répertoire que vous vérifiez lui-même, juste quelque chose dont vous devez être conscient.

Tant qu'il n'y a pas de solution pour le premier problème (ou à moins que vous ne soyez sûr que cela ne vous affecte pas), je n'utiliserais pas cette approche.

Les findsolutions basées proposées ci-dessus ne sont pas non plus bonnes car elles n'incluent que des fichiers, pas des répertoires, ce qui devient un problème si la somme de contrôle doit garder à l'esprit les répertoires vides.

Enfin, la plupart des solutions suggérées ne trient pas de manière cohérente, car le classement peut être différent d'un système à l'autre.

Voici la solution que j'ai trouvée:

dir=<mydir>; (find "$dir" -type f -exec md5sum {} +; find "$dir" -type d) | LC_ALL=C sort | md5sum

Remarques sur cette solution:

• Le but LC_ALL=Cest d'assurer un ordre de tri fiable entre les systèmes
• Cela ne fait pas la différence entre un répertoire «nommé \ nwithanewline» et deux répertoires «nommé» et «withanewline», mais la probabilité que cela se produise semble très improbable. On corrige généralement cela avec un -print0indicateur pour, findmais comme il se passe d'autres choses ici, je ne peux voir que des solutions qui rendraient la commande plus compliquée que ça en vaut la peine.

PS: l'un de mes systèmes utilise une busybox limitée findqui ne prend pas en charge -execni les -print0indicateurs, et ajoute également '/' pour désigner les répertoires, alors que findutils ne semble pas le faire, donc pour cette machine, je dois exécuter:

dir=<mydir>; (find "$dir" -type f | while read f; do md5sum "$f"; done; find "$dir" -type d | sed 's#/$##') | LC_ALL=C sort | md5sum

Heureusement, je n'ai pas de fichiers / répertoires avec des nouvelles lignes dans leurs noms, donc ce n'est pas un problème sur ce système.

Si vous ne vous souciez que des fichiers et non des répertoires vides, cela fonctionne bien:

find /path -type f | sort -u | xargs cat | md5sum

Par souci d'exhaustivité, il y a md5deep (1) ; il n'est pas directement applicable en raison de l'exigence de filtre * .py mais devrait fonctionner avec find (1).

Une solution qui a fonctionné le mieux pour moi:

find "$path" -type f -print0 | sort -z | xargs -r0 md5sum | md5sum

Raison pour laquelle cela a fonctionné le mieux pour moi:

1. gère les noms de fichiers contenant des espaces
2. Ignore les métadonnées du système de fichiers
3. Détecte si le fichier a été renommé

Problèmes avec d'autres réponses:

Les métadonnées du système de fichiers ne sont pas ignorées pour:

tar c - "$path" | md5sum

Ne gère pas les noms de fichiers contenant des espaces et ne détecte pas si le fichier a été renommé:

find /path -type f | sort -u | xargs cat | md5sum

Si vous voulez un md5sum couvrant tout le répertoire, je ferais quelque chose comme

cat *.py | md5sum 

Somme de contrôle de tous les fichiers, y compris le contenu et leurs noms de fichiers

grep -ar -e . /your/dir | md5sum | cut -c-32

Identique à ci-dessus, mais n'incluant que les fichiers * .py

grep -ar -e . --include="*.py" /your/dir | md5sum | cut -c-32

Vous pouvez également suivre des liens symboliques si vous le souhaitez

grep -aR -e . /your/dir | md5sum | cut -c-32

Autres options que vous pourriez envisager d'utiliser avec grep

-s, --no-messages         suppress error messages
-D, --devices=ACTION      how to handle devices, FIFOs and sockets;
-Z, --null                print 0 byte after FILE name
-U, --binary              do not strip CR characters at EOL (MSDOS/Windows)

Trouver GNU

find /path -type f -name "*.py" -exec md5sum "{}" +;

Techniquement, il vous suffit de courir ls -lR *.py | md5sum. À moins que vous ne craigniez que quelqu'un modifie les fichiers et les ramène à leurs dates d'origine et ne change jamais la taille des fichiers, la sortie de lsdevrait vous dire si le fichier a changé. Mon unix-foo est faible donc vous aurez peut-être besoin de plus de paramètres de ligne de commande pour obtenir l'heure de création et l'heure de modification à imprimer. lsvous dira également si les autorisations sur les fichiers ont changé (et je suis sûr qu'il existe des commutateurs pour désactiver cela si vous ne vous souciez pas de cela).

Utilisation md5deep:

md5deep -r FOLDER | awk '{print $1}' | sort | md5sum

J'ai eu le même problème alors j'ai créé ce script qui répertorie simplement les md5sums des fichiers dans le répertoire et s'il trouve un sous-répertoire, il s'exécute à nouveau à partir de là, pour que cela se produise, le script doit être capable de parcourir le courant répertoire ou d'un sous-répertoire si ledit argument est passé dans $ 1

#!/bin/bash

if [ -z "$1" ] ; then

# loop in current dir
ls | while read line; do
  ecriv=`pwd`"/"$line
if [ -f $ecriv ] ; then
    md5sum "$ecriv"
elif [ -d $ecriv ] ; then
    sh myScript "$line" # call this script again
fi

done


else # if a directory is specified in argument $1

ls "$1" | while read line; do
  ecriv=`pwd`"/$1/"$line

if [ -f $ecriv ] ; then
    md5sum "$ecriv"

elif [ -d $ecriv ] ; then
    sh myScript "$line"
fi

done


fi

Si vous voulez vraiment être indépendant des attributs du système de fichiers et des différences au niveau du bit de certaines versions tar, vous pouvez utiliser cpio:

cpio -i -e theDirname | md5sum

Il existe deux autres solutions:

Créer:

du -csxb /path | md5sum > file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum > /tmp/file

Vérifier:

du -csxb /path | md5sum -c file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum -c /tmp/file

md5suma bien fonctionné pour moi, mais j'ai eu des problèmes avec sortet de tri des noms de fichiers. Donc, à la place, j'ai trié par md5sumrésultat. J'avais également besoin d'exclure certains fichiers afin de créer des résultats comparables.

find . -type f -print0 \ | xargs -r0 md5sum \ | grep -v ".env" \ | grep -v "vendor/autoload.php" \ | grep -v "vendor/composer/" \ | sort -d \ | md5sum