Rechercher les doublons de fichiers dans OSX par hachage

Je cherche un moyen de rechercher un fichier déterminé dans OSX (Maverick mais plus généralement OSX). En particulier, je voudrais faire ce qui suit:
étant donné un File_001, je voudrais rechercher si dans le système de fichiers existe une copie de ce fichier.
Pas seulement avec le même nom, je voudrais que la méthode de comparaison soit un algorithme de hachage comme MD5, SHA etc.

La plupart du "localisateur de fichiers en double" que j'ai essayé simplement de rechercher tous les doublons dans un lecteur / système. Je serais plutôt intéressé à soumettre un fichier et à rechercher ses doublons.

Est-ce que quelqu'un sait si un tel programme existe? Peut-être une fonction obscure de Spotlight?

Vous pouvez également utiliser fdupes. Il n'a pas d'option pour rechercher les doublons d'un fichier spécifique, mais vous pouvez simplement grep la sortie pour le nom de fichier:

fdupes -r1 .|grep filename

-rrevient dans les répertoires et -1imprime chaque groupe de fichiers en double sur une seule ligne.

Autres exemples utiles:

fdupes -r . trouve tous les fichiers en double dans le répertoire courant;

fdupes -r . -dN supprime tout sauf le premier doublon de chaque groupe de doublons;

fdupes -r dir1 dir2|grep dir1/|xargs rmsupprime les doublons dans dir1.

Vous pouvez installer fdupesavec brew install fdupes.

Vous pouvez facilement le construire vous-même avec quelques commandes shell:

• find ~ -type f -exec md5 -r '{}' \; > /tmp/md5.list

  va construire une liste de hachages md5 sur tous vos fichiers.

• grep $(md5 -q FILE-TO-SEARCH) /tmp/md5.list

  recherchera le hachage md5 de FILE-TO-SEARCH

L'exécution de la première commande (surtout si vous l'exécutez sur tout le disque) prendra cependant beaucoup de temps.

Si vous ne souhaitez rechercher qu'un seul fichier, vous pouvez également utiliser

SIZE=$(stat -f '%z' FILE-TO-SEARCH)
MD5=$(md5 -q FILE-TO-SEARCH)
find ~ -type f -size ${SIZE}c | while read f; do
    [[ $MD5 = $(md5 -q "$f") ]] && echo $f
done

Cela devrait fonctionner si vous remplacez la taille et le hachage de FILE_001 dans la commande.

198452 octets est la taille de fichier que j'ai utilisée et le hachage md5 est 3915dc84b4f464d0d550113287c8273b

find . -type f -size 198452c -exec md5 -r {} \; |
    grep -o "3915dc84b4f464d0d550113287c8273b\ \(.*\)" | awk '{print $2}'

Le résultat sera une liste de fichiers avec des noms de chemin relatifs au répertoire envoyé à la commande find.

Cette approche a l'avantage de ne hacher que les fichiers qui correspondent à la taille de votre original et de ne sortir que les noms de fichiers qui correspondent au hachage.

Si vous ne voulez pas jouer avec les scripts, vous pouvez vous rapprocher du comportement que vous souhaitez avec Araxis Find Duplicate Files 10 $ dans le Mac App Store . Il y a aussi une démo de 7 jours sur leur site web. Rechercher les fichiers en double recherche les dupes en calculant le hachage de chaque fichier.

Vous pouvez approximer le comportement que vous souhaitez créer un dossier avec le fichier unique qui vous intéresse, puis ajouter les dossiers dans lesquels vous souhaitez effectuer la recherche. Cela signalera également d'autres dupes, le cas échéant, dans les chemins de recherche.

Cette application possède de nombreuses fonctionnalités de tri intéressantes qui rendent les résultats très faciles à comprendre.