trouver | xargs shasum crée la somme de contrôle du fichier de somme de contrôle lui-même (prématurément) et échoue lors de la vérification

Mon problème (dans un script avec #!/bin/sh) est le suivant: j'essaie de faire la somme de contrôle de tous les fichiers d'un répertoire à des fins d'archivage. Le fichier de somme de contrôle (dans mon cas sha1) avec tous les noms de fichiers doit résider dans le même répertoire. Disons que nous avons un répertoire ~/testavec des fichiers f1et f2:.

mkdir ~/test
cd ~/test
echo "hello" > f1
echo "world" > f2

Calculons maintenant les sommes de contrôle avec

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum

fait exactement ce que je veux, il répertorie tous les fichiers du répertoire actuel uniquement et calcule les sommes sha1 (maxdepth peut être modifié ultérieurement). La sortie sur STDOUT est:

f572d396fae9206628714fb2ce00f72e94f2258f  f1
9591818c07e900db7e1e0bc4b884c945e6a61b24  f2

Malheureusement, lorsque vous essayez de l'enregistrer dans un fichier avec

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum > sums.sha1

le fichier résultant affiche la somme de contrôle pour lui-même:

da39a3ee5e6b4b0d3255bfef95601890afd80709  sums.sha1
f572d396fae9206628714fb2ce00f72e94f2258f  f1
9591818c07e900db7e1e0bc4b884c945e6a61b24  f2  

et échoue donc à une date ultérieure shasum --check, en raison du problème évident de modification de fichier supplémentaire lors de l'enregistrement de la dernière somme.

J'ai regardé autour de moi et en utilisant -pflag for xargs, j'ai découvert qu'il créait en quelque sorte le fichier de sortie avant même d'exécuter la commande find, donc le fichier supplémentaire est trouvé et sera additionné ...

Je sais que pour contourner ce problème, je pourrais enregistrer la somme de contrôle dans un autre emplacement (répertoire temporaire via mktemp) ou l'exclure dans find spécifiquement, mais j'aimerais comprendre pourquoi il se comporte comme il le fait - ce qui, à mes yeux, n'est pas très utile, par exemple, si la première commande vérifiait si le fichier de sortie est déjà sur le disque, elle n'obtiendrait jamais la bonne réponse ...

Vous pouvez empêcher le fichier d'atteindre en xargsutilisant:

find . -maxdepth 1 -type f ! -name sums.sha1 -printf '%P\n' |
  xargs -r shasum -- > sums.sha1

Pour éviter les problèmes avec les noms de fichiers comportant des blancs, des retours à la ligne ou des guillemets ou des barres obliques inverses, j'utiliserais cependant:

find . -maxdepth 1 -type f ! -name sums.sha1 -printf '%P\0' |
  xargs -r0 shasum -- > sums.sha1

au lieu.

Il --s'agit d'éviter les problèmes avec les noms de fichiers commençant par -. Cela n'aidera cependant pas pour un fichier appelé -. Si vous aviez utilisé à la -print0place de -printf '%P\0', vous n'auriez pas eu besoin de --et n'auriez pas eu de problème avec le -fichier.

Puisque vous utilisez -maxdepth 1, je suppose que vous ne voulez pas de récursivité. Si c'est le cas, faites-le simplement dans le shell à la place:

for f in ~/test/*; do
    shasum -- "$f"
done > sums.sha1

Pour ignorer les répertoires, vous pouvez faire:

for f in ~/test/*; do
    [ ! -d "$f" ] && shasum -- "$f"
done > sums.sha1

Si vous avez besoin d'une récursivité et utilisez bash, faites:

shopt -s globstar
for f in ~/test/**; do
    [ ! -d "$f" ] && shasum -- "$f"
done > sums.sha1

Notez que toutes ces approches ont l'avantage de travailler sur des noms de fichiers arbitraires, y compris ceux avec des espaces, des sauts de ligne ou quoi que ce soit d'autre.

avec zsh:

shasum -- *(D.) > sums.sha1

Le glob sera étendu avant que la redirection ne soit effectuée, donc le sums.sha1ne sera pas inclus s'il n'était pas là en premier lieu.

Dest d'inclure des fichiers dot (fichiers cachés) comme le findferait. .est de sélectionner uniquement les fichiers normaux (comme le vôtre -type f).

Pour exclure de sums.sha1toute façon au cas où il était là en premier lieu:

setopt extendedglob # best in ~/.zshrc
shasum -- ^sums.sha1(D.) > sums.sha1

Notez que ceux-ci exécutent une commande shasum, vous pouvez donc finir par voir une erreur "Arg list too long" si la liste est énorme. Pour contourner cela:

autoload zargs
zargs -e/ -- *(D.) / shasum > sums.sha1

Je recommanderais d'utiliser ./*plutôt que d' *éviter des problèmes potentiels avec un fichier appelé -.

Comme les autres réponses l'ont déjà indiqué, le problème est que le shell s'ouvre et crée le sums.sha1fichier, avant d'exécuter votre pipeline. Vous pouvez utiliser le programme spongequi fait partie du moreutilspackage de nombreuses distributions. Contrairement au shell, la redirection spongeattendra d'avoir tout reçu avant d'ouvrir le fichier. Il est généralement utilisé lorsque vous souhaitez écrire un fichier que vous lisez dans le même pipeline.

Dans votre cas, il est utilisé comme ceci:

$ find -maxdepth 1 -type f -printf '%P\n' |xargs shasum |sponge sums.sha1
$ cat sums.sha1
31836aeaab22dc49555a97edb4c753881432e01d  B
7d157d7c000ae27db146575c08ce30df893d3a64  A

Comme alternative à find / xargs, etc., vous voudrez peut-être sha1deep. C'est probablement dans un paquet différent - sur ma boîte, il vient dans le paquet md5deep.

Comme d'autres l'ont dit, sums.sha1 est créé par le shell avant même que la recherche ne commence. Une astuce avec ! -name sums.sha1to findfonctionnera, tout comme

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum | grep -v ' sums\.sha1$' > sums.sha1