Obtenir md5 pendant wget

J'utilise wgetd'énormes fichiers (plus de 100 Go), puis je compare ma somme md5 à la somme publiée dans le référentiel. Croyez-le ou non, l' md5sumexécution d'un fichier de cette taille prend un certain temps, donc j'aimerais obtenir la somme en parallèle avec le téléchargement.

Quelle est la meilleure façon de procéder? Je ne vois pas d' wgetoption pour calculer MD5 pendant le téléchargement (étonnamment), donc je suppose que l'utilisation teeserait la voie à suivre?!

wget checksum Fixee
la source

Est-ce possible? Je suis sûr que vous avez besoin de l'intégralité du binaire pour vérifier le hachage. Je doute que même le diviser en étapes (c'est-à-dire le hachage lors du téléchargement) serait possible car vous pourriez ne pas recevoir le fichier dans un ordre séquentiel. Quoi qu'il en soit, je serais heureux de voir si quelqu'un a une solution.

n0pe

@MaxMackie: C'est certainement possible: étant donné que je télécharge l'intégralité du fichier, wget pourrait théoriquement l'exécuter via MD5. Ce n'est pas le cas.

Fixee

Réponses:

En fait, cela pourrait être possible:

wget -O - http://example.com/file | tee file | md5sum > file.md5

Cependant, cela suppose que vous avez préalablement le hachage dans un fichier.

n0pe
la source

Cela semble bien, et je ne vois pas comment cela suppose que le "a dans un fichier au préalable". Il génère simplement la somme au fur et à mesure et l'écrit dans un fichier que vous pouvez utiliser pour comparer plus tard. Le seul hic pourrait être la surcharge de mémoire.

Caleb

@Caleb Quelle surcharge de mémoire? md5sum(et tout autre algorithme de hachage commun tel que la famille SHA) fonctionne en mémoire constante. Ils sont conçus pour fonctionner sur des flux.

Gilles 'SO- arrête d'être méchant'

avec un supplémentaire awkà la fin, vous pouvez supprimer automatiquement le `-` a la fin. wget -O - "https://example.org/myFile.jpg" | tee file | md5sum | awk '{print $1}' > md5.txt

Max