Faire en sorte que wget ne télécharge pas les fichiers de taille supérieure à la taille X

11

D'accord, j'abandonne. Comment puis-je limiter la taille des fichiers téléchargés, comme dire que je ne veux pas de fichiers supérieurs à 2 Mo?

Nathaniel
la source

Réponses:

6

La seule option de limitation que je connais qui wgetprend en charge est le -Qchangement de quota. Ce n'est pas ce que vous voulez, car cela s'arrêtera après une limite combinée de tous les fichiers que vous avez téléchargés, pas individuellement. Tuyauter chaque lien séparément avec le -Qcommutateur ne fonctionnera pas non plus, comme expliqué dans la page de manuel .

Je ne sais pas quel environnement vous utilisez, mais le robot prend en charge les limitations de taille de fichier avec max-length-bytes et s'exécute sur la plate-forme Java.

de leur manuel d'utilisation :

  • max-length-bytes

Nombre maximal d'octets à télécharger par document. Tronquera le fichier une fois cette limite atteinte.

Par défaut, cette valeur est définie sur une valeur extrêmement grande (dans la plage des exaoctets) qui ne sera jamais atteinte en pratique.

John T
la source
Hmmm. D'accord. Cela a réitéré beaucoup de ce que j'ai découvert mais une bonne réponse de toute façon. Cependant, je ne savais pas que Heritrix avait tronqué des fichiers au lieu de les ignorer.
Nathaniel
3

S'il s'agit de " télécharger 2 Mo max. " Plutôt que de " télécharger des fichiers avec max 2 Mo ", vous pouvez simplement limiter la sortie enregistrée sur le disque.

wget -O - $url |head -c 1024(avec optionnel > $SaveAsFile) -> enregistre le premier Ko et le reste est tronqué.

(assez pour voir un " OK: $ Message ", sans tuer mon / tmp avec des tonnes de messages d'erreur de la télécommande ;-))

Tabakhase
la source
1

Cela est possible avec l'aide de correctifs tiers: http://yurichev.com/wget.html

Dennis Yurichev
la source
Passez en revue ce message , vous devez.
James Mertz
@KronoS il y a un bouton "modifier" juste là si vous pensez que la réponse doit être développée. Personnellement, cela semble bien en l'état, étant donné que la phrase # 1 de la page liée explique la nouvelle option…
supervacuo