Wget: convertir des liens et éviter de retélécharger des fichiers déjà récupérés?

12

Je télécharge des données réparties sur plusieurs fichiers qui ne changent pas une fois publiées.

Par conséquent, ce --timestampingn'est pas suffisant, car il vérifie constamment quelle que soit la ressource modifiée, ce qui est, dans mon cas, complètement inutile.

--no-clobberconviendrait parfaitement. Malheureusement, cela ne fonctionne pas --convert-links pour une raison quelconque.

--No-clobber et --convert-links ont été spécifiés, seuls --convert-links seront utilisés.

J'espérais que --backup-convertedcela aiderait, mais cela n'a rien changé (cela fonctionne pour --timestamping.)

Pourquoi wget --convert-links --backup-converted --no-clobber --wait 1 https://example.comignore --no-clobberet comment pourrait-il être corrigé?

wget download réduire l'activité
la source
Frapper ce même problème aujourd'hui. Comment l'avez-vous résolu?
Angelo Fuchs
1
@AngeloFuchs Je ne l'ai jamais résolu (je posterais une réponse si cela se produisait). En fin de compte, dans mon cas, le téléchargement de liens récupérés était plus simple que de patcher wget ou de passer à autre chose.
réduction de l'activité le
as-tu essayé --continue? ceci est généralement destiné à contiune un téléchargement précédemment abandonné. mais si le fichier a déjà été récupéré, il ne fait rien.
JPT

Réponses:

1

Toute possibilité d'utiliser rsync? Vous devrez avoir un accès ssh au système. (Je n'ai jamais vu rsync utilisé pour http: // téléchargements.)

Quelque chose comme ça obtiendra des fichiers que vous n'avez jamais obtenus et récupérera des fichiers qui ont cessé de télécharger pour une raison quelconque. 

rsync -avzheP ssh [email protected]:/remotefolder/ /localfolder/

Cela peut ne pas fonctionner pour vous. Pas assez d'informations sur ce que vous essayez de faire.

Mark Stewart
la source
-2

Vous ne pouvez pas utiliser les deux --convert-linkset --no-clobber. Vous obtiendrez ce message:

Both --no-clobber and --convert-links were specified, only --convert-links will be used.

wgetpeut accomplir ce que vous voulez, si vous spécifiez --convert-linkset --timestamping. Mais cela ne fonctionnera que si le site cible fournit les informations d'horodatage du fichier dans les en-têtes de réponse.

RashaMatt
la source
Cette réponse n'a rien qui n'était pas mentionné dans la toute première révision ( unix.stackexchange.com/posts/177330/revisions ) de ma question.
réduction de l'activité le