Comment configurer correctement wget pour ne télécharger que les nouveaux fichiers?

39

Disons qu'il y a une URL, appelons-le http://www.some-url.com/folder/

La liste des répertoires est activée à cet emplacement . Par conséquent, je peux le faire:

wget -r -np http://www.some-url.com/folder/

Pour télécharger tout son contenu avec tous les fichiers et sous-dossiers et leurs fichiers.

Maintenant, que dois-je faire si je veux répéter ce processus un mois plus tard et que je ne veux pas tout télécharger à nouveau, mais seulement ajouter des fichiers nouveaux / modifiés?

linux terminal wget Richard Rodriguez
la source

Réponses:

53

avez-vous lu ceci? http://www.editcorp.com/Personal/Lars_Appel/wget/wget_5.html

"Quelques jours plus tard, vous voudriez que Wget vérifie si le fichier distant a été modifié et le télécharge s'il le fait."

wget -N http://www.some-url.com/folder/

Essaye ça.

utilisateur69274
la source
5
Mais -N est inutile si le fichier récupéré n'a pas d'en-tête Last-Modified.
Unibasil
17 
wget -c

continue également les fichiers partiels causés lorsque le téléchargement a des problèmes .....
Mieux encore,

 wget -c -N

semble faire les deux en même temps.

Henry Crutcher
la source
J'ai trouvé avec ma version 1.11.4 Red Hat modified, ces drapeaux ne sont pas compatibles et -c substitue -N.
Matt Williamson