wget commence le téléchargement puis arrête "ne peut pas écrire"

J'utilise wget pour mettre en miroir certains fichiers d'un serveur à l'autre. J'utilise la commande suivante:

wget -x -N -i http://domain.com/filelist.txt

-x = Parce que je veux garder la structure du répertoire

-N = horodatage pour obtenir uniquement les nouveaux fichiers

-i = Pour télécharger une liste de fichiers à partir d'un fichier externe, un sur chaque ligne.

De petits fichiers tels que celui que je teste, c'est un gros téléchargement de 326 Ko.

Mais un autre de 5 Go ne télécharge que 203 Mo, puis s'arrête (il est toujours de 203 Mo de donner ou de prendre quelques kilo-octets)

Le message d'erreur affiché est:

Impossible d'écrire dans âpath / to / file.zipâ

(Je ne sais pas pourquoi il y a des personnages étranges avant et après. J'utilise Putty dans Windows et cela peut ou non avoir quelque chose à voir avec ça, alors je les ai laissés dedans. Je suppose que non.).

La réponse complète est la suivante: (j'ai remplacé les chemins, l'ip et le nom de domaine)

--2012-08-31 12: 41: 19-- http://domain.com/filelist.txt Résolution de domain.com ... MY_IP Connexion à domain.com | MY_IP |: 80 ... connecté. Requête HTTP envoyée, en attente de réponse ... 200 OK Longueur: 161 [texte / simple] Fichier serveur pas plus récent que le fichier local âdomain.com / filelist.txtâ

--2012-08-31 12: 41: 19-- http://domain.com/path/to/file.zip Connexion à domain.com | MY_IP |: 80 ... connecté. Demande HTTP envoyée, en attente de réponse ... 200 OK Longueur: 5502192869 (5.1G) [application / zip] Les tailles ne correspondent pas (local 213004288) - récupération.

--2012-08-31 12: 41: 19-- http://domain.com/path/to/file.zip Connexion à domain.com | MY_IP |: 80 ... connecté. Demande HTTP envoyée, en attente de réponse ... 200 OK Longueur: 5502192869 (5.1G) [application / zip] Enregistrement sur: âdomain.com / path / to / file.zipâ

3% [====>
] 213 003 412 8,74 M / s en 24 s

Impossible d'écrire sur âdomain.com / path / to / file.zipâ

Cela ne semble pas faire de différence si le répertoire du chemin existe déjà ou est créé à la volée.

Quelqu'un a-t-il une idée de pourquoi il s'arrête et comment je peux le réparer?

Toute aide sera la plus appréciée.

EDIT: J'ai également essayé de faire un wget, aucune entrée de fichier et de renommer le fichier. Cette fois, il télécharge un peu plus de 3 Go et donne ensuite la même erreur d'écriture.

wget -x -N http://domain.com/path/to/file.zip -O files/bigfile.zip

Vous obtiendrez cette erreur si vous manquez d'espace disque. exécutez df et vous verrez si le répertoire dans lequel vous écrivez est à 100%

C'est un problème avec une URL longue. J'y ai aussi fait face. J'ai donc utilisé bit.ly et raccourci l'url. Fonctionne comme un charme!

Je viens d'ajouter un -à la tarcommande après le tuyau après wget

j'ai eu

wget https://example.com/path/to/file.tar.gz -O -|tar -xzf -C /path/to/file

puis l'a changé en

wget https://example.com/path/to/file.tar.gz -O - | tar -xzvf - -C /path/to/file

S'il commence à enregistrer un fichier volumineux et en écrit 203 Mo, je soupçonne que vous avez soit un système de fichiers complet à la réception, soit que la connexion réseau expire.

Vous pouvez utiliser df -h sur le serveur de réception pour voir si le système de fichiers est plein

Consultez cette réponse pour les problèmes de délai d'attente avec wget:

/programming/2291524/does-wget-timeout

En outre, réessayez le transfert qui a échoué et omettez l'option -N d'horodatage

Exécutez également ulimit -a pour voir s'il existe une limite de taille de fichier sur le serveur de réception

Enfin compris et c'était un problème d'espace. C'est un problème avec 1and1 Cloud Server, en savoir plus ici: http://www.mojowill.com/geek/1and1-dynamic-cloud-server-disk-allocation/

Je faisais quelque chose de similaire à:

wget -x -N -i http://domain.com/filelist.txt

Je recevais:

--2016-12-09 07:44:23--  https://www.example.com/dir/details?abc=123&def=456
Resolving www.example.com (www.example.com)... 1.2.3.4
Connecting to www.example.com (www.example.com)|1.2.3.4|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
details?abc=123&def=456: No such file or directory

Cannot write to ‘details?abc=123&def=456’ (Success).

Dans mon fichier filelist.txt équivalent, j'avais une URL comme:

https://www.example.com/dir/details?abc=123&def=456

Donc, pour déboguer, j'ai essayé de créer le même fichier que wget essayait de créer:

touch "details?abc=123&def=456"
touch: cannot touch ‘details?abc=123&def=456’: No such file or directory

Alto! Il semble que ?c'était le problème, mais la bonne pratique serait de supprimer tous les caractères spéciaux des noms de fichiers, imaginez ce que &cela fera s'il n'est pas échappé.