Comment télécharger de gros fichiers sur S3 sur une connexion feuilletée?

9

J'ai un tas de fichiers (entre 500 Mo et 7 Go) que je dois télécharger sur un compartiment S3. Ma connexion est très instable.

J'ai essayé de télécharger un fichier de 500 Mo via s3cmdmais il a expiré après 91% (ce qui a pris 16 heures)

J'ai essayé avec CyberDuck, mais la même chose s'est produite. Il a échoué après environ 20%, et lorsque j'ai essayé de réessayer le transfert, il a recommencé depuis le début. CyberDuck est censé avoir un support en plusieurs parties, mais je suppose que non ...

Je pourrais diviser les fichiers en fichiers plus petits comme ceci: Comment puis-je diviser un fichier .zip en plusieurs segments? , mais je préfère ne pas le faire à moins que ce ne soit ma seule option. Quel est un bon programme que je peux utiliser qui me permettra de télécharger de gros fichiers sur S3 avec un support de reprise?

internet-connection upload amazon-s3 user2254
la source

Réponses:

6

Je viens d'essayer d'utiliser s3tools (s3cmd-1.5.0-rc1). J'ai obtenu cet indice dans leur FAQ http://s3tools.org/kb/item13.htm . Voir ci-dessous.

S3cmd prend-il en charge les téléchargements en plusieurs parties?

Oui, la dernière version de s3cmd prend en charge les téléchargements multiparties Amazon S3.

Les téléchargements en plusieurs parties sont automatiquement utilisés lorsqu'un fichier à télécharger est supérieur à 15 Mo. Dans ce cas, le fichier est divisé en plusieurs parties, chaque partie de 15 Mo étant de taille (la dernière partie peut être plus petite). Chaque partie est ensuite téléchargée séparément puis reconstruite à destination lorsque le transfert est terminé.

Avec cette nouvelle fonctionnalité, si le téléchargement d'une partie échoue, il peut être redémarré sans affecter les autres parties déjà téléchargées.

Il existe deux options liées aux téléchargements en plusieurs parties dans s3cmd. Elles sont:

--disable-multipart

Désactiver les téléchargements en plusieurs parties pour tous les fichiers

et

--multipart-chunk-size-mb = TAILLE

Taille de chaque bloc d'un téléchargement en plusieurs parties. Les fichiers plus grands que SIZE sont automatiquement téléchargés en plusieurs parties multithread, les fichiers plus petits sont téléchargés en utilisant la méthode traditionnelle. SIZE est en méga-octets, la taille de bloc par défaut est de 15 Mo, la taille de bloc minimale autorisée est de 5 Mo, le maximum est de 5 Go.

Donc, lorsque je télécharge, je choisis la plus petite taille de bloc. Vous devriez voir ci-dessous le fractionnement et la reprise du téléchargement.

$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 1 of 52, 5MB]
 5242880 of 5242880   100% in  164s    31.08 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 2 of 52, 5MB]
 5242880 of 5242880   100% in  193s    26.46 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 3 of 52, 5MB]
 2023424 of 5242880    38% in  135s    14.59 kB/s^CERROR: 
some_video.mp4' part 3 failed. Use
  /usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
  /usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!

Puis je reprends.

/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/
f01
la source
2

Je crois en Cyberduck dans la fenêtre des transferts, vous pouvez cliquer avec le bouton droit et sélectionner reprendre.

Si cela ne fonctionne pas, Cloudberry reprend la reprise des téléchargements

ernie
la source
Pour une raison quelconque, dans Cyberduck, mon curriculum vitae ne fonctionne pas pour les composants multiples S3. Des indices?
f01
2

Vous pouvez utiliser FileZilla Pro pour transférer des fichiers vers et depuis un compartiment S3. FileZilla Pro prend en charge le téléchargement en plusieurs parties et en cas d'échec, il reprendra le transfert.

Pour les enregistrements, il comporte de nombreuses autres fonctionnalités: prise en charge de fichiers volumineux, transferts en masse, filtres, comparaison de répertoires, recherche de fichiers à distance, glisser-déposer, configuration des limites de vitesse.

Je suis membre de l'équipe FileZilla Pro.

En savoir plus sur https://filezillapro.com et sur https://youtube.com/c/FileZillaPro

josuegomes
la source
Veuillez noter que si vous êtes affilié de quelque manière que ce soit au produit, vous devez l'indiquer dans votre réponse.
confettis
@confetti, désolé je ne le savais pas. Je n'ai rien trouvé de spécifique dans l'aide ou dans le code de conduite. J'ai en fait supposé que c'était interdit. Ajout des informations.
josuegomes
Pas de problème, je ne le trouve pas non plus dans le texte d'aide, donc c'est peut-être quelque chose que les mods devraient ajouter, mais c'est définitivement autorisé! Cela pourrait même être mieux en général, car les gens savent qu'ils peuvent demander quelque chose de spécifique au logiciel dans les commentaires et recevoir une sorte de réponse "officielle". :)
confettis