Duplicata possible:
moyen gratuit de partager des fichiers volumineux sur Internet?
Quelles sont les options de transfert de gros fichiers sans utiliser Internet?
Le laboratoire de ma femme réalise un projet ici aux États-Unis avec des collaborateurs à Singapour. Ils ont parfois besoin de transférer une grande quantité de données d'image de grande dimension (~ 10 Go compressés) à travers les continents. Avec les technologies actuelles, quelle serait une bonne solution pour ce scénario d'utilisation?
J'en pense à quelques-uns, mais aucun ne semble idéal:
- Connexion directe via Internet: le taux de transfert est d'environ 500 Ko / s, il manque également un outil pour gérer les erreurs / retransmissions.
- Téléchargement vers un serveur ou un service commun tel que Dropbox: difficile à télécharger pour un collaborateur non américain.
- Graver des disques ou copier sur des disques durs et expédier via Courier: la latence est importante, plus le travail supplémentaire pour faire une copie locale.
Aucune suggestion?
Mise à jour: aucune des parties à la collaboration n'est un utilisateur averti.
data-transfer
Franc
la source
la source
Réponses:
Je vous suggère d'utiliser rsync . Rsync prend en charge l'algorithme de transfert delta, donc si vos fichiers ne sont que partiellement modifiés, ou si le transfert précédent a été interrompu anormalement, Rsync est suffisamment intelligent pour synchroniser uniquement les nouveautés / modifications.
Il existe plusieurs ports du Rsync d'origine vers Windows et d'autres systèmes non compatibles Unix, à la fois gratuits et non libres. Veuillez consulter l'article Wikipedia de Rsync pour plus de détails.
Rsync sur SSH est très largement utilisé et fonctionne bien. 10 Go sont une quantité de données relativement faible de nos jours, et vous n'avez pas spécifié ce que signifie «occasionnellement». Hebdomadaire? Du quotidien? Toutes les heures? Avec un taux de transfert de 500 Ko / sec, cela prendra environ 6 heures, pas vraiment longtemps. Si vous devez transférer fréquemment les données, il est probablement préférable de créer une tâche cron pour démarrer rsync automatiquement.
la source
rsync
nécessite pas son propre protocole pour les deltas, nécessitant un système de contrepartie capable à l'autre extrémité?rsync
algorithme delta de fonctionne- t -il lors du transfert de données compressées binaires (.zip
ou.jpg
)?La connexion via Internet peut être une option viable et un programme tel que bittorrent est exactement adapté à cet objectif car il décomposera les fichiers en morceaux logiques à envoyer sur Internet pour être reconstruit à l'autre extrémité.
Bittorrent vous offre également la correction automatique des erreurs, la réparation des pièces endommagées et si plus de gens ont besoin des fichiers, ils bénéficieront de la possibilité de recevoir le fichier à partir d'autant de sources que le fichier téléchargé (en partie).
Certes, les gens le voient comme une bonne façon de télécharger des films et autres, mais il a beaucoup plus d'utilisations légales.
De nombreux clients bittorrent ont également des trackers intégrés, vous n'avez donc pas besoin d'avoir un serveur dédié pour héberger les fichiers.
la source
Divisez le fichier en morceaux de 50 Mo par exemple (en utilisant par exemple
split
). Calculer des sommes de contrôle pour chacun d'eux (par exemplemd5sum
). Téléchargez directement via FTP et un client FTP tolérant aux erreurs, comme souslftp
Linux. Transférez tous les morceaux et un fichier contenant toutes les sommes de contrôle.Sur le site distant, vérifiez que tous les morceaux ont la somme de contrôle souhaitée, téléchargez à nouveau ceux qui ont échoué et réassemblez-les dans le fichier d'origine (par exemple en utilisant
cat
).Rétablir l'emplacement du serveur (j'ai posté sous l'hypothèse que le site de destination a fourni le serveur et que vous démarrez le transfert localement lorsque les fichiers sont prêts) selon les besoins. Votre client FTP ne devrait pas s'en soucier.
J'ai eu des problèmes similaires dans le passé et l'utilisation d'un client FTP tolérant aux erreurs a fonctionné. Aucun bit n'a jamais été inversé, juste une connexion régulière abandonnée, donc je pouvais ignorer la création de morceaux et simplement télécharger le fichier. Nous avons toujours fourni une somme de contrôle pour le fichier complet, juste au cas où.
la source
lftp
n'interrompt pas un transfert en cours pour une raison quelconque . Assurez-vous que vous disposez toujours de suffisamment d'espace disque disponible sur le site de destination.Une variante de la réponse de Daniel Beck consiste à diviser les fichiers en morceaux de l'ordre de 50 Mo à 200 Mo et à créer des fichiers de parité pour l'ensemble.
Vous pouvez maintenant transférer les fichiers (y compris les fichiers de parité) avec FTP, SCP ou autre chose vers le site distant et faire une vérification après l'arrivée de l'ensemble complet. Maintenant, s'il y a des pièces endommagées, elles peuvent être corrigées par les fichiers de parité s'il y a suffisamment de blocs. Cela dépend plus ou moins du nombre de fichiers endommagés et du nombre de fichiers de parité que vous avez créés.
Les fichiers de parité sont beaucoup utilisés sur Usenet pour envoyer des fichiers volumineux. La plupart du temps, ils sont ensuite divisés en archives RAR. Il n'est pas rare d'envoyer des données jusqu'à 50 à 60 Go de cette façon.
Vous devriez certainement vérifier le premier lien et vous pouvez également jeter un œil à QuickPar , un outil qui peut être utilisé pour créer des fichiers de parité, vérifie vos fichiers téléchargés et peut même restaurer des fichiers endommagés avec les fichiers de parité fournis.
la source
Est-ce un gros fichier de 10 Go? Pourrait-il être facilement divisé?
Je n'ai pas beaucoup joué avec cela, mais cela m'a semblé être un concept intéressant et relativement simple qui pourrait fonctionner dans cette situation:
http://sendoid.com/
la source
Rendez les données disponibles via ftp / http / https / sftp / ftps (nécessitant des informations d'identification de connexion) et utilisez n'importe quel gestionnaire de téléchargement côté client.
Les gestionnaires de téléchargement sont spécialement conçus pour récupérer des données quelles que soient les erreurs qui peuvent survenir afin qu'elles correspondent parfaitement à votre tâche.
Quant au serveur, un serveur FTP est généralement le plus facile à configurer. Vous pouvez consulter une liste sur Wikipedia. HTTPS, SFTP et FTPS permettent le chiffrement (en pur FTP / HTTP, le mot de passe est envoyé en texte clair) mais SFTP / FTPS sont moins souvent pris en charge par le logiciel client et la configuration du serveur HTTP / HTTPS est délicate.
la source