Je migre mon serveur des États-Unis vers le Royaume-Uni d'un centre de données à un autre. Mon hôte a dit que je devrais pouvoir atteindre 11 mégaoctets par seconde.
Le système d'exploitation est Windows Server 2008 aux deux extrémités.
Ma taille moyenne de fichier est d'environ 100 Mo. Les données sont réparties sur cinq lecteurs de 2 To.
Quelle serait la méthode recommandée pour transférer ces fichiers?
- FTP
- PME
- Rsync / Robocopy
- Autre?
La sécurité ne me préoccupe pas trop, car ce sont des fichiers publics de toute façon, mais je veux juste une solution capable d’augmenter le débit de transfert de 11 Mo / s afin de minimiser le temps de transfert total.
file-transfer
large-data
Paul Hinett
la source
la source
Réponses:
Expédiez plutôt des disques durs à travers l'océan.
À 11 Mbps avec une utilisation complète, il ne vous reste que 90 jours pour transférer 10 To.
11 Mbps = 1,375 Mbps = 116,015 Go / jour .
10240 Go / 116,015 Go / jour = ~ 88,3 jours .
la source
Je dirais que rsync, à 11 Mo / s, vous regarderez 10 à 14 jours et même si vous êtes interrompu, rsync démarrera facilement là où il s’était arrêté la dernière fois.
À 11 Mbps, j'expédierais les disques durs comme suggéré ci-dessus :)
la source
statheure, selon mon expérience), et non de la totalité des données. Je ne m'attendrais pas à une attente significative (plusieurs minutes tout au plus). Bien que mon expérience avec rsync dépasse un peu moins de 5 To.Rsync bien sûr.
Au moins, vous pouvez continuer à tout moment après une pause, et cela sans douleur.
la source
rsyncsimplement pour copier des fichiers volumineux n'est pas efficace. Pour mes affaires, j'ai fini par utilisertarplusnetcatousshpour le transfert initial. Il est beaucoup plus rapide et commence à transférer immédiatement, toutrsyncen analysant d’abord tous les fichiers, ce qui prend du temps. Si cela vous interrompt, vous pourrez toujours l'utiliserrsyncultérieurement. En fait, je le fais parfois de temps en tempstarpour vérifier que toutes les autorisations, les fichiers de socket, etc. sont corrects.Ne sous-estimez jamais la bande passante d'un break rempli de cassettes
- Trad.
Dans votre cas, les disques ou bandes envoyés par courrier, mais le principe s'applique toujours. Si vous ne vous inquiétez pas de la latence, cela coûtera beaucoup moins cher que la bande passante du réseau pour transférer 10 To de données dans un délai raisonnable.
la source
Vous devriez utiliser rsync. Il compressera les données et les dédoublera avant de les envoyer. Il peut également reprendre des transferts partiels, ce qui est très important pour les transferts importants.
Il est probable que cela ne transfère pas 10 To; si ce sont des journaux et du texte, ils pourraient être inférieurs à 1 To; peut-être bien en dessous de 1 To.
Il existe des outils qui font un meilleur travail de compression que rsync et qui trouvent probablement plus de correspondances. Vous pouvez utiliser
lrzip, etc.Il existe des types de données spécifiques qui ne se compressent pas bien et ne contiennent pas de dupes littérales - vidéos et autres médias, par exemple. Dans ces cas, FTP et rsync font à peu près le même effort.
la source
Je sais que cela est déjà accepté, mais avez-vous déjà envisagé de transférer vos disques vers un centre de données, un fournisseur ou un hôte où vous pouvez obtenir plus de bande passante? Cela vous coûtera probablement un peu d’argent, mais la copie de 10240 Go sur des disques de sauvegarde et l’envoi en coûteront également du temps et de l’argent (2 x argent).
De plus, vous serez sûr que vos disques ne casseront pas pendant le transport
la source
11 Mbps? C'est tout à fait une limitation que vous avez ici. Dans votre situation, je voudrais simplement:
Si vous n'avez vraiment pas de solution pour augmenter la bande passante ... Expédier un disque physique sera bien plus rapide.
De mon expérience douloureuse, les disques durs ont tendance à casser le courrier ... Les clés USB sont une meilleure solution pour les transferts fréquents de données. Dans votre cas, il en faudrait quelques-uns :) Envoyez donc deux copies de vos données sur plusieurs disques durs.
Compte tenu de la quantité de données dont vous disposez, vous pouvez également envoyer des disques d'un ensemble RAID 5 ou RAID 6 si vous avez le même matériel / logiciel de l'autre côté pour brancher vos disques. Mais dans ce cas, n'oubliez pas de marquer l'ordre de vos disques. et leurs numéros de série afin qu'ils ne soient pas mélangés lors de la reconfiguration.
la source
Bien que je sois d’accord sur la réponse «expédiez-le avec des disques durs» dans ce cas, voici une solution de copie que j’utilise lorsque je dois copier un grand nombre de fichiers pour la première fois:
Bien qu'il
rsyncsoit bon de garder deux stockages de données synchronisés, cela introduit un surcoût inutile pour le transfert initial. Je pensais que le moyen le plus rapide est detarse faire passer par dessusnetcat. Sur le site récepteur, vous pouvez également utilisernetcaten mode écoute les canaux qui acheminent les données entrantes vers une extractiontar. L'avantage est que l'tarenvoi commence immédiatement et l'netcatenvoie sous forme de flux TCP simple sans surcharge de protocole supplémentaire. Cela devrait être aussi rapide que possible. Cependant, il n'est pas simple de redémarrer un transfert interrompu à la dernière position.Il est également facilement possible de compresser les données pour le transfert en utilisant les bonnes
taroptions ou d’ajouter un outil de compression dans les tuyaux. Notez quenetcatla date n'est pas chiffrée. Dans les cas où ce n'est pas une option, unesshconnexion cryptée peut être utilisée à la place (tar <options> | ssh <target> -c 'tar -x <options>').Si toutes les données sont transférées, vous
rsyncpouvez vous assurer que tous les fichiers mis à jour entre-temps sont synchronisés. De plus, l'IIRCtarne crée pas de sockets qui seraient perdus sinon, mais ils ne sont pas vraiment utilisés pour les données de centre de données.la source
Avez-vous envisagé IPoAC ?
la source
Encore une fois, la première suggestion consiste à expédier les lecteurs.
La deuxième suggestion est d’utiliser rsync pour rsyncd, pas sur SSH. J'ai essayé beaucoup de choses et c'est généralement le plus rapide. N'oubliez pas d'activer la compression. En outre, augmentez ou diminuez la taille de la mémoire tampon rsync pour obtenir le taux de transfert optimal. Cela peut également aider à augmenter la taille de votre MTU . Cela n’aidera que si les routeurs en route ne fragmentent pas vos paquets. Il existe des moyens de déterminer s'ils le font.
Malheureusement, il n'y a pas de réglage qui soit toujours le meilleur. Vous devrez expérimenter pour trouver ce qui fonctionne le mieux dans votre situation.
la source
Vous avez mentionné que les serveurs exécutent Windows 2008. Microsoft DFS convient-il? Il existe une certaine magie dans le bas de gamme qui tente de tirer le maximum de bande passante de la connexion, ainsi que de la compression et de la déduplication (IIRC).
Attention, les disques durs, les DVD ou les BluRays seraient plus rapides ... Mon calcul est de 11 jours à 11 Mo / s ...
la source
Vous pouvez utiliser un torrent pour cela.
Créez un torrent privé à une extrémité et utilisez le client de l'autre.
Bien que le cryptage soit en place, vous devez vérifier vos besoins.
la source