Linux vers Linux, transfert de 10 To?

9

J'ai regardé toutes les questions similaires précédentes, mais les réponses semblaient être partout et personne ne déplaçait beaucoup de données (100 Go est différent de 10 To).

J'ai environ 10 To dont j'ai besoin pour passer d'une matrice RAID à une autre, Gigabit Ethernet, l'encyclopédie gratuite, les systèmes de fichiers XFS . Ma plus grande préoccupation est d'avoir le transfert à mi-chemin et de ne pas pouvoir reprendre facilement. La vitesse serait bien, mais assurer le transfert est beaucoup plus important.

Normalement, je ne ferais que tar et netcat, mais la matrice RAID dont je déménage a été super floconneuse ces derniers temps, et je dois pouvoir récupérer et reprendre si elle tombe en cours de processus. Dois-je regarder rsync ?

En examinant cela un peu plus, je pense que rsync pourrait être trop lent, et j'aimerais éviter que cela prenne 30 jours ou plus. Alors maintenant, je cherche des suggestions sur la façon de surveiller / reprendre le transfert avec netcat .

linux networking rsync file-transfer copy lostincode
la source
J'ai parfois besoin de faire des transferts de fichiers volumineux (mais pas 10 To;) rsync a de nombreux indicateurs, certains d'entre eux peuvent avoir un impact sur les performances d'un transfert de fichiers volumineux (je pense que --checksum et --archive peuvent vous ralentir, par exemple. ferait une grande différence lors du transfert de 10 To.). Quelqu'un peut-il recommander de bonnes options pour optimiser les performances d'un transfert de fichiers aussi volumineux? Le réglage --block-size=SIZEaiderait-il?
Stefan Lasiewski
est-il possible de supprimer la surcharge ssh?
lostincode
1
configurer rsyncd du côté réception? pas besoin de ssh
cpbills
3
Exécutez un démon rsync côté réception ainsi que le client côté envoi.
pause jusqu'à nouvel ordre.
2
Si vous ne pouvez pas configurer un démon rsync d'un côté et que vous êtes bloqué avec SSH, vous pouvez réduire la surcharge de chiffrement avec un chiffrement moins bon comme: rsync -avz -e 'ssh -c arcfour' SOURCE DEST
David

Réponses:

14

oui, rsync

en dehors d'oddball, les fonctionnalités asynchrones de DRBD sont récemment sorties.

cagenut
la source
1
+1 pour Rsync. Roi des transferts de système à système sur Linux.
grufftech
+1, rsync (et son équivalent Windows DeltaCopy) sont la fin de la duplication de fichiers générique de serveur à serveur efficace.
Chris S
1
+1 pour rsync, mais j'ajouterais qu'il peut être plus rapide de le faire "localement" sur un montage NFS au lieu d'engager la surcharge du protocole rsync ou SSH.
James Sneeringer
2

Ne sous-estimez jamais la bande passante d'un break rempli de bandes. 10 To seraient réalisables avec un équipement NAS de consommation relativement bon marché si vous pouvez le diviser en (disons 2 To) morceaux. S'il s'agit d'une opération ponctuelle, un processus semi-manuel pourrait être réalisable, et un NAS de 2 To ne coûte que quelques centaines de dollars.

Si vous avez besoin d'un processus continu, vous pouvez configurer RSYNC après avoir effectué le transfert initial.

ConcernedOfTunbridgeWells
la source
La question initiale mentionnait que cela se faisait déjà sur un réseau local.
Ladadadada
1
Ce qui semble trop lent et / ou peu fiable aux fins du PO.
ConcernedOfTunbridgeWells
2

J'ai dû faire ce genre de tâche il y a quelques mois. J'ai utilisé rsync parallèle pour accélérer le processus. Il divise les fichiers à transférer / synchroniser en morceaux, et il peut être repris à tout moment. Voir le lien ci-dessous pour le script rsync parallèle.

https://gist.github.com/rcoup/5358786

Pierre Bergdolt
la source
0

Vous pouvez essayer de configurer un serveur FTP sur le serveur avec les données à copier et utiliser un client FTP avec "reprendre" à la réception. J'utilise le serveur et le client Filezilla et j'utilise la fonction "reprendre" du client assez souvent et cela a toujours fonctionné sans accroc.

jamesbtate
la source