J'ai besoin de copier 20 To de données sur une baie Thunderbolt. La boîte où les données existent n'a pas de connexion coup de foudre, donc je devrai utiliser le réseau local de 1 Go pour cela. (Oui, cela prendra une éternité).
J'ai essayé d'utiliser Filezilla / sftp, mais il s'est écrasé lorsque la file d'attente est devenue très grande. Rsync ou scp est-il la voie à suivre?
data-transfer
thunderbolt
rsync
lacinda
la source
la source
Réponses:
rsync est une bonne façon de procéder (scp est à peu près la même chose avec moins de fonctionnalités). Vous voudrez peut-être utiliser l'
-Zoption, qui activera la compression zlib. Selon la vitesse de vos disques / ordinateur, cela peut être plus rapide que l'envoi non compressé, c'est-à-dire si votre lien réseau est saturé. Vous pouvez également souhaiter l'option du mode archive,-aqui préservera les liens symboliques, les autorisations et les temps de création / modification, ainsi que la copie récursive des répertoires. Selon ce que vous copiez, vous souhaiterez peut-être-Econserver les attributs étendus et les fourchettes de ressources mac. Enfin,--progressvous montrera les informations de progression.la source
Bien que pas aussi omniprésent que rsync, j'ai utilisé dans le passé un outil appelé "mpscp" - http://www.sandia.gov/MPSCP/mpscp_design.htm
De Sandia National Labs, c'est un outil de copie de fichiers qui s'exécute sur SSH spécialement optimisé pour saturer les réseaux à grande vitesse entre des systèmes proches (comme la copie de téraoctets de données entre deux superordinateurs sur le même site, connectés via 10 Gb + ou Infiniband). Cela fonctionne bien, mais peut être un peu difficile à configurer. Lors des tests, je l'ai facilement vu fonctionner 2x-3x plus rapidement que rsync.
la source
Utilisez rsync et envisagez de l'utiliser avec rsyncd. Si vous utilisez rsync sans rsyncd, vous êtes bloqué en utilisant ssh, ce qui signifie utiliser une sorte de cryptage. Vous copiez probablement les données d'une machine plus ancienne vers une machine plus récente et la machine plus ancienne peut ne pas avoir le grognement du processeur pour crypter les données pour la transmission assez rapidement pour garder une liaison Ethernet gigabit saturée. Testez le transfert de lots de fichiers à l'aide des deux méthodes et voyez quelle voie est la plus rapide.
Pour la même raison, je vous conseille de tester l'utilisation de l'option de compression de rsync avant de vous engager à l'utiliser. La compression est une autre activité gourmande en ressources processeur qui pourrait ne pas être en mesure de suivre les vitesses Ethernet gigabit lors d'une tentative sur un matériel plus ancien. rsync est un programme vieux de quinze ans, écrit lorsque la majorité des gens, même dans les pays du premier monde, accédaient à Internet via un modem téléphonique. La bande passante réseau et les compromis CPU étaient alors très différents.
la source
-eoption. Avec la même option, vous pouvez modifier les options de ssh pour utiliser un cryptage moins gourmand en CPU:-e 'ssh -c arcfour,blowfish-cbc'ou similaire. Que cela fasse une différence de vitesse avec une machine moderne, je ne sais pas, mais une référence rapide peut être utile, en particulier avec 20 To de fichiers.Ces 20 To sont-ils emballés dans un petit nombre de fichiers volumineux (comme la vidéo, une base de données monstre) ou des millions de fichiers plus petits?
Si beaucoup de petits fichiers j'irais avec rsync pour la possibilité de redémarrage ou un flux tar canalisé pour l'efficacité (une connexion réseau pour le lot, recommencez depuis le début en cas d'échec)
le dossier distant doit être monté.
Pourriez-vous attacher directement le nouveau tableau avec une interface différente? Le rsync local n'utilise pas ssh, vous supprimez donc ce point d'échec. Oui, Firewire 800 est plus lent que Gigabit Ethernet mais vous ne pouvez pas charger Ethernet à 100% - il pourrait être plus rapide avec Firewire. Pour info, vous pouvez également mettre en réseau le firewire si les boîtiers sont suffisamment proches. Ajoutez l'interface dans les préférences système -> réseau.
la source
Une autre option serait d'essayer Bittorrent Sync ( http://www.bittorrent.com/sync ). Je l'ai utilisé pour synchroniser des photos et des vidéos de famille entre les membres de notre famille sur le WAN, mais il n'y a aucune raison que cela ne fonctionne pas pour le réseau local. Il utilise des connexions peer-to-peer afin que les données ne passent pas par un serveur comme si vous essayiez d'utiliser quelque chose comme dropbox (pas que je pense que vous avez 20 To d'espace de dropbox ou que vous voulez attendre aussi longtemps pour télécharger autant Les données!)
Il est également pris en charge sur plusieurs plates-formes et offre donc plus de flexibilité que rsync et tar.
la source