Envoi de fichiers volumineux vers plus de 500 ordinateurs

24

Je travaille avec une équipe pour gérer 500 à 600 ordinateurs Windows 7 loués pour une conférence annuelle. Nous avons une grande quantité de données qui doivent être synchronisées avec ces ordinateurs, jusqu'à 1 To. Les ordinateurs sont divisés en salles et connectés via des commutateurs gigabit non gérés. Nous préparons ces ordinateurs à l'avance avec l'installation et la configuration de Windows, ainsi que tous les fichiers dont nous disposons avant d'envoyer l'image de base pour réplication par la société de location. Chaque année, nous avons des présentateurs qui approchent sur place avec jusqu'à des quantités de données qui doivent être poussées dans la salle où ils présenteront. Parfois, ils n'ont que quelques fichiers de petite taille, comme une diapositive PDF, mais peuvent parfois être beaucoup plus grand> 5 Gio.

Notre stratégie actuelle pour pousser ces fichiers utilise des scripts batch et RoboCopy. Pour les grosses poussées, nous utilisons en fait un client BitTorrent pour générer un fichier torrent, puis nous utilisons le batch-RoboCopy pour pousser le torrent dans un dossier sur les machines distantes qui est surveillé par un client BT installé. Souvent, ces données doivent être transmises immédiatement avec une petite fenêtre temporelle. Nous avons plusieurs machines dans une salle de contrôle qui sont identiques aux machines au sol que nous utilisons pour ces poussées.

Nous avons parfois besoin d'exécuter un programme sur les machines distantes, et nous utilisons actuellement batch et PSexec pour gérer cette tâche.

Nous serions ravis de pouvoir répondre à ces poussées de dernière minute par "désolé, votre faute", mais cela n'arrivera pas. La méthode BT nous a permis d'avoir un temps de réponse beaucoup plus rapide, mais l'ensemble du processus par lots peut devenir compliqué lorsque plusieurs tâches sont poussées. Nous utilisons Enterprise Ghost pour d'autres processus, et cela ne fonctionne pas bien à cette grande échelle, en plus c'est vraiment assez cher pour une tâche annuelle comme celle-ci.

EDIT: Il est impératif que les machines distantes au sol exécutent Windows. Les machines de contrôle n'ont pas d'exigence OS stricte. J'aimerais vraiment éviter la multidiffusion en raison de complications avec les routeurs en amont. La multidiffusion ou BitTorrent est-elle la meilleure façon de procéder? Existe-t-il un autre protocole qui pourrait mieux fonctionner?

synchronization multicast files bittorrent WMIF
la source
3
En tant que question bien écrite, il me fait mal de dire que les questions d'achat sont hors sujet sur l'un des sites Stack Exchange . Voir Q&A est difficile, allons faire du shopping et la FAQ pour plus de détails.
Chris S
I would really like to stay away from Multicast because of complications with upstream routers.pouvez-vous expliquer pourquoi?
Zoredache
2
Honnêtement, en plus de trouver une solution de multidiffusion, votre processus BitTorrent et PSExec développé localement ressemble à ce que vous pouvez faire de mieux. Vous voudrez peut-être envelopper PowerShell autour de lui dans un joli souci d'automatisation, mais c'est à peu près la meilleure suggestion que je puisse vous donner ...
voretaq7
@ Zoredache- Honnêtement, c'est en partie parce que je n'ai pas assez d'expérience avec la multidiffusion. J'ai traité Ghost et multicast, et je n'ai pas vraiment obtenu de très bons résultats. L'équipement en amont appartient à l'installation avec laquelle nous concluons un contrat et nous avons traité avec des groupes informatiques assez difficiles à certains endroits. Je ne m'attendrais pas à ce que leur personnel sache même ce qu'est la multidiffusion.
WMIF
@ voretaq7- J'ai envisagé de mettre une interface sur notre structure, mais j'aurais du mal à le faire en PowerShell. Cela a été pénible pour moi d'apprendre le PS, principalement parce que c'est un comportement très différent des langages plus structurés. Si je mets une interface dessus, ce serait très probablement en C #.
WMIF

Réponses:

12

Vous voulez vraiment un programme de transfert de fichiers multidiffusion: UFTP , avec une documentation décente et des extensions de style proxt pour la traversée NAT / routeur.

Chris S
la source
Je regarde toujours la documentation du lien que vous avez donné, mais je ne vois pas encore de mention des trucs de multidiffusion de niveau inférieur. J'entends par là, cela dépend-il toujours du point de rendez-vous de multidiffusion qui doit être établi dans un routeur en amont de la chaîne? Je compte sur l'emplacement pour fournir ma passerelle, donc je n'ai pas mon propre routeur central qui peut fournir cette fonction. L'UFTP a-t-il un moyen d'émuler cela dans le logiciel?
WMIF
C'est le type de résultats que j'obtiens souvent lorsque je traite avec la multidiffusion, et pourquoi j'ai déclaré que je voudrais m'en éloigner. serverfault.com/questions/56487/…
WMIF
Je ne connais pas le logiciel ou le matériel de cette question, mais je n'ai pas rencontré de problèmes comme celui-ci dans mes configurations. La multidiffusion s'exécutera au rythme du client le plus lent, donc si vous avez différentes "strates" de vitesses de client, vous souhaiterez peut-être exécuter plusieurs sessions de multidiffusion pour chaque strate (n'affecte pas le temps d'achèvement final cependant, permet simplement aux ordinateurs plus rapides de terminer plus tôt). Les commutateurs et routeurs intermédiaires doivent prendre en charge la multidiffusion, les proxys peuvent atténuer cela dans une certaine mesure, mais si vous voulez des performances, vous aurez besoin d'une infrastructure réseau fiable / capable.
Chris S
Les commutateurs impliqués pour l'infrastructure de cette question sont tous non gérés. Les routeurs seront différents pour chaque emplacement, et je ne peux pas garantir qu'ils prennent en charge la multidiffusion. Existe-t-il un moyen de suspendre mon propre routeur sur le côté, tout en étant impliqué dans la partie multidiffusion de celui-ci? Je demande parce que je ne pense pas que ce soit possible.
WMIF du
La gestion n'affecte pas directement la prise en charge de la commutation pour la multidiffusion. Tous les commutateurs Ethernet 1 Go sont requis pour prendre en charge la multidiffusion (bien que les anciens et particulièrement bon marché l'implémentent en tant que diffusion, ce qui fait le travail); Les commutateurs plus anciens le faisaient généralement déjà. Le manque de prise en charge du routeur est la raison pour laquelle vous auriez besoin d'une configuration de proxy (une pour chaque segment de réseau isolé par multidiffusion). Évidemment, l'utilisation de routeurs qui prennent en charge la multidiffusion sera la plus simple, mais la configuration des proxys n'est pas terrible (sauf s'il y en a une grande quantité).
Chris S
5

Vous voudrez peut-être étudier le meurtre

Le meurtre est une méthode d'utilisation de Bittorrent pour distribuer des fichiers sur une grande quantité de serveurs dans un environnement de production. Cela permet des déploiements évolutifs et rapides dans des environnements de centaines à des dizaines de milliers de serveurs où les systèmes de distribution centralisés ne fonctionneraient pas autrement.

.

Murder a été / est développé par les gens de Twitter , et ils l'utilisent quotidiennement pour distribuer des fichiers.

Jens Timmerman
la source
4

Une nouvelle solution est peut-être apparue: BitTorrent Sync

Édition ultérieure: En fait, ces jours-ci, je recommanderais probablement l' assistant git-annex ou la synchronisation, mais il existe de nombreuses alternatives

ptman
la source
Pas seulement un autre mais un très bon dans ce cas d'utilisation, je pense!
Argeman
Je suis d'accord. J'ai trouvé ça sur /. et je suis en train de mettre en place des scénarios de test pour voir si cela fonctionnera aussi bien qu'il y paraît.
WMIF
Je viens de faire un test à grande échelle avec le BT Sync et j'ai découvert qu'il utilise 239.192.0.0 pour le trafic de diffusion multidiffusion. Je n'avais aucun contrôle sur l'infrastructure réseau, je n'ai donc pas été en mesure d'analyser complètement, mais cela provoquait une augmentation notable du trafic Internet sortant. Combiné avec certains problèmes généraux de non-concordance de synchronisation de fichiers, et cela a causé suffisamment de problèmes que j'ai dû l'arrêter. Dommage car il fonctionnait à merveille à plus petite échelle avec moins de 50 ordinateurs.
WMIF
1

Je pourrais avoir une idée pour vous qui pourrait vous aider. Pardonnez-moi car je ne comprends pas vraiment pourquoi cela doit être si complexe, mais si vous avez besoin de le garder simple pour l'utilisateur final tout en rendant les données rapides et faciles à atteindre à l'intérieur d'un LAN, vous pourriez peut-être y aller avec un Périphérique NAS. J'ai un Synology DS1812 + il peut RSYNC avec un autre lecteur Synology ou divers appareils compatibles RSYNC, il a une application capable de torrent appelée "Download Station", je sais que vous pouvez télécharger des fichiers torrent à partir de la baie de lecteur et je crois que vous pouvez également créer ou publier un fichier torrent avec cette application pour permettre aux autres de télécharger un fichier dont ils ont besoin. Il a des applications pour les appareils mobiles Apple et Android. Il peut également effectuer des transferts FTP. Cette baie de lecteur peut vous permettre d'envoyer rapidement un fichier, puis de le disperser rapidement et facilement sur le réseau local. Je suggère de placer les données à l'intérieur du LAN juste pour rendre l'accès plus rapide pour les utilisateurs du LAN, mais la beauté de ces périphériques NAS est que vous pouvez les mettre n'importe où en ligne tant qu'ils ont une connexion Internet rapide. Peut-être que l'un des appareils Synology NAS haut de gamme conviendrait parfaitement à vos besoins.

Synology a une interface virtuelle que vous pouvez consulter pour vous donner une meilleure idée si cela vous serait utile. Je vais coller le lien ci-dessous sur l'interface virtuelle

http://www.synology.com/products/dsm_livedemo.php?lang=us

Cet appareil permet également aux utilisateurs d'accéder à leurs données via une interface Web ou une application pour appareil mobile.

J'espère que cela aide et comme je l'ai dit, pardonnez-moi si je ne comprends pas correctement la question.

Frank R
la source
1
Je ne sais pas comment c'est mieux que ce qu'il fait maintenant. Le WMIF ne peut pas vouloir attendre que les utilisateurs commencent à obtenir les données eux-mêmes; on s'attend à ce que son équipe pré-installe les fichiers de données sur les machines dès qu'ils deviennent disponibles.
mfinni
@mfinni est correct. Le travail consiste à s'assurer que les fichiers qui nous sont fournis sont tous chargés sur les ordinateurs de la salle de conférence avant que les participants ne pénètrent dans la salle.
WMIF