Comment construire un réseau local rapide

35

Je travaille dans la production de films et j'ai besoin d'accéder très rapidement à de très gros fichiers de métrage brut. J'utilise actuellement des stations d'accueil eSATA 6 Gbps pour les disques durs internes, qui vont aussi vite que le disque ira.

Si je devais utiliser un serveur et me connecter à mes postes de travail via un réseau, quelle technologie (relativement abordable) me permettrait-elle de me rapprocher de la vitesse du lecteur ou de la dépasser?

Ben
la source
12
Ethernet 10 Gbps est bien dans la gamme "abordable si vous avez un budget" ces jours-ci. Cependant, un SAN (réseau de stockage) de 8 ou 16 Gbit / s pourrait être mieux adapté à cet usage particulier?
Ecnerwal
3
Il est spécialement conçu / optimisé pour les réseaux de stockage.
Ecnerwal
3
Je veux juste vérifier - utilisez-vous des disques SSD? Sinon, c'est une mise à jour essentielle.
trpt4him
1
Je ne vois aucune valeur ajoutée d'un SAN par rapport à un NAS plus simple et moins cher ici.
Jiggunjer
3
Pour répondre correctement à cette question, des informations supplémentaires sont nécessaires: quelle quantité de données doit être stockée, combien d'utilisateurs simultanés, d'où proviennent les données (de quel type de machine)? Un réseau 100Gb ne vous aidera pas si vous y accédez depuis un ordinateur 2 ou 3 avec une carte réseau 1Gb.
JFL

Réponses:

31

Au début de 2017, à en juger par les informations facilement disponibles en ligne, il semble que les disques durs SATA les plus rapides atteignent environ 220 mégaoctets / s, soit 1,760 gigabits / s.

Donc, si vous essayez simplement de battre la vitesse d'un seul disque, et que vous êtes limité aux disques durs pour des considérations de coût par téraoctet pour des fichiers vidéo volumineux, alors 10 gigabits Ethernet suffisent.


En passant, notez que Thunderbolt Networking est également à 10 gigabits / s. Par conséquent, si vous avez déjà des ports Thunderbolt, vous pouvez expérimenter avec cela. Il pourrait éventuellement être supérieur à vos ports eSATA 3 de 6 gigabits, bien que je ne sois pas sûr à ce sujet car eSATA est très spécifique au stockage, alors que le stockage sur Ethernet entraîne une surcharge. Notez également que Thunderbolt est un bus de bureau; il n'atteint que quelques mètres, pas les 100 m qu'un Ethernet 10 Gigabit peut gérer. Ainsi, alors que Thunderbolt peut être intéressant pour expérimenter et prototyper pendant que vous pesez vos options, ce n'est probablement pas la bonne solution à long terme pour vous, à moins que vous ne vouliez garder tous vos postes de travail et disques connectés dos à dos autour d'une grande table.


C'était donc pour les disques durs simples. Mais si vous mettez ces disques en RAID ensemble pour que chaque lecture ou écriture soit répartie sur plusieurs lecteurs, vous obtiendrez des performances bien meilleures que celles d'un lecteur unique. En outre, en fonction de votre budget, vous pouvez installer des disques SSD PCIe / M.2 NVME sur un PC en tant que serveur / NAS, et obtenir des performances de stockage extrêmement rapides (environ 3,4 gigabits par seconde = 27 gigabits par seconde) par conduire.

Dans ce cas, vous voudrez peut-être envisager quelque chose de plus rapide que l'Ethernet 10 Gigabit, mais en regardant en ligne, il semble que les prix dépassent de manière spectaculaire les 10 Gigabit Ethernet. Donc, vous voudrez peut-être envisager d'agréger des liens sur plusieurs liens 10Gigabits. J'ai également vu des anecdotes en ligne qui utilisaient des équipements réseau, tels que des objets InfiniBand 40Gbps d'occasion, peuvent être achetés sur eBay à très bas prix, si vous ne craignez pas les tracas liés à l'achat de matériel usagé sur eBay.

Spiff
la source
1
Qu'en est-il de plusieurs cartes réseau 10 Gbit + liaison?
André Borie
2
la liaison permet d'avoir des flux séparés qui utilisent des liens physiques différents, mais un seul flux utilisera une seule carte réseau. Cela sera donc utile lorsque plusieurs fichiers seront servis en même temps à différentes personnes, sans pour autant augmenter la bande passante pour un seul accès aux fichiers.
JFL
4
@JohnU Non, Ethernet est efficace à 94% avec les trames standard de 1500 octets et encore mieux avec les trames jumbo. Je vois régulièrement plus de 930 Mbps de débit sans même essayer. Gigabit Ethernet n'autorise pas les concentrateurs, mais uniquement les commutateurs, de sorte qu'il est toujours en duplex intégral et ne provoque donc jamais de collisions.
Spiff
1
@JFL Ethernet bonding (agrégation de liens IEEE 802.3ad) distribue la charge paquet par paquet et non par flux. Les technologies réseau étant généralement conçues en couches distinctes, Ethernet (couche 2, la couche liaison de données) n'a aucune idée des protocoles qui la surmontent, tels que IP ou TCP, et n'a donc aucune idée des flux.
Spiff
2
@JFL L'agrégation Linux peut certainement utiliser certaines informations de couche 3 + (Linux peut faire beaucoup de choses inhabituelles), n'oubliez pas que vous avez réellement besoin que les deux côtés prennent en charge la même méthode de liaison pour être utiles. Si vous vous connectez à un commutateur, vous pouvez vraiment utiliser ce que le commutateur prend en charge.
Zoredache
5

Si vous vous en tenez aux disques SATA, l’implémentation d’un réseau Ethernet 10 Gb / s et la création d’un RAID 10 de taille raisonnable sur le serveur vous permettront d’obtenir une augmentation de performances remarquable par rapport à un disque SATA unique. Ce sera un investissement rentable, car vous pouvez partager le serveur entre autant de stations de travail que vous le souhaitez et en ajouter par la suite en ajoutant des commutateurs. Vous devrez utiliser un câble Ethernet Cat-6, car le Cat-5E ne le coupera pas - n'oubliez pas d'ajouter cette dépense à vos calculs. Vous pouvez également ajouter des disques SSD en tant que cache pour accélérer encore davantage le système. Puisque vous travaillez avec des séquences vidéo, je suppose que vous avez besoin de vastes quantités d’espace de stockage, ce qui coûterait extrêmement cher à construire uniquement avec des disques SSD.

Vous pouvez acheter un serveur préfabriqué monté en rack auprès de Dell ou HP et utiliser la carte RAID matérielle, ou si vous êtes un spécialiste du matériel, vous pouvez acheter un châssis moins cher auprès de Supermicro et construire vous-même la machine de stockage, à l'aide du logiciel RAID soit Windows ou Linux. Le RAID matériel est souvent plus rapide lorsqu'un RAID1 est impliqué, car le logiciel doit écrire successivement sur chaque disque et attendre la fin de l'écriture avant de passer à l'opération suivante. une carte RAID peut généralement écrire sur les deux disques en parallèle et mettre en cache l'opération d'écriture, rendant ainsi le contrôle au système d'exploitation immédiatement. Notez cependant que, même si un RAID0 serait encore plus rapide, vous n’avez aucune redondance et une défaillance de lecteur entraîne la perte totale des données; n'utilisez jamais un RAID0 lorsque vous souhaitez conserver des données.

Au sommet de l'échelle, vous avez des réseaux de stockage (SAN), mais ceux-ci sont conçus pour permettre de nombreuses opérations en parallèle à partir d'un grand nombre de clients distincts; Un avantage de ceci est que le débit est très élevé pour un petit nombre de machines connectées, mais est probablement trop cher pour vos besoins et très coûteux. À l'extrémité inférieure, vous avez des périphériques de stockage réseau (NAS) que d'autres ont mentionnés, mais bien que beaucoup plus simple qu'un serveur complet, je ne les recommande pas, car un NAS est souvent une boîte noire; ils sont conçus pour être plug & play pour la plupart des utilisateurs et vous avez donc peu de contrôle sur le système d'exploitation. Je viens juste de renvoyer un petit NAS que j'ai acheté pour le bureau d'un client, car il est devenu instable après une journée d'utilisation.

Un autre avantage de la création d’un serveur réside dans le fait que vous concentrez toutes vos séquences au même endroit, ce qui permet de les sauvegarder de manière pratique et relativement facile. Ne négligez jamais votre stratégie de sauvegarde. Un jour, vous devrez en dépendre!

Gargravarr
la source
3
"le logiciel doit écrire successivement sur chaque disque et attendre que l’écriture soit terminée avant de passer à l’opération suivante". Cela n'a pas été vrai depuis plusieurs décennies; même les disques non-serveurs prennent en charge la mise en file d'attente des commandes. Et à proprement parler, avec le logiciel DMA, il n'était pas nécessaire d'attendre non plus. Cela a été pris en charge dans les ordinateurs de bureau depuis 1998 ou à peu près.
MSalters
Il est probablement intéressant de noter que si la première phrase est vraie pour un utilisateur unique, la bande passante partagée de 10 Gb signifie que si plusieurs utilisateurs tentent d'accéder au partage simultanément, la bande passante obtenue passera finalement au-dessous des niveaux SATA d'un utilisateur.
Dan Neely
2
Un NAS n'est pas un périphérique spécial par définition, vous pouvez avoir un PC Linux normal avec samba ou NFS et l'appeler un NAS. La principale différence est le partage au niveau du fichier par rapport au partage au niveau du bloc. Un périphérique de blocage ne peut être utilisé que par un client à la fois. De plus, les réseaux de stockage coûtent plus cher et prennent plus de temps / plus de connaissances à configurer.
Jiggunjer
@jiggunjer C'est tout à fait vrai, mais la plupart des personnes qui construiraient un PC avec Samba l'appelleraient un serveur de fichiers, pas un NAS. Je suis juste en train de jouer sur la technicité pour parler de l'appareil à usage spécial. Il en va de même pour les réseaux de stockage, raison pour laquelle je les ai classés comme étant excessifs.
Gargravarr
@DanNeely Oui, à mesure que de plus en plus de clients sont ajoutés avec un accès simultané, la vitesse de chaque poste de travail diminuera, mais le débit total des données sortant du serveur devrait rester très élevé. Augmenter avec le cache SSD pourrait compenser la plupart de cela.
Gargravarr
3

Rien ne vaut la flexibilité et la facilité de configuration de 10gbe, mais SAS est étonnamment configurable en réseau:

SAS fonctionne parfaitement pour un petit nombre de stations de travail (n <8) où les volumes n'ont pas besoin d'être inscriptibles à partir de plusieurs ordinateurs. Avec un Tyan JBOD (1 500 USD) et un HSI LSI (400 USD), nous obtenons des transferts durables de 3 400 Mo / s (27 Gbps) vers SSD. Le JBOD dispose d'un commutateur interne avec 3 liaisons montantes vers l'adaptateur de bus hôte, mais des commutateurs SAS sont disponibles pour des nombres de ports plus élevés.

Voici un test de vitesse de l’un de nos volumes:

CDM5 affichant une lecture séquentielle de 2 862 Mo / s avec 32 iops en file d'attente.  Lecture aléatoire à 4 fils, 29 Mo / s

En interne, nous utilisons cette solution avec Windows Server en cluster exécutant des espaces de stockage distribués aux clients avec 10gbe.

Serveurs Windows en cluster

Mitch
la source
2

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -Product

Tout d’abord, M.2 SSD qui, avec la carte mère correcte, peut atteindre 2 Go / 4 Go / s, voire plus. RAID quelques-uns d'entre eux ensemble, et vos vitesses sont encore plus élevées.

La mise en réseau de plusieurs cartes réseau de 10 Go pourrait vous rapprocher des vitesses natives.

Plus que 10g, c'est beaucoup plus d'argent.

40 gigabits NIC https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&gclid=Cj0KEQiA9P7FBRCtoO33_LGUtPQBEiQAU_tBgIU2jZrJKf0kXFy96roOllcRkp7j-VoubG_n7xb0_pgaAnaT8P8HAQ

cybernard
la source
Dépasser les 10 Go est également susceptible de limiter la vitesse du bus local :) Un slot PCI-Express 2.0 x16 a théoriquement un débit de 64 Go / s, mais des frais généraux sur tous les côtés (bus vers mémoire, logiciel de pilote vers mémoire, charge du processeur) ...) le rongera assez près de l'endroit où vous pouvez être heureux si votre 10GBe fonctionne à la vitesse de ligne ...
rackandboneman
2
@ rackandboneman: C'est pourquoi vous avez une carte réseau intelligente. Ethernet 10 Gb / s est la vitesse brute. Les en-têtes Ethernet, IP et TCP peuvent être gérés par la carte réseau, ce qui permet au processeur de gérer uniquement les données réelles.
MSalters
Si ces mécanismes de déchargement fonctionnent en combinaison avec votre scénario d'application - et alors qu'ils abattent sur l' utilisation du processeur, ils ne seront pas réduire le volume de données beaucoup moins que beaucoup de ce trafic est des ordures en premier lieu ...
rackandboneman
@rackandboneman PCIe 3.0 x16 existe donc les vitesses peuvent doubler.
Cybernard
10gbe peut être beaucoup moins cher que ça: Mellanox nic pour 180 $ et 25gbe vient près de Mellanox 25gbe pour 300 $ . Ce qui vous tue, c'est le coût du port sur les commutateurs, mais eBay ou un maillage complet fait disparaître ce problème.
Mitch
0

Utilisez une carte Ethernet fibre avec un commutateur fibre, idéalement en mode multimode ou en mode simple avec des pads. Si vous avez le budget nécessaire, vous pouvez obtenir 10 Gbps, si vous utilisez l'agrégation de liens avec une carte à fibre optique double port, vous pouvez obtenir 20 Gbps. Puisque l'expression "relativement abordable" change en fonction de votre budget, il serait utile de connaître le montant réel de vos dépenses.

Ensoleillé
la source
0

Le moyen le moins coûteux serait d'utiliser l'agrégation de liens (IE run N câbles, généralement 2) au lieu d'un.

De cette façon, un lien 1 Go pas cher deviendra un lien 2 Go.

Évidemment, cela signifie que vous avez besoin d'au moins 4 ports pour un seul serveur client.

Antzi
la source
et le client a besoin de 2 ports ... Est-ce que des commutateurs simples fonctionnent avec cela? ou devrait-il s'agir d'un lien direct?
Jiggunjer
@jiggunjer simple switch peut être utilisé pour cela, mais vous avez besoin d'une configuration spéciale sur tous les ordinateurs / serveurs qui utilisent ce schéma
Antzi
cette agrégation est-elle la même chose que la liaison mentionnée dans les commentaires de la réponse de @Spiff? Dans ce cas, la bande passante n'est pas augmentée pour l'accès à un seul fichier ...
jiggunjer
@jiggunjer Cela dépend vraiment de la façon dont vous effectuez la configuration, donc je ne peux pas vraiment vous répondre.
Antzi
1
@FlorianCastellane dernier dernier pas cher que j'ai acheté n'était pas. Dépend des spécifications
Antzi