Pourquoi le stockage d'entreprise est-il si cher?

C’est une question canonique sur le coût du stockage en entreprise.
Voir aussi la question suivante:

• Quelle est la meilleure façon d'expliquer les problèmes de stockage aux développeurs et aux autres utilisateurs

En ce qui concerne des questions générales telles que:

• Pourquoi dois-je payer 50 dollars par mois par gigaoctet de stockage supplémentaire?
• Notre serveur de fichiers manque toujours d'espace. Pourquoi notre administrateur système ne se contente-t-il pas de lancer un disque supplémentaire de 1 To?
• Pourquoi les équipements SAN sont-ils si chers?

Les réponses ici tenteront de fournir une meilleure compréhension du fonctionnement du stockage de niveau entreprise et de ce qui influence le prix. Si vous pouvez développer la question ou donner un aperçu de la réponse, merci de poster.

1. Les capacités des disques durs du serveur sont infimes, comparées aux capacités des disques durs de bureau. Des tailles de 450 et 600 Go ne sont pas inhabituelles dans les tout nouveaux serveurs et vous pouvez acheter de nombreux disques de bureau SATA de 4 To pour le prix d’ un disque dur SAS (serveur) de 600 Go.

2. Votre disque dur SATA dans votre ordinateur de bureau à la maison ressemble à une muscle car de Ford, GM, Mercedes ou tout autre fabricant de voitures pour tous les jours (grande capacité V8 ou V12, 5 ou 6 litres). Parce qu'ils ont besoin d'être conduits par des personnes qui n'ont pas de licence de course ou qui ne comprennent pas le fonctionnement d'un moteur à combustion interne, ils ont de très grandes tolérances. Ils ont des limiteurs de régime, ils sont conçus pour fonctionner avec de l'huile d'une certaine classe, ils ont des intervalles de maintenance de 10 000 km, mais si vous ratez un intervalle de maintenance de quelques semaines, il ne vous explose pas. Ils ne prennent pas feu lorsque vous conduisez sur de longues distances.

   Le lecteur SAS d'un serveur s'apparente davantage à un moteur de formule 1. Ils sont vraiment petits (2,4 litres) mais ont une puissance de sortie immense en raison de leurs tolérances minimes. Ils ont un régime plus élevé et n’ont souvent pas de limiteur de régime (ce qui signifie qu’ils subissent des dommages graves s’ils sont mal conduits), et si vous manquez un intervalle d’entretien (toutes les quelques heures ), ils explosent.

   Vous comparez essentiellement la craie et le fromage. Les chiffres et une ventilation complète sont discutés dans le livre blanc Intel Disques durs de classe entreprise contre disques durs de bureau

3. Parlons des chiffres difficiles ici. Supposons que vous demandiez 1 Mo de données supplémentaires (un bon nombre rond). Combien de données est-ce vraiment ? Eh bien, votre 1 Mo de données va aller dans une matrice RAID. Disons qu'ils sont en sécurité et en font un RAID1. Votre 1 Mo de données est mis en miroir, il s'agit donc de 2 Mo de données.

   Supposons que vos données se trouvent dans un SAN. En cas de défaillance d'un nœud SAN, vos données sont synchronisées au niveau octet sur un deuxième nœud SAN. Donc, c'est dupliqué, et vos 2 Mo de données est maintenant de 4 Mo.

   Vous vous attendez à ce que votre fournisseur conserve des sauvegardes sur site afin que vos données puissent être restaurées en cas d'urgence? Tout fournisseur digne de ce nom va vous fournir au moins une sauvegarde sur site, voire plus. Supposons qu'ils prennent des instantanés une fois par semaine pendant trois semaines sur place. Cela représente 3 Mo de données supplémentaires, vous êtes donc maintenant à 7 Mo.

   En cas de sinistre critique, votre fournisseur aurait intérêt à en conserver une copie hors site quelque part. Même s'il a un mois, il devrait exister. Alors maintenant, vous êtes à 8MB.

   S'il s'agit d'un fournisseur de haut niveau, il se peut même qu'un site de récupération après sinistre soit synchronisé en direct. Ces disques seront également mis en RAID, ce qui représente 2 Mo supplémentaires. Vous disposez donc de 10 Mo de données.

   Vous devrez éventuellement transférer ces données. Quelle? Le transférer? Oui, le transfert de données coûte de l'argent. Cela coûte de l’argent lorsque vous le téléchargez, que vous y accédez par Internet, et même si vous devez le sauvegarder (quelqu'un doit sortir ces cassettes du bureau) et il se peut que votre 1 Mo de données signifie qu’elles doivent acheter un disque supplémentaire. ensemble de bandes et de les transférer quelque part).

4. Lorsque votre disque dur SATA tombe en panne, vous devez appeler le support technique pour le convaincre que votre disque est mort. Envoyez ensuite votre lecteur au fabricant (à votre compte la plupart du temps). Attends une semaine. Récupérez un disque de remplacement et réinstallez-le (il n’est presque certainement pas remplaçable à chaud ni déjà dans un chariot de lecteur).

   Lorsque ce lecteur SAS tombe en panne, appelez le support technique. Ils ne remettent presque jamais en question votre opinion selon laquelle le lecteur doit être remplacé immédiatement et expédient directement un nouveau lecteur. généralement, le nouveau disque est livré plus tard le même jour, sinon le lendemain est également très courant. Généralement, le fabricant enverra un représentant installer le lecteur si vous ne savez pas comment (très pratique si vous prévoyez de prendre des vacances et que vous avez besoin de choses pour continuer à travailler pendant votre absence).

5. Les lecteurs d'entreprise ont des tolérances strictes (voir n ° 2 ci-dessus) et ont tendance à durer environ 10 fois plus longtemps que les lecteurs grand public (MTBF). Les disques d'entreprise prennent presque toujours en charge la détection avancée des erreurs et des défaillances, selon un rapport de Google, environ 40% du temps, mais c'est ce que tout le monde préférerait voir mourir d'un ordinateur.

   Lorsque vous avez un seul lecteur sur votre ordinateur à la maison, ses chances statistiques d’échec sont simplement celles du lecteur. Auparavant, les disques étaient classés en MTBF (où les disques SAS bénéficient toujours d'au moins 50% d'évaluation ou plus), il est désormais plus courant de voir les taux d'erreur. Un lecteur SAS typique a 10 à 1 000 fois moins de risques d’avoir une erreur irrécupérable (100 fois la plus courante que j’ai trouvée récemment). (taux d'erreur selon la documentation du fabricant fournie par Seagate, Western Digital et Hitachi; absence de partialité; renoncer expressément à l'indemnisation).

   Les taux d'erreur sont particulièrement importants, non pas lorsque vous rencontrez une erreur irrémédiable sur un lecteur, mais lorsqu'un autre lecteur du même module tombe en panne et que vous ne comptez pas sur tous les lecteurs d'un module pour être lisibles afin de récupérer le disque défaillant.

6. SAS est un dérivé de SCSI, qui est un protocole de stockage. SATA est basé sur ATA, qui est lui-même basé sur le bus ISA (ce bus 8/16 bits dans les ordinateurs de l’âge des dinosaures). Le protocole de stockage SCSI dispose de commandes plus complètes pour optimiser la manière dont les données sont transférées des lecteurs aux contrôleurs et inversement. Cette amélioration de l'efficacité rendrait un lecteur SAS autrement égal, par nature, plus rapide, en particulier sous des charges de travail extrêmes, qu'un lecteur SATA; cela augmente aussi le coût.

7. Il y a moins de disques SAS produits, les économies d'échelle dictent qu'ils seront plus chers, toutes choses étant égales par ailleurs.

8. Les disques SAS ont généralement une vitesse de rotation de 10 ou 15 000 vitesses; tandis que SATA vient généralement en 5.4k ou 7.2k. Les disques SAS, en particulier ceux de 2,5 pouces qui deviennent de plus en plus populaires, ont des temps de recherche plus rapides. Les deux combinés augmentent considérablement le nombre d'E / S qu'un lecteur peut exécuter. En général, un lecteur SAS est environ 3 fois plus rapide. Lorsque plusieurs utilisateurs exigent des données disparates, les IO la capacité du lecteur / de la matrice devient un indicateur de performance critique.

9. Les lecteurs d'un centre de données sont généralement alimentés en permanence. Des études ont montré que les pannes de disque sont influencées par le nombre de cycles de chauffage / refroidissement qu’il exécute (entre fonctionnement et arrêt). Le fait de les laisser fonctionner tout le temps augmente généralement la durée de vie du lecteur. La conséquence est que les lecteurs consomment de l'électricité. Cette électricité doit être alimentée par quelque chose (dans le cas d'un gros DC, les disques peuvent à eux seuls consommer plus d'énergie qu'un petit quartier de maisons). Ils doivent également dissiper cette chaleur quelque part, ce qui nécessite des systèmes de refroidissement (qui nécessitent eux-mêmes davantage de puissance pour fonctionner).

10. Coûts d'infrastructure et de personnel. Ces lecteurs sont des unités NAS ou SAN haut de gamme. Ces unités sont chères, même sans les disques coûteux qu'elles contiennent. Ils ont besoin de personnel coûteux pour les déployer et les entretenir. Les bâtiments dans lesquels se trouvent ces unités NAS et SAN coûtent cher à exploiter (voir la remarque sur le refroidissement ci-dessus, mais il y en a beaucoup plus). Le logiciel de sauvegarde n'est généralement pas gratuit (pas plus que les licences pour la mise en miroir). et le personnel chargé du déploiement et de la maintenance des sauvegardes sont généralement coûteux également. Le coût de la location de stockage et de stockage de bandes hors site n’est que l’un des nombreux éléments qui commencent à s’empiler lorsque vous avez besoin de plus de stockage.

En gardant à l'esprit que la capacité de leurs disques peut être égale à 1 / 10e de celle d'un disque de bureau, et son prix est cinq fois supérieur, votre 1 Mo de données est en réalité de 10 et toutes les autres différences, vous ne pouvez en tirer aucun résultat significatif. conclusions entre le prix de votre stockage de bureau et le prix du stockage de niveau entreprise.

Je n’ajoute pas ceci à la réponse CW la plus fréquente principalement parce que c’est une divergence d’opinion. N'hésitez pas à fusionner / modifier ceci si vous le souhaitez.

Souvent, le stockage "au niveau de l'entreprise" est si coûteux que le demandeur ne comprenne pas l'exigence, mais parfois l'administrateur système ne comprend pas l'exigence, ne peut pas communiquer l'exigence à une personne ayant le pouvoir d'achat ou ignoré par ladite autorité.

Les baies de stockage standard hautes performances, hautement disponibles et nécessitant peu d'entretien sont coûteuses . Une partie du travail d'un concepteur de système consiste à savoir où ils sont appropriés et dans quels cas une conception différente est appropriée.

Je ne pense pas que les coûts relatifs des différents types de lecteurs de disque soient réellement pertinents pour l'une ou l'autre des questions.

Pourquoi dois-je payer 50 dollars par mois par gigaoctet de stockage supplémentaire?

Ceci est clairement adressé à un fournisseur de services quelconque. Les deux réponses possibles à mon esprit sont:

1. Vous disposez de 5 jours de disponibilité, support 24/7, à Manhattan / Londres / Hong Kong. Les plateaux rotatifs ne sont qu'une petite partie de la pile pour laquelle vous payez.

2. Vous payez trop. Négociez, changez de fournisseur ou apportez-le chez vous.

Notre serveur de fichiers manque toujours d'espace. Pourquoi notre administrateur système ne se contente-t-il pas de lancer un disque supplémentaire de 1 To?

C'est presque certainement un mauvais dessein (et probablement pour des raisons politiques). Les données sur ce serveur de fichiers se situent quelque part dans ce spectre:

• Les données méritent d'être stockées dans une configuration haute performance, hautement disponible et à coût élevé. Les temps d'arrêt causés par une insuffisance d'espace affectent votre haute disponibilité et constituent un échec de la conception ou de la planification.

• Les données sont soit sans importance ou des performances lentes ou des temps d'arrêt plus longs sont acceptables. Les disques et les solutions de sauvegarde bon marché sont acceptables. Les temps d'arrêt normaux dus au manque d'espace disque semblent toujours un compromis étrange, car la majorité de vos coûts dans ce cas vont probablement être votre temps administrateur système, et à long terme, ils passeront plus de temps à résoudre les problèmes de disque faible espace.

Notez que j'ai dit qu'il s'agit d'un spectre et que la plupart des exigences se situent quelque part entre les deux.

Le coût de production d'un article est directement lié au volume d'unités qu'il vendra dans une boucle de rétroaction.

Dans le cas d'un disque dur classique, avec du verre rouillé rouillé et de l'électronique, le coût des composants mécaniques et électroniques peut varier énormément - 2 bandes de prix / qualité claires sont toutefois apparues - Enterprise et Commodity.

Cependant, le volume de ventes réduit d'une unité de production pèse lourdement sur le rendement de votre argent. Un coût sept fois supérieur ne sera pas sept fois meilleur.

Les unités d'entreprise (pour une capacité donnée) sont légèrement plus rapides que les unités de produits de base, comparant par exemple les disques Seagate Barracuda SATA (produits de base) et Cheetah SAS (entreprises):

model            Barracuda            Cheetah
capacity(Gb)     500                  450
sustained data   125                  168
   rate (Mb/s)
cache(Mb)        16                   64
annual failure   <1%                  0.44%
   rate
Price GBP        42                   275
Price USD        67                   440

Toutefois, dans un contexte d'entreprise, aucun administrateur système sensé ne stockerait jamais des données importantes sur un seul disque. L'utilisation de plusieurs disques offre une fiabilité et une bande passante supérieures et réduit efficacement le temps de latence. Quatre des disques Barracuda configurés en RAID10 seront beaucoup plus rapides que le disque simple Cheetah, avec un risque de perte de données beaucoup moins important, à environ 60% du prix.

Vous obtiendrez certainement une meilleure garantie avec le lecteur Enterprise, et le fournisseur sera généralement en mesure de vous en procurer une le jour même - mais vous pourrez probablement trouver un lecteur de marchandise auprès d'un fournisseur local plus rapidement que votre fournisseur ne le peut. messagerie sur le disque de remplacement. D'autre part, le disque d'entreprise est plus susceptible de remplacer exactement le lecteur en panne.

Alors peut-être obtenez-vous beaucoup plus de fiabilité des lecteurs d'entreprise? Même si les fabricants et vendeurs de disques le disent souvent (Seagate n’en parle pas beaucoup sur leur site web, mais même les chiffres obscurs qu’ils publient montrent que c’est moins qu’un facteur 2). Des études indépendantes suggèrent qu'il n'y a pas de différence significative .

Le jeu de commandes SCSI présente certains avantages techniques par rapport au jeu de commandes ATA, notamment pour permettre au système d’exploitation de savoir exactement ce qui est engagé sur le disque. Toutefois, cela ne fait vraiment une différence que de regarder les performances et la fiabilité d’un système de fichiers. mis en œuvre sur un seul disque.

Si votre fournisseur de services exploite un réseau SAN Fibre Channel, le coût par gigaoctet de stockage sera au moins 8 fois supérieur à celui que vous achetez un disque sur étagère dans votre magasin de matériel le plus proche. Mais il existe d’ autres approches qui peuvent réduire considérablement les coûts.

Notez que cela ne coûtera jamais moins cher que d'acheter un disque sur étagère, car vous payez également pour la redondance, l'électricité, la climatisation et l'assistance, mais ces coûts devraient être minimes par rapport au coût de la fourniture de stockage.

Je suis d'accord avec les autres articles sur la qualité de l'offre d'une société d'hébergement. Mais nous avons récemment refait notre contrat d’hébergement et avons effectué des achats sans que personne ne soit compétitif sur le plan de l’espace de stockage, et les prix n’étaient pas plus bas que ceux de notre précédent contrat de 3 ans. Le prix des disques SAS a baissé, les étagères / baies de disques / SANs / FC / commutateurs ont baissé, le prix a baissé. Mais pas de stockage sur disque?

Un collègue avec beaucoup plus d'expérience a souligné la tactique. Le prix de la CPU, de la mémoire et de la bande passante était éblouissant! Inscrivez-vous ici! Inscrivez-vous maintenant et ignorez ce problème d'espace disque! Vous n'aurez pas besoin de beaucoup d'espace disque. Regardez le processeur et la mémoire!

Une fois que vous vous êtes engagé dans leur contrat, ils vous ont vraiment eu et ils constituent leurs revenus sur l’espace disque. Oui, il s’agit de RAID-5 et de hautes performances, mais les sauvegardes coûtent en plus, la réplication hors site coûte plus.

Pour les hébergeurs, c'est un modèle économique. La plupart des entreprises font la même chose avec leurs prix - réduisez ce prix ici, mais augmentez-le là-bas pour gagner leur revenu ailleurs. Ils doivent également payer leur loyer et leurs salaires.

Pour les serveurs internes, vous avez différents problèmes. Vous ne pouvez pas simplement entrer dans une salle de serveur avec le boîtier Fedex qui contient votre nouveau disque dur de 3 To. Si vous avez prévu une extension, c'est plus facile, mais les serveurs / racks / baies peuvent déjà être à leur capacité en termes de logements, E / S, cartes de contrôleur, alimentation.

C'est comme regarder sous un rocher, vous serez surpris de ce que vous pourriez trouver.

Il est également important de noter que le stockage «local» pourrait bien coûter plus cher que prévu.

Dans le cadre d'un exercice visant à déplacer certaines de nos données «archivées» vers le cloud, j'ai récemment effectué un exercice de tarification comparant le coût de l'espace disque disponible (par exemple, formaté plutôt que brut) disponible sur notre dernier SAN par rapport au coût du stockage. dans le service de données en nuage Amazon.

Si nous prenons simplement en compte le prix payé pour le SAN lui-même, disques compris, en supposant une durée de vie de 5 ans pour le matériel SAN, et non les coûts "indirects" de fonctionnement de notre salle de serveur, notre prix pour 150 Go de stockage local est de 31,88 USD par mois par rapport aux 28,41 USD d'Amazon ( en supposant un taux de trafic mensuel de 20%, de haut en bas).

Maintenant, je ne suis pas sur le point de lancer tout notre stockage dans le cloud, car il existe d'autres avantages à avoir un stockage local, mais je pense que ce type d'exercice de tarification est utile: si vous pensez que le stockage en cloud coûte cher, combien payez- vous vraiment pour votre stockage local?

Ma réponse à cette question est simple: un fichier qui se trouve sur un disque dur simple, sans raid et probablement sans échange à chaud, et auquel une personne ne peut normalement accéder et qui n’a probablement jamais sauvegardé. C'est une méthode facile et peu coûteuse d'E / S ...

Dans notre entreprise, j’ai utilisé l’une des méthodes de raid les plus coûteuses (raid 10), qui nécessite un minimum de 4 disques durs; nous en utilisons 6 ... ce qui nous donne des taux d’IO élevés et une tolérance aux pannes.

Cette configuration m'a permis d'économiser beaucoup d'argent, ce qui a entraîné des performances supérieures et moins de temps d'indisponibilité pour les utilisateurs finaux. Pour un simple E / S, il n'y a qu'une seule personne à décevoir et il y a probablement peu de valeur financière liée au temps d'indisponibilité.

Nous avons également un serveur iSCSI dédié utilisé pour la virtualisation Xen et également configuré pour le raid 10 ...

Plus le nombre d'E / S à utiliser et à sauvegarder est important, plus sa mise en œuvre est coûteuse ... si les exigences de votre entreprise acceptent la perte de données, des vitesses très lentes et aucune redondance, vous pouvez effectuer un stockage de qualité professionnelle sur le serveur. pas cher!!! Juste être prêt à se faire virer ...