Comment les services avec des taux d'ingestion élevés installent-ils suffisamment de disques durs assez rapidement?

13

Amazon, Facebook et Google doivent accepter des To sinon des PB par jour, ce qui signifie qu'ils ont des gens qui installent continuellement de nouveaux disques durs et câbles dans de nouveaux racks de la même manière que vous pourriez construire un serveur normal, ou existe-t-il une technologie différente utilisée pour connecter des disques en masse?

jl6
la source
Une autre facette à laquelle penser est le taux de défaillance des disques avec autant de stockage et la façon dont ils se maintiennent. Certaines personnes ont estimé que Google pourrait avoir une nouvelle panne de disque quelque part chaque minute.
Matt

Réponses:

16

Je ne sais pas si l'un d'eux installe réellement du matériel un serveur à la fois. En 2008, MS a commencé à construire ses centres de données en faisant livrer les serveurs dans des conteneurs d'expédition scellés et précâblés de serveurs qu'ils devaient juste décharger d'un camion et brancher les connexions d'alimentation / réseau. Alors que la construction 08 était un mélange de conteneurs et traditionnel pour leur centre de données le plus récent, ils ont depuis opté pour une conception préfabriquée personnalisée qui résiste aux intempéries et n'a pas besoin d'être logée dans des bâtiments séparés.

Les deux HP et IBM vendent des paquets similaires avec des conteneurs remplis de serveurs préconfigurés qui ont juste besoin de puissance / connexions de données à déployer.

Centre de données Boyden Virginia de Microsoft avec modules préfabriqués exposés aux intempéries.

Dan tripote Firelight
la source
C'est, pour moi, la seule réponse qui répond vraiment à la question initiale. +1
mveroone
1
BTW, voici la source de cette image . Il s'agit d'un centre de données Microsoft Azure en Virginie.
tedder42
Quelqu'un doit encore construire / connecter / tester le serveur de conteneurs d'expédition à la fois et Google / Facebook ont ​​tendance à faire leur matériel en interne.
Matt
@mindthemonkey qui est fait dans la même usine en utilisant la même main-d'œuvre chinoise bon marché que les serveurs / lames montés en rack ordinaires utilisés par le reste d'entre nous sont assemblés.
Dan is Fiddling by Firelight
Pas tous
Matt
7

Google a plusieurs technologies développées en interne pour stocker ces énormes masses de données. En utilisant ces technologies, ils peuvent en fait ajouter des camions de disques durs dans leur cluster sans aucun temps d'arrêt, mais oui, ils ont toujours besoin de personnes pour le faire.

Pour autant que je sache sur le blog de Google, les deux parties principales sont le système de fichiers Google, qui est un système de fichiers distribué qui peut évoluer à très grande échelle: Google File System

Et en plus du système de fichiers Google, ils ont Big Table, qui est une sorte de base de données de valeurs clés et évolue également à grande échelle: Big Table

Pour garantir une haute disponibilité, tout est redondant plusieurs fois, plus de 3 fois dans la plupart des cas.

rejouer
la source
1
Je pense que la question est plus orientée matériel, et votre réponse un peu hors sujet, mais c'est une information bonne à savoir.
mveroone
5

C'est exactement ça. Je me souviens qu'à un moment donné, les centres de données Facebook ajoutaient trois semi-remorques remplies de disques durs et de serveurs montés en rack dans la journée moyenne. Bien sûr, ils ont des schémas complexes pour rendre le stockage évolutif et redondant. Google, par exemple, a GFS . Facebook a trois centres de données juste pour leur équipement, chacun plus grand que deux Wal-Marts et un nouveau prévu quatre fois plus grand que leurs centres existants.

David Schwartz
la source
2

Avec des solutions de stockage Open Compute de nouvelle génération capables de contenir 180 To de disque dans 4 unités de rack, un PB n'est pas vraiment une énorme quantité d'espace: ajouter 1PB par jour signifierait le racking de 5 serveurs de ce type par jour, pas un gros problème. Mieux encore, ceux-ci peuvent être achetés pour environ 10 000 $, ce qui signifie que vous payez moins de 60 $ par To.

Alors oui, la technologie est à la disposition de nous tous pour faire de même, à un prix qui ne casse pas la banque.

Mais vous devez garder à l'esprit que les grandes entreprises obtiennent toujours de meilleures offres et signer de gros contrats pour se procurer de grandes quantités de stockage. Ils peuvent recevoir de petites expéditions réparties sur l'année, mais ce n'est pas comme s'ils commandaient seulement 1PB à la fois.

Andrea Campi
la source
1
Les spécifications du coffre-fort ouvert sont en ligne . Avec les disques de 4 To, ils peuvent atteindre 120 To en 2U.
Matt
0

Voici un article de blog intéressant de BackBlaze sur la façon dont ils font cela (ils n'ont probablement pas besoin d'autant de disques que Google ou Facebook, mais tout de même un peu), et ce qu'ils devaient faire quand il y avait des inondations en Thaïlande qui ont fait du disque dur cher et plus difficile à vivre:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/

Jens Timmerman
la source