Configuration de disque Hadoop JBOD sur le contrôleur de disque HP Smart Array 410 / i

8

Je suis dans une phase d'évaluation d'un matériel qui pourrait être utilisé pour mettre en place un cluster hadoop. Ce matériel est remis à neuf (serveurs HP G6 avec contrôleur Smart Array 410 / i) et probablement nous devrions / devons l'utiliser ... nous ne l'avons pas encore. J'ai lu que le contrôleur 410 / i ne permet pas une configuration JBOD comme requis par hadoop, y a-t-il quelqu'un qui pourrait confirmer cette déclaration? Ou pas ? Semble qu'une solution de contournement pourrait être de configurer raid0 sur chaque disque unique, encore une fois quelqu'un le confirme ou il existe d'autres moyens de configuration? Merci Rob

nysalsa
la source

Réponses:

7

Le contrôleur Smart Array 410 / i ne permet de créer que 2 périphériques RAID sans que la carte mémoire en option ne soit ajoutée. Donc, si votre matériel n'a que 2 disques, ce serait bien; vous pouvez juste en faire 2 raid0. Si vous possédez plus de 2 lecteurs, vous devrez probablement acheter la pièce n ° 462974-001 - 256 Mo de mémoire tampon d'écriture avec module de mémoire BBWC. Si vous n'êtes pas sûr, essayez-le dans l'utilitaire de configuration, il se plaindra qu'il y a une limite sur le nombre de périphériques de raid configurés autorisés si vous avez besoin d'acheter l'addon mémoire.

J'ai récemment installé un serveur ZFS en utilisant un de ces disques et 12 disques en mode RAID0 pour chacun et il fonctionne très bien. Comme vous pouvez désactiver à peu près toutes les fonctionnalités du contrôleur de raid réel, c'est en fait la même chose que le mode JBOD.

Erik
la source
4
Bien que vous puissiez créer plusieurs RAID 0 sur ce contrôleur à utiliser avec ZFS, vous aurez un problème si un disque tombe en panne. ZFS ne reconnaîtra le remplacement que si vous redémarrez.
ewwhite
4

Cette situation est similaire à ce que je rencontre lors de la conception de matériel pour les solutions de stockage ZFS. ZFS est un RAID logiciel et exploite les ressources du serveur pour la gestion des disques. Le RAID matériel n'est pas recommandé, et JBOD n'est pas vraiment possible avec les contrôleurs Smart Array. Donc, lorsque j'utilise des systèmes ProLiant pour ZFS, je remplace le contrôleur Smart Array par quelque chose qui a un mode JBOD ou un HBA SAS / SATA de base.

Il s'agit généralement d'un HBA SAS LSI (sans fonctionnalités RAID). Ma préférence est le LSI 9211-8i ou 9205e.

Voir les recommandations sur: Recommandations du contrôleur ZFS SAS / SATA

ewwhite
la source
0

Bien que la plage Pxxx ne permette pas la configuration directe de JBOD si vous créez simplement une matrice sur tous vos disques, puis créez plusieurs matrices RAID0 de tailles équivalentes, vous êtes à peu près là en termes de similitude fonctionnelle. Cela dit, je suis également un peu dubitatif vis-à-vis des exigences de Hadoop, d'une part il n'y a aucun moyen qu'il puisse réellement dire quelle est la configuration réelle du disque car elle est cachée par le BIOS et d'autre part parce qu'elle semble trop normative étant donné la façon dont les contrôleurs HP sont bien pensés, ce qui est le problème avec la baie qui gère ses disques?

Chopper3
la source
3
Merci pour la réponse, HDFS (système de fichiers Hadoop) a une redondance intégrée en répliquant les blocs sur plusieurs nœuds. RAID 0 est plus lent que la configuration JBOD utilisée par HDFS car les E / S sont limitées par la vitesse du disque le plus lent de la matrice RAID Les E / S sur JBOD sont indépendantes, la vitesse moyenne est donc supérieure à celle du disque le plus lent. Un test effectué par Yahoo a montré que JBOD fonctionnait mieux que RAID 0: markmail.org/message/xmzc45zi25htr7ry
nysalsa
0

Vous pouvez configurer RAID0 par disque physique disponible.

Disons que si vous avez 8 disques, vous finissez par avoir quelque chose comme ça (CentOS 6):

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)
sl0n
la source
1
Ne faites pas cela. Vous perdez les capacités de remplacement à chaud et rencontrerez des problèmes d'énumération de périphérique de bloc de lecteur logique. Un disque en panne == un lecteur logique en panne == nouveau périphérique créé lors du remplacement.
ewwhite
1
Les "capacités d'échange"? Vous voulez dire que je ne pourrai pas remplacer un disque défectueux en mode "en ligne", c'est-à-dire que je devrais éteindre mon serveur avant de remplacer le disque défectueux? En ce qui concerne l'énumération des appareils, je vais vérifier cela, je pense que c'est un bon point.
sl0n