Configuration de disque Hadoop JBOD sur le contrôleur de disque HP Smart Array 410 / i

Je suis dans une phase d'évaluation d'un matériel qui pourrait être utilisé pour mettre en place un cluster hadoop. Ce matériel est remis à neuf (serveurs HP G6 avec contrôleur Smart Array 410 / i) et probablement nous devrions / devons l'utiliser ... nous ne l'avons pas encore. J'ai lu que le contrôleur 410 / i ne permet pas une configuration JBOD comme requis par hadoop, y a-t-il quelqu'un qui pourrait confirmer cette déclaration? Ou pas ? Semble qu'une solution de contournement pourrait être de configurer raid0 sur chaque disque unique, encore une fois quelqu'un le confirme ou il existe d'autres moyens de configuration? Merci Rob

Le contrôleur Smart Array 410 / i ne permet de créer que 2 périphériques RAID sans que la carte mémoire en option ne soit ajoutée. Donc, si votre matériel n'a que 2 disques, ce serait bien; vous pouvez juste en faire 2 raid0. Si vous possédez plus de 2 lecteurs, vous devrez probablement acheter la pièce n ° 462974-001 - 256 Mo de mémoire tampon d'écriture avec module de mémoire BBWC. Si vous n'êtes pas sûr, essayez-le dans l'utilitaire de configuration, il se plaindra qu'il y a une limite sur le nombre de périphériques de raid configurés autorisés si vous avez besoin d'acheter l'addon mémoire.

J'ai récemment installé un serveur ZFS en utilisant un de ces disques et 12 disques en mode RAID0 pour chacun et il fonctionne très bien. Comme vous pouvez désactiver à peu près toutes les fonctionnalités du contrôleur de raid réel, c'est en fait la même chose que le mode JBOD.

Cette situation est similaire à ce que je rencontre lors de la conception de matériel pour les solutions de stockage ZFS. ZFS est un RAID logiciel et exploite les ressources du serveur pour la gestion des disques. Le RAID matériel n'est pas recommandé, et JBOD n'est pas vraiment possible avec les contrôleurs Smart Array. Donc, lorsque j'utilise des systèmes ProLiant pour ZFS, je remplace le contrôleur Smart Array par quelque chose qui a un mode JBOD ou un HBA SAS / SATA de base.

Il s'agit généralement d'un HBA SAS LSI (sans fonctionnalités RAID). Ma préférence est le LSI 9211-8i ou 9205e.

Voir les recommandations sur: Recommandations du contrôleur ZFS SAS / SATA

Bien que la plage Pxxx ne permette pas la configuration directe de JBOD si vous créez simplement une matrice sur tous vos disques, puis créez plusieurs matrices RAID0 de tailles équivalentes, vous êtes à peu près là en termes de similitude fonctionnelle. Cela dit, je suis également un peu dubitatif vis-à-vis des exigences de Hadoop, d'une part il n'y a aucun moyen qu'il puisse réellement dire quelle est la configuration réelle du disque car elle est cachée par le BIOS et d'autre part parce qu'elle semble trop normative étant donné la façon dont les contrôleurs HP sont bien pensés, ce qui est le problème avec la baie qui gère ses disques?

Vous pouvez configurer RAID0 par disque physique disponible.

Disons que si vous avez 8 disques, vous finissez par avoir quelque chose comme ça (CentOS 6):

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)