ceph est-il possible de gérer les matrices RAID matérielles (LUN) en tant que lecteurs OSD?

Je suis assez nouveau sur ceph et j'essaie de savoir si ceph prend en charge les adaptateurs de bus hôte de niveau matériel.

Malheureusement, je n'ai trouvé aucune information. Ce que j'ai trouvé, c'est qu'il est recommandé d'utiliser des disques simples pour OSD. Mais cela pousse les exigences vers le PCIe, les interfaces du disque vers des bandes passantes élevées et les exigences du processeur sont très élevées. Les contrôleurs RAID matériels ont déjà résolu ces exigences et ils fournissent une redondance élevée basée sur les configurations sans consommer mon PCIe, mon processeur ou toute autre ressource.

Donc, ma configuration souhaitée serait d'avoir des contrôleurs RAID locaux, qui gèrent ma redondance de disque au niveau du contrôleur (Raid 5, raid 6) quel que soit le niveau RAID dont j'ai besoin. En plus des LUN RAID, j'aimerais utiliser ceph pour effectuer le niveau de réplication supérieur entre: hôte, châssis, rack, ligne, centre de données ou tout ce qui est possible ou planifiable dans CRUSH

Des expériences dans cette configuration?

Est-ce une configuration recommandée?

Avez-vous une documentation détaillée sur cette intégration matérielle RAID?

Vous pouvez ne signifie pas que vous devriez. Le mappage de LUN RAID à Ceph est possible, mais vous injectez une couche supplémentaire d'abstraction et rendez au moins une partie de la fonctionnalité Ceph inutile.

Fil similaire sur leur liste de diffusion:

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2017-September/021159.html

Mais cela pousse les exigences vers le PCIe, les interfaces du disque vers des bandes passantes élevées et les exigences du processeur sont très élevées.

Pas vraiment, de nombreuses charges de travail de stockage sont bien servies avec des processeurs et des interconnexions à usage général modernes.

Oui, un contrôleur RAID prend en charge la redondance avec une poignée de disques dans un châssis. Mais c'est le coût et la complexité lorsque vous exécutez des solutions de stockage réparties multi-nœuds déjà redondantes comme Ceph. Pourquoi s'embêter à mettre en miroir un disque physique alors que Ceph en a déjà plusieurs copies?

Les éléments constitutifs d'une telle solution ne sont qu'un tas de disques. Tels que l' Open Vault d' Open Compute Storage . 30 broches dans un boîtier, attachées à un nœud de calcul de quelques dizaines de cœurs de processeur. Ajoutez autant de nœuds que nécessaire pour évoluer. Vous pouvez laisser ce calcul dédié à Ceph si vous souhaitez maximiser le débit.

La configuration recommandée consiste à utiliser des disques simples ou, éventuellement, des disques en paires RAID-1.

Un seul contrôleur SAS (ou un contrôleur RAID en mode JBOD) peut piloter plusieurs centaines de disques sans aucun problème.

L'utilisation de très grands tableaux va à l'encontre du but même de CEPH qui est d'éviter les points de défaillance uniques et les «points chauds». Cela nuira également à votre redondance.

Supposons que vous souhaitiez créer un cluster 1 PB CEPH à l'aide de disques de 8 To, en utilisant un châssis de serveurs à 36 disques (matériel de type Supermicro ordinaire). Comparons les configurations avec et sans RAID en termes de capacité de stockage et de fiabilité:

• Avec RAID-6, vous avez besoin de 5 châssis (et 10 OSD).

  • Chaque châssis aura 2 baies RAID de 18 disques.
  • Vous aurez 1024 To de stockage disponible.
  • En cas de panne de plusieurs disques, vous devrez reconstruire 256 To.

• Avec CEPH et 5 châssis, vous aurez 180 OSD.

  • La capacité disponible sera légèrement supérieure (en utilisant le codage d'effacement): 1152 To
  • en cas de panne de plusieurs disques, vous ne devrez reconstruire que le nombre de disques défaillants (sauf s'il s'agit d'un serveur entier, il sera toujours inférieur à 256 To).