IPoIB (IP sur InfiniBand) vs performances RDMA

8

J'ai en partie hérité d'un cluster Linux HA au centre duquel sert actuellement une connexion avec DRBD 8 sur IPoIB (IP sur InfiniBand) entre deux hôtes Debian. Ce n'est pas cassé, donc je ne le réparerai pas.

J'ai également remarqué que DRBD 9 prend en charge RDMA, donc la question peut se poser de savoir si remplacer la connexion avec DRBD 9 sur RDMA (c'est-à-dire InfiniBand "natif") à l'avenir.

Comme je ne veux pas exécuter de tests de performances sur un système de production, je me demande: existe-t-il des comparaisons de performances publiées pour IPoIB vs RDMA / InfiniBand. Par exemple, pourrais-je m'attendre à des gains de bande passante / latence en quittant IPoIB par ordre de magnitude de 10%, 50% ou 100%, par exemple? Que pouvait-on attendre?

rookie09
la source

Réponses:

6

avez-vous vu ces présentations? https://www.linbit.com/en/drbd-9-over-rdma-with-micron-ssds/ http://downloads.openfabrics.org/Media/Monterey_2015/Tuesday/tuesday_09_ma.pdf

InfiniBand n'est qu'une architecture de réseau spécifique offrant RDMA, mais vos performances dépendront du type d'applications que vous exécutez. Mon expérience est basée sur des systèmes académiques / de recherche utilisant principalement des applications basées sur MPI. Dans certains cas, j'ai vu RDMA effectuer 20% mieux que IPoIB. Mais je ne suis pas au courant d'un tel benchmarking, mais il existe de nombreux articles académiques écrits et également des livres blancs de fournisseurs. Si vous pensez uniquement aux E / S, pensez à: la taille des fichiers, le nombre de lectures et d'écritures. RDMA offrait généralement un grand avantage pour les petites lectures aléatoires mais seulement un petit avantage pour les écritures. Vous voudrez peut-être lire sur RoCE (RDMA sur Ethernet convergé) et RDMA natif InfiniBand.

Tux_DEV_NULL
la source
Thx, esp. pour la quantité de 20%. L'application qui s'exécute sur le dessus est PostgreSQL. (Ses pgdata résident sur le périphérique DRBD.)
rookie09
2
Oui à tout ça. Vous ne pouvez pas aller plus vite que les disques de votre système, mais en supposant que vous êtes sûr que les disques sont plus rapides que le réseau sur lequel ils se répliquent, alors vous allez probablement être en mesure d'augmenter les performances du système passage à RDMA.
Matt Kereczman
4
Voici une autre explication (alternative) de RDMA qui pourrait vous intéresser starwindsoftware.com/…
Net Runner