Utilisation de l'espace brut du CEPH

Je ne peux pas comprendre l'utilisation de l'espace brut de ceph.

J'ai 14 disques durs (14 OSD) sur 7 serveurs, 3 To chaque disque dur ~ 42 To d'espace brut au total.

ceph -s 
     osdmap e4055: 14 osds: 14 up, 14 in
      pgmap v8073416: 1920 pgs, 6 pools, 16777 GB data, 4196 kobjects
            33702 GB used, 5371 GB / 39074 GB avail

J'ai créé 4 périphériques bloc, 5 To chacun:

df -h
 /dev/rbd1       5.0T  2.7T  2.4T  54% /mnt/part1
/dev/rbd2       5.0T  2.7T  2.4T  53% /mnt/part2
/dev/rbd3       5.0T  2.6T  2.5T  52% /mnt/part3
/dev/rbd4       5.0T  2.9T  2.2T  57% /mnt/part4

df montre que 10,9 To sont utilisés au total, ceph montre que 33702 Go sont utilisés. Si j'ai 2 copies, cela doit être ~ 22 To, mais maintenant j'ai 33,7 To utilisés - 11 To manqués.

ceph osd pool get archyvas size
size: 2


ceph df
GLOBAL:
    SIZE       AVAIL     RAW USED     %RAW USED
    39074G     5326G       33747G         86.37
POOLS:
    NAME          ID     USED      %USED     MAX AVAIL     OBJECTS
    data          0          0         0         1840G           0
    metadata      1          0         0         1840G           0
    archyvas      3      4158G     10.64         1840G     1065104
    archyvas2     4      4205G     10.76         1840G     1077119
    archyvas3     5      3931G     10.06         1840G     1006920
    archyvas4     6      4483G     11.47         1840G     1148291

Bloquer les appareils et OSD FS - XFS

Une source possible de confusion est GB vs GiB / TB vs TiB (base 10 / base 2), mais cela ne peut pas expliquer toute la différence ici.

Ceph / RBD essaiera d'allouer "paresseusement" de l'espace pour vos volumes. C'est pourquoi, bien que vous ayez créé quatre volumes de 5 To, il rapporte 16 To utilisés, pas 20. Mais 16 To est plus que la somme du contenu "actif" de vos systèmes de fichiers soutenus par RBD, qui n'est que d'environ 11 To, comme vous le dites. Plusieurs choses à noter:

Lorsque vous supprimez des fichiers dans vos systèmes de fichiers RBD, les systèmes de fichiers marqueront en interne les blocs comme libres, mais n'essaieront généralement pas de les "renvoyer" au périphérique de bloc sous-jacent (RBD). Si votre version RBD du noyau est assez récente (3.18 ou plus récente), vous devriez pouvoir utiliser fstrimpour renvoyer les blocs libérés à RBD. Je soupçonne que vous avez créé et supprimé d'autres fichiers sur ces systèmes de fichiers, non?

Il existe également une surcharge du système de fichiers au-delà de l'utilisation nette des données indiquée par df. Outre les «superblocs» et d'autres structures de données internes au système de fichiers, une certaine surcharge est à prévoir de la granularité à laquelle RBD alloue les données. Je pense que RBD allouera toujours des morceaux de 4 Mo, même si seule une partie de celui-ci est utilisée.

Je ne suis pas un expert ceph mais laissez-moi deviner un peu.

Les appareils bloc ne sont pas montés sans discardoption. Ainsi, toutes les données que vous écrivez et supprimez n'apparaissent pas sur le système de fichiers ( /mnt/part1), mais comme elles ont été écrites et non découpées, elles restent sur le système de fichiers sous-jacent.

Si vous recherchez USEDvos pools et les ajoutez ensemble, vous obtenez 16777 Go, ce qui équivaut à ce qui ceph -ss'affiche. Et si vous multipliez cela par deux (deux copies), vous obtenez 33554 Go, ce qui est à peu près l'espace utilisé.