Des solutions de stockage hiérarchisé automatiques maison avec Linux? (Mémoire -> SSD -> HDD -> stockage à distance)

13

Lié à cette question sur l'utilisation d'un SSD pour le système et d'un disque dur pour les données , sauf que j'aimerais que mon système le fasse automatiquement ...

Est-il possible d'avoir plusieurs couches de stockage et de pousser automatiquement des éléments entre eux, en utilisant de préférence des logiciels libres et open source?

Je connais des solutions de classe entreprise extrêmement coûteuses comme l' archivage automatique EMC SAN-> EMC Centera , mais je me demandais si ce type de stockage par étapes est possible de faire automatiquement.

Ce serait bien de pouvoir avoir plusieurs couches dans ceci: Mémoire-> SSD-> HDD-> HDD ou bande plus lente ou une autre solution d'archivage.

Y a-t-il des systèmes de fichiers qui peuvent le faire automatiquement? (ZFS, Btrfs, MARTEAU?)

Toutes les variantes Unix sont correctes, car je suis intéressé par la façon dont cela fonctionne et s'il est susceptible d'être portable sur Linux ou d'autres versions (BSD, etc.).

linux unix ssd archive storage David Gardner
la source

Réponses:

14

Eh bien, ZFS utilise une couche de stockage appelée Hybrid Storage Pool (HSP) :

  1. Couche: mémoire
  2. Couche: caches de lecture basés sur SSD (L2ARC) et caches d'écriture (journal d'intention séparé aka slog).
  3. Couche: disques durs (bon marché)

Avec HSP, il est facile de bénéficier automatiquement des avantages des SSD par rapport à une solution uniquement sur disque dur. Un système utilisant HSP peut être à la fois plus rapide et moins cher que ce dernier. Voir ce lien pour de beaux exemples et plus de détails.

Je pense qu'il existe des plans concernant la gestion du stockage hiérarchique (HSM) pour ZFS (voir par exemple le projet OpenSolaris de migration automatique des données (ADM) ) mais je ne connais pas son état actuel.

knweiss
la source
C'est exactement ce à quoi je pensais, merci! (Maintenant pour aider sur le port Linux ...;)
David Gardner
Je n'appellerais pas cette hiérarchisation mais la mise en cache. Dans le sens où la mise en cache signifie conserver une copie des blocs fréquemment utilisés, hiérarchiser le déplacement des données vers un stockage plus lent / plus rapide. Je n'appellerais pas le journal d'intention dans ZFS un vrai cache d'écriture si je le comprends correctement.
mrossi
5

TIER semble répondre à vos besoins Il s'agit d'un module de noyau Linux qui peut créer un stockage à plusieurs niveaux. Il semble apprendre par lui-même le motif et optimiser le placement dans le stockage

http://www.lessfs.com/wordpress/?p=776

Dolanor
la source
Je viens de voir que la question est ancienne ... Désolé ^^ '
Dolanor
2
Il est préférable de revitaliser les anciennes questions que de les pourrir avec des informations anciennes et obsolètes!
David Gardner
Je crains que ce type veuille réduire la redondance dans un souci de capacité supplémentaire (en particulier lorsque les SSD sont relativement petits et peu fiables).
Tobu
Il craignait également qu'il suggère le raid comme solution, lorsque les logiciels expérimentaux ont le plus besoin de sauvegardes.
Tobu
Voici un peu plus de commentaires positifs: permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316
Tobu
1

Répondre à ma propre question avec quelque chose que je viens de trouver:

Je venais de mettre à jour le noyau et de regarder les nouvelles choses qui ont été ajoutées, et il y a maintenant une option 'CACHEFILES' qui permet de mettre en cache (généralement à distance) les systèmes de fichiers sur un système de fichiers local. Je suppose que je pourrais l'utiliser pour mettre en cache un mécanisme de stockage plus lent (HDD) à un mécanisme plus rapide (SSD), au moins pour un niveau de hiérarchie.

David Gardner
la source
Avez-vous essayé cette solution? Comment fonctionne-t-il?
skolima
1
Peu importe - j'ai découvert moi-même que CacheFS pour l'instant ne prend en charge que NFS et AFS.
skolima
L'utilisation de systèmes de fichiers réseau pour cela n'est pas une mauvaise idée, ils ont tendance à mûrir beaucoup plus rapidement que les jeux de patchs du noyau. Je me demande si Ceph ou DRBD ont des modes utiles pour le stockage à plusieurs niveaux.
Tobu
1

Quelques liens pertinents. YMMV.

http://code.google.com/p/fscops/ - "Online Hierarchical Storage Manager (OHSM) est la première tentative vers un gestionnaire de stockage de données open source au niveau de l'entreprise qui déplace automatiquement les données entre le stockage à coût élevé et à faible coût. médias.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI sous Linux

http://jfs.sourceforge.net/ - JFS + DMAPI sous Linux

sendmoreinfo
la source
Le projet OHSM semble intéressant à suivre. Seuls ext2 et le noyau 2.6.30 sont pris en charge pour l'instant, mais je m'attends à ce que si cela fonctionne bien, cela gagnera plus de systèmes de fichiers.
David Gardner
Ce projet semble abandonné, l'activité la plus récente date de 2009.
sendmoreinfo
0

Les instantanés LVM2 me viennent à l'esprit ... mais vous ne pouvez pas vraiment faire plus qu'un seul instantané.

Dyasny
la source
0

SAM-QFS est le produit existant de Sun et était open source l'année dernière. Il s'agit de CDDL, vous ne pouvez donc que le porter directement sur * BSD.

TRS-80
la source