Serveur de fichiers - Configuration de stockage: RAID vs LVM vs ZFS autre chose…?

Nous sommes une petite entreprise qui fait du montage vidéo, entre autres choses, et nous avons besoin d’un endroit pour garder des copies de sauvegarde de fichiers multimédias volumineux et faciliter leur partage.

J'ai mis en place une boîte avec Ubuntu Server et 4 disques de 500 Go. Samba est actuellement configuré en tant que quatre dossiers partagés que les postes de travail Mac / Windows peuvent voir, mais je veux une meilleure solution. Il y a deux raisons principales à cela:

1. 500 Go n'est pas vraiment assez gros (certains projets sont plus gros)
2. Il est difficile de gérer la configuration actuelle, car les disques durs individuels ont des quantités différentes d’espace libre et de données dupliquées (pour la sauvegarde). C'est déroutant maintenant et cela ne fera qu'empirer lorsqu'il y aura plusieurs serveurs. ("le projet est sur sever2 dans share4" etc)

J'ai donc besoin d'un moyen de combiner les disques durs de manière à éviter toute perte de données avec la défaillance d'un seul disque, afin que les utilisateurs ne voient qu'un seul partage sur chaque serveur. J'ai utilisé le logiciel Linux 5 RAID5 et ai eu une mauvaise expérience, mais je voudrais l'essayer à nouveau. LVM a l'air bien mais il semble que personne ne l'utilise. ZFS semble intéressant mais il est relativement "nouveau".

Quel est le moyen le plus efficace et le moins risqué de combiner le disque dur, ce qui est pratique pour mes utilisateurs?

Éditer: L’objectif ici est essentiellement de créer des serveurs contenant un nombre arbitraire de disques durs, mais limitant la complexité du point de vue de l’utilisateur final. (c’est-à-dire qu’ils voient un "dossier" par serveur). La sauvegarde des données n’est pas un problème ici, mais la manière dont chaque solution réagit à une panne matérielle est un problème sérieux. C'est pourquoi je regroupe RAID, LVM, ZFS et qui-sait-quoi ensemble.

Mon expérience antérieure avec RAID5 était également sur une boîte de serveur Ubuntu et il y avait un ensemble de circonstances difficiles et improbables qui ont conduit à une perte complète de données. Je pouvais encore éviter cela , mais j'avais le sentiment d'ajouter un point d'échec supplémentaire inutile au système.

Je n'ai pas utilisé RAID10, mais nous utilisons du matériel standard et la plupart des disques de données par boîte sont quasiment fixés à 6. Nous avons beaucoup de disques de 500 Go et 1,5 To, ce qui est plutôt petit. (Toujours une option pour au moins un serveur, cependant)

Je n'ai aucune expérience de LVM et j'ai lu des rapports contradictoires sur la façon dont il gère les pannes de lecteur. Si une configuration LVM (sans bande) pouvait gérer un seul lecteur défaillant et ne perdant que les fichiers contenant une partie stockée sur ce lecteur (et stockant la plupart des fichiers sur un seul lecteur), nous pourrions même vivre avec cela.

Mais tant que je dois apprendre quelque chose de totalement nouveau, je peux aussi bien aller jusqu'à ZFS. Contrairement à LVM, cependant, je devrais aussi changer de système d’exploitation (?), Ce qui augmenterait la distance entre moi et l’endroit où je suis. J'ai utilisé une version de solaris à la fac et je n'y verrais pas d'inconvénient.

Sur le spectre informatique, je pense que je pourrais aussi explorer FreeNAS et / ou Openfiler, mais cela ne résout pas vraiment le problème de la combinaison de lecteurs.

LVM est en fait assez fortement utilisé. En gros, LVM se situe au-dessus de la couche matérielle (pilote). Il n’ajoute ni redondance ni fiabilité accrue (il dépend du système de stockage sous-jacent pour gérer la fiabilité). Au lieu de cela, il offre beaucoup de flexibilité et de fonctionnalités supplémentaires. LVM ne devrait jamais voir un disque disparaître ou échouer, car la défaillance du disque devrait être gérée par RAID (qu'il s'agisse d'un logiciel ou d'un matériel). Si vous perdez un disque et ne pouvez plus continuer à fonctionner (reconstruire le RAID, etc.), vous devriez alors effectuer des sauvegardes. Essayer de récupérer des données à partir d'un tableau incomplet ne devrait jamais être nécessaire (si c'est le cas, vous devez réévaluer l'intégralité de votre conception).

Parmi les avantages de LVM, citons la possibilité de développer et de réduire facilement les partitions / systèmes de fichiers, d’allouer de manière dynamique de nouvelles partitions, de capturer des partitions existantes et de monter les instantanés en tant que partitions en lecture seule ou en écriture. Les instantanés peuvent être incroyablement utiles, en particulier pour des tâches telles que les sauvegardes.

Personnellement, j'utilise LVM pour chaque partition (à l'exception de / boot) sur chaque boîte que je construis, et ce depuis 4 ans. Faire face à des boîtes non-LVM est une douleur énorme lorsque vous souhaitez ajouter ou modifier la disposition de votre disque. Si vous utilisez Linux, vous voulez certainement utiliser LVM. [Remarque: Les informations ci-dessus sur LVM ont été mises à jour pour mieux expliquer en quoi elles consistent et comment elles s'intègrent dans l'équation du stockage.]

En ce qui concerne le RAID, je ne fais pas de serveurs sans raid. Avec les prix des disques aussi bon marché qu’ils le sont, je choisirais RAID1 ou RAID10. Plus rapide, plus simple et beaucoup plus robuste.

Honnêtement, cependant, à moins d'être lié à Ubuntu (ce que je recommanderais normalement), ou si la boîte exécute d'autres tâches, vous voudrez peut-être vous pencher sur OpenFiler . Il transforme votre boîtier en une appliance de stockage avec une interface Web et gère l’ensemble des fonctions RAID / LVM / etc. pour vous, et vous permet d’exporter le stockage au format SMB, NFS, iSCSI, etc. Une configuration peu complexe.

ZFS est vraiment fiable et facilite grandement la gestion de votre stockage. En prime: smb est intégré à ZFS dans OpenSolaris et gère très bien Raid. Attendez quelques jours, téléchargez la version 2009.6 déjà publiée et lancez-la sur une machine de test. Je suis sûr que vous allez adorer ZFS.

Et à propos de votre commentaire, ZFS étant nouveau: il n’est plus très nouveau!

La question centrale est: "Quelle est l'importance de ces données?"

Si la réponse est "je peux le recréer facilement", vous souhaitez utiliser RAID5, éventuellement avec LVM, pour une gestion simplifiée.

Si la réponse est "je peux le recréer mais cela prendrait un certain temps et les gens se plaindraient" que vous souhaitiez un RAID 6 ou plus probable un RAID 1/10.

Si la réponse est "Personne ne fait de travail pendant que je le recrée et m'assure qu'il est parfait", vous voulez ZFS / Raid-Z

Notez que vous pouvez toujours le recréer. Le RAID n'est pas une sauvegarde.

Pour connecter de nombreux lecteurs dans le même châssis, un contrôleur RAID matériel est le meilleur outil. Il fournira de nombreux connecteurs SATA pour vos disques, une redondance via RAID-5 ou de préférence RAID-6, et peut également offrir de meilleures performances.

Les performances RAID logicielles sont souvent meilleures que les performances matérielles RAID dans les tests de performance. Toutefois, le service de fichiers et le RAID logiciel nécessitent beaucoup de ressources processeur et sont concurrentiels pour vos processeurs lorsqu'ils fonctionnent. Mon expérience montre que, sauf si vous utilisez des systèmes à deux cœurs, un RAID matériel correctement configuré vaincra le RAID logiciel.

Bons contrôleurs matériels avec un bon support Linux:

• Areca
• 3Ware
• la nouvelle série Adaptec (les anciennes sont slooooow)
• LSI MegaRAID

RAID n'est pas comme LVM. Vous pouvez utiliser RAID pour créer des partitions à tolérance de pannes, mais LVM est utilisé pour faciliter le partitionnement de disques et l'édition de systèmes de fichiers. Vous pouvez utiliser RAID sur LVM ou ZFS (ZFS peut fonctionner à la fois en RAID et en LVM). À mon avis, ZFS fonctionne mieux que LVM, mais:

• sous Solaris 10/11 / OpenSOlaris uniquement, vous ne pouvez pas l'utiliser sous Linux
• ZFS est la gestion de disque et le système de fichiers, LVM permet d’utiliser tout système de fichiers dont vous avez besoin

Sur Ubuntu, je préfère utiliser RAID5 MD avec LVM.

Jetez un coup d’œil à ce que Nexenta et OpenSolaris proposent et je pense que vous serez très heureux de ce que vous pouvez obtenir pour rien. Selon certaines rumeurs, les prochaines versions d'OpenFiler utiliseront également le port ZFS de FreeBSD (bien qu'elles soient assez en retard du point de vue des fonctionnalités).

Cela dit, j’essaie d’éviter d’utiliser RAID5, RAID6 ou RAID50 dans un logiciel et préfère utiliser des contrôleurs matériels pour décharger tout le travail XOR. Les logiciels RAID1 et RAID10 dans Linux fonctionnent assez bien, et à partir de là, j'ai mis LVM au-dessus d'eux pour permettre plus de flexibilité dans ce qui est fait avec les blocs que j'ai après la redondance en place. RAID + LVM + XFS est ma configuration Linux préférée, mais je prendrais toujours ZFS dessus.

RAID vs LVM n'est pas vraiment une bonne comparaison, ils remplissent des rôles distincts et sont fréquemment utilisés ensemble. RAID est utilisé pour la redondance des disques, LVM peut être utilisé pour diviser votre périphérique RAID en volumes logiques, il est utilisé pour un redimensionnement aisé et pour prendre des instantanés.

J'ai couru le serveur de fichiers pour une entreprise / situation très similaire. Fondamentalement, un département graphique de 3 personnes avec 30 To de stockage et le budget restreint d’une petite entreprise. Nos projets typiques vont de 0,5 To à 6 To. Et le serveur de fichiers servait une ferme de rendu importante qui pourrait vraiment écraser dessus.

Dans ma configuration, j’exécutais un serveur 3U sous Linux auquel des baies RAID6 matérielles externes étaient connectées. J'ai géré les volumes physiques et logiques avec LVM et exécuté le système de fichiers XFS. Ce que je voudrais faire est de créer un volume logique pour chaque projet, puis de le développer au fur et à mesure de la croissance du projet. Une fois le projet terminé, je pouvais archiver le travail sur bande et supprimer le volume logique. Cela ramènerait cet espace au groupe de volumes où il serait réaffecté au (x) prochain (s) projet (s).

C’était une façon très simple d’utiliser notre espace de stockage, mais cette approche présente deux inconvénients. Vous devez microgérer la taille des volumes logiques en essayant d’équilibrer la quantité d’espace allouée à un volume logique afin de disposer de suffisamment d’espace pour effectuer votre travail, sans toutefois l’allouer et le gaspiller. Notre ferme de rendu était capable de générer de nombreux TB de données par jour et si vous n'y portiez pas attention, vous manqueriez rapidement d'espace. J'ai fini par configurer des scripts qui surveillaient les tendances de l'espace disponible sur les volumes logiques et les développaient automatiquement. Même avec les 80 volumes logiques en place, il restait beaucoup d’espace inutilisé dans tous les volumes logiques. J'ai déjà fait allusion au deuxième problème ... LVM n'est pas C’est vraiment le Thin Provisioning et XFS ne vous permet que de développer un système de fichiers. Par conséquent, une allocation excessive d'espace sur un volume logique peut générer beaucoup d'espace inutilisable.

Tout cela a été configuré il y a environ 5 ans et si je le configurais aujourd'hui, j'utiliserais OpenSolaris et ZFS. La raison principale en est que l’approche de stockage en pool ZFS signifie une gestion moins volumineuse. Vous pouvez toujours séparer chaque projet dans son propre système de fichiers, sans avoir à gérer au préalable la taille des volumes individuels. ZFS possède d’autres fonctionnalités très intéressantes qui en font un meilleur choix, mais il existe d’autres questions sur serverfault.

À mon avis, ZFS est tout simplement la meilleure solution gratuite disponible aujourd'hui.

Quelques points à considérer si vous restez sous Linux:

• Pensez aussi au système de fichiers. Votre exemple 4x 500 Go est à peu près la plus grande capacité que je recommanderais avec conscience pour ext3. Je ne recommande pas de créer des systèmes de fichiers ext3 beaucoup plus volumineux car, par exemple, le temps de fsck peut être énorme. Créez plusieurs systèmes de fichiers plus petits au lieu d’un seul.
• Comme vous avez mentionné les données vidéo: ext3 traite les gros fichiers de manière inefficace car il devra créer des blocs de métadonnées indirects, doubles-indirects et triples-indirects pour stocker les données de gros fichiers et vous en paierez le prix. De nos jours, ext4 prend en charge les extensions et le gère beaucoup mieux. Mais c’est plutôt nouveau et par exemple Red Hat Enterprise Linux 5 ne le prend pas encore en charge. (Certaines distributions Enterprise supporteront des alternatives telles que XFS).
• Si des données sont corrompues sur un bloc de données, vous aurez du mal à le remarquer avec les systèmes de fichiers Linux. ZFS, d’autre part, contrôle toutes les métadonnées et données et vérifie également la somme de contrôle chaque fois que des données sont lues à partir du disque. (Il y a aussi un nettoyage en arrière-plan)
• La durée de reconstruction RAID sous Linux est proportionnelle à la taille du disque car la couche RAID ne connaît pas le contenu du système de fichiers (couche). La durée de reconstruction de ZFS par RAID-Z dépend de la quantité de données réelles sur le disque en panne, car seuls les blocs utilisés seront copiés / reconstruits sur un disque de remplacement.
• Voulez-vous capturer vos systèmes de fichiers? Les instantanés LVM ne se comparent même pas aux instantanés instantanés de ZFS. Ce dernier peut également être facilement exposé aux utilisateurs finaux, par exemple pour faciliter les restaurations.
• Utilisez RAID6 (RAID-Z2) et pas seulement RAID5 (RAID-Z) avec des disques de grande taille (> 500 Go), car il est fort probable qu'un autre disque tombe en panne lors de la reconstruction.

Utilisez l'utilitaire "mdadm" pour créer une matrice RAID-5 à partir de vos lecteurs.

Cela fournit la redondance dont vous avez besoin. Ainsi, si un disque tombe en panne, vous pouvez le remplacer sans perte de données, et vous permet également d’utiliser 3 des 4 disques.

Je vous recommande également de créer un volume LVM au-dessus du RAID afin de pouvoir partitionner l'espace en fonction des besoins.

Vous voudrez peut-être jeter un coup d'œil à AFS. Cela vous donnera une mesure de la disponibilité (vous pouvez accéder à ces fichiers sur et hors de votre réseau) et de la redondance (les fichiers peuvent être répliqués). Pour un flux de travail dans lequel vous ouvrez un fichier, travaillez dessus pendant un certain temps puis enregistrez-le, cela serait mieux (du point de vue du réseau) que NFS, du moins NFS plus ancien.

Comme le dit l'autre réponse, LVM est largement utilisé et peut combiner plusieurs disques en un seul "groupe de volumes" qui ressemble à un énorme périphérique de bloc. Cependant, rappelez-vous que cela augmente votre probabilité d'échec - il suffit d'un disque pour échouer dans un groupe de volumes pour extraire tout le système de fichiers, et si vous avez quatre disques assemblés, cela est quatre fois plus probable. Il est préférable d’utiliser LVM au-dessus d’un RAID1 ou similaire pour pallier ce problème. Le logiciel RAID logiciel est tout à fait adéquat pour cela, bien que le RAID matériel puisse être plus pratique.

Désolé ce serait un commentaire mais je n'ai pas le représentant ...

Comment RAID-Z ou RAIDZ2 fournit-il une meilleure redondance que RAID6?

ZFS a des résultats partout

A propos de la question initiale. Quelles que soient les données, j'utiliserais 2 parités actives pour 10 disques. Je voudrais utiliser une carte RAID de bonne qualité les 3ware sont excellents. Personnellement, j'utilise un RAID matériel avec batterie de secours. LVM pour que vous puissiez migrer les données facilement à la fin de la vie du matériel. XFS en tant que système de fichiers.

Pourquoi n'utilisez-vous pas un disque ou une carte SSD pour que le serveur système démarre et que les 500 Go ne soient utilisés que pour le stockage? Utilisez un disque de 500 Go et, lorsqu'il devient complet, échangez-le manuellement. Vous pouvez effectuer la sauvegarde ultérieurement sur un autre ordinateur avec calme. Parce que pendant que le disque dur tourne, il peut être endommagé. Quoi qu'il en soit, si vous connectez tous les disques en même temps, ils tournent tous et peuvent subir des dommages si vous l'utilisez ou non. La probabilité d'échec augmente lorsque plusieurs disques sont activés. Utilisez-en un à la fois et échangez-le quand il est plein ou dans une période anticipant une panne (utilisez aussi la capacité SMART pour vous en débarrasser). Utilisez un disque de transport ou utilisez un adaptateur de disque SCSI / SATA externe pour ne pas avoir à démonter le serveur à chaque échange de disque. C'est la forme la plus sûre et la plus fiable. L'utilisation de la technologie RAID coûte plus cher et vous ne faites que gaspiller certains disques (car vous la laissez activée, vous risqueriez d'être endommagée si vous ne la laissiez activer? Stupide ou pas?). Si vous voulez plus de données en utilisant une configuration RAID, je suppose que c'est un bon choix, mais ne faites jamais confiance à une configuration d'ordinateur. La sauvegarde doit toujours être effectuée manuellement avec une personne (administrateur du réseau ou du serveur). C'est l'une des œuvres d'un administrateur. Vous pouvez utiliser des bandes, DVD, BlueRay ou d'autres disques pour effectuer la sauvegarde. Mais vous aurez toujours besoin d'un support de stockage fiable et un disque actif n'en est pas un. Un disque éteint et bien enregistré (dans un endroit frais et exempt d’humidité) est un support de stockage fiable. Si vous voulez plus de données en utilisant une configuration RAID, je suppose que c'est un bon choix, mais ne faites jamais confiance à une configuration d'ordinateur. La sauvegarde doit toujours être effectuée manuellement avec une personne (administrateur du réseau ou du serveur). C'est l'une des œuvres d'un administrateur. Vous pouvez utiliser des bandes, DVD, BlueRay ou d'autres disques pour effectuer la sauvegarde. Mais vous aurez toujours besoin d'un support de stockage fiable et un disque actif n'en est pas un. Un disque éteint et bien enregistré (dans un endroit frais et exempt d’humidité) est un support de stockage fiable. Si vous voulez plus de données en utilisant une configuration RAID, je suppose que c'est un bon choix, mais ne faites jamais confiance à une configuration d'ordinateur. La sauvegarde doit toujours être effectuée manuellement avec une personne (administrateur du réseau ou du serveur). C'est l'une des œuvres d'un administrateur. Vous pouvez utiliser des bandes, DVD, BlueRay ou d'autres disques pour effectuer la sauvegarde. Mais vous aurez toujours besoin d'un support de stockage fiable et un disque actif n'en est pas un. Un disque éteint et bien enregistré (dans un endroit frais et exempt d’humidité) est un support de stockage fiable. Mais vous aurez toujours besoin d'un support de stockage fiable et un disque actif n'en est pas un. Un disque éteint et bien enregistré (dans un endroit frais et exempt d’humidité) est un support de stockage fiable. Mais vous aurez toujours besoin d'un support de stockage fiable et un disque actif n'en est pas un. Un disque éteint et bien enregistré (dans un endroit frais et exempt d’humidité) est un support de stockage fiable.