Comment sauvegardez-vous un serveur de stockage?

J'envisage d'implémenter un très grand serveur de stockage à utiliser comme NAS en direct pour plusieurs autres serveurs (tous basés sur Linux).

Par très grand, je veux dire entre 4 To et 20 To d'espace utilisable (bien qu'il soit peu probable que nous en fassions réellement 20 To).

Le serveur de stockage sera RAID 10 pour la sécurité et les performances des données, mais nous aurons toujours besoin d'une solution de sauvegarde comprenant une sauvegarde hors site.

Ma question est: comment sauvegarder autant de données!?

Ce n'est pas comme si je pouvais simplement connecter un disque dur portable et transférer les fichiers. Nous n'avons actuellement aucun autre appareil avec autant d'espace de stockage.

Dois-je prévoir un budget pour un deuxième serveur de stockage hors site ou existe-t-il une meilleure solution?

Il existe de nombreuses façons de gérer des données de cette taille. Cela dépend en grande partie de votre environnement et du montant que vous êtes prêt à dépenser. En général, il existe quelques stratégies globales pour «retirer les données du serveur»:

• Sur l'Ethernet Comme il est dit sur la boîte, les données sont transmises à Some Where Else pour être gérées. 20 To prendront beaucoup de temps à copier sur 1 GbE, mais cela peut être fait. Le matériel peut vous aider (comme les liaisons 10 GbE ou, dans certains cas, la liaison NIC).
• Sur le sous-système de stockage Si vous êtes sur Fibre Channel, envoyez-le à un autre périphérique sur le réseau FC. Si vous avez SAS, envoyez-le à un périphérique connecté à SAS. Généralement plus rapide qu'Ethernet.
• Envoyez-le à une autre baie de disques Envoyez-le à un autre morceau de stockage connecté au même serveur.

C'est la vue à 100 km. Une fois que vous commencez à zoomer, les choses deviennent beaucoup plus fragmentées. Comme déjà mentionné, LTO5 est une technologie de bande spécifique conçue pour ces types de charges haute densité. Une autre baie de stockage identique est une bonne cible, surtout si vous pouvez utiliser quelque chose comme GlusterFS ou DRBD pour obtenir les données là-bas. De plus, si vous avez besoin d'une sauvegarde rotation de ou simplement de la possibilité de continuer à fonctionner en cas de défaillance de la baie, cela affectera ce que vous mettez en place.

Une fois que vous avez opté pour une méthode d'affichage à 100 km, entrer dans le logiciel sera la prochaine grande tâche. Les facteurs qui influencent cela sont ce que vous pouvez installer sur votre serveur de stockage en premier lieu (si c'est un NetApp, c'est une chose, un serveur Linux avec un tas de stockage est une tout autre chose, tout comme un serveur Windows avec un tas de stockage) , quel matériel vous choisissez (tous les packages de sauvegarde FOSS ne gèrent pas bien les bibliothèques de bandes, par exemple), et quel type de rétention de sauvegarde vous avez besoin.

Vous devez vraiment déterminer le type de récupération après sinistre que vous souhaitez. La réplication en direct simple est plus facile, mais ne vous permet pas de restaurer à partir de la semaine dernière seulement maintenant. Si la capacité de restauration à partir de la semaine dernière est importante pour vous, alors vous devez concevoir pour ce genre de chose. Selon la loi (aux États-Unis et ailleurs), certaines données doivent être conservées pendant plus de 7 ans.

La réplication simple est la plus simple à faire. C'est ce que DRBD est conçu pour faire. Une fois la copie initiale effectuée, elle envoie simplement les modifications. Les facteurs de complication ici sont la localité du réseau, si votre 2e baie n'est pas proche du DRBD principal peut ne pas être faisable. Vous aurez besoin d'un deuxième serveur de stockage avec au moins autant d'espace de stockage que le premier.

À propos de la sauvegarde sur bande ...

LTO5 peut contenir 1,5 To de données sans compression. Nourrir ces monstres nécessite une mise en réseau très rapide, soit Fibre Channel ou SAS 6 Go. Étant donné que vous devez sauvegarder plus de 1,5 To en un clin d'œil, vous devez vous pencher sur les chargeurs automatiques (voici un exemple: link , un chargeur automatique à 24 logements de 1 lecteur de HP). Avec un logiciel qui les prend en charge, ils géreront pour vous le changement des bandes en cours de sauvegarde. Ils sont super. Vous devrez toujours retirer les bandes pour les envoyer hors site, mais c'est une sacrée vue mieux que de traîner toute la nuit pour charger les bandes vous-même lorsque la sauvegarde les appelle.

Si la bande vous donne les heebiegeebies « hérités, ew », une bibliothèque de bandes virtuelle peut être plus rapide (comme celle de Quantum: lien ). Ceux-ci prétendent être des bibliothèques de bandes pour sauvegarder des logiciels tout en stockant les choses sur le disque avec des techniques de déduplication robustes (vous l'espérez). Les plus amateurs copieront même des bandes virtuelles sur des bandes réelles pour vous, si vous aimez ce genre de chose, ce qui peut être très pratique pour les rotations hors site.

Si vous ne voulez pas vous fâcher avec des bandes même virtuelles, mais que vous voulez toujours faire des sauvegardes directes sur disque, vous aurez besoin d'une matrice de stockage suffisamment grande pour gérer ces 20 To, plus les données de changement net que vous souhaitez à garder. Différents packages de sauvegarde gèrent cela différemment. Certaines technologies de déduplication sont vraiment agréables, d'autres sont des plaisanteries hacky. Personnellement, je ne connais pas l'état des logiciels de sauvegarde FOSS dans ce domaine (j'ai entendu parler de Bacula), mais ils peuvent être suffisants. De nombreux packages de sauvegarde commerciaux ont des agents locaux que vous installez sur des serveurs à sauvegarder afin d'augmenter le débit, ce qui présente de nombreux avantages.

Jukebox LTO-5? vous auriez besoin de quelque part entre trois et 15 bandes pour sauvegarder ce tableau, ce qui n'est pas un nombre fou. Le juke-box se chargera de changer les bandes pour vous, et un bon logiciel de sauvegarde (par exemple bacula) gardera la trace du ou des fichiers sur quelle bande.

Vous souhaiterez également prendre en compte le temps requis pour sauvegarder un système de fichiers aussi volumineux, dans la mesure où il est très probable que le FS changera pendant cette période. Pour de meilleurs résultats, un système de fichiers qui prend en charge les instantanés serait très utile, vous pouvez donc prendre un instantané instantané et effectuer des sauvegardes complètes ou incrémentielles contre cela, plutôt que contre le système de fichiers en direct.

Vous devriez probablement envisager de sauvegarder sur le disque , car la bande prendra beaucoup de temps et, étant un accès séquentiel, les restaurations prendront une éternité.

Profitez certainement des sauvegardes différentielles ou incrémentielles - en sauvegardant uniquement les modifications, quelle que soit la fréquence qui vous convient.

La solution idéale serait probablement d'avoir un deuxième serveur de taille similaire à un autre endroit , où des sauvegardes incrémentielles sont envoyées régulièrement, et qui pourraient être remplacées rapidement si le serveur principal venait à mourir. Cependant, une autre option consisterait à utiliser des lecteurs amovibles sur place, qui sont ensuite retirés du site pour le stockage.

Lorsque vous traitez avec autant de données, il est également judicieux de diviser vos sauvegardes en tâches de sauvegarde plus petites, et si elles ne peuvent pas toutes être sauvegardées tous les jours, échelonnez vos sauvegardes afin que l'ensemble A soit sauvegardé un jour, et définissez B le suivant.

Pensez toujours à la procédure de restauration . Nous avons été piqués une fois lorsque nous avons dû restaurer un fichier à partir d'un travail de sauvegarde de plusieurs centaines de gig, ce qui a pris beaucoup de mémoire et beaucoup de temps pour reconstruire l'index de sauvegarde et restaurer. En fin de compte, nous n'avons pas pu le terminer en une journée et avons dû créer un serveur de restauration dédié pour permettre à notre serveur de sauvegarde principal de continuer ses travaux de nuit!

--ajoutée--

Vous voulez également penser aux technologies de déduplication , qui peuvent économiser d'énormes quantités d'espace en ne sauvegardant pas les mêmes informations plusieurs fois, pour plusieurs utilisateurs. De nombreuses solutions de sauvegarde ou systèmes de fichiers proposent la déduplication dans le cadre de leurs fonctionnalités.

D'abord, énumérez les risques contre lesquels vous vous protégez. Quelques risques courants:

• Catastrophe: quelque chose de très malheureux arrive à l'ensemble de votre site.
• Erreurs humaines (c'est celle qui se produit _all_the_time_):
  • Quelqu'un décide d'exercer la capacité de «remplacement à chaud» de votre serveur de stockage d'une manière non prévue par le fabricant.
  • Quelqu'un exécute un processus qui corrompt silencieusement les données, qui sont sauvegardées de manière fiable pendant quelques mois avant que le problème ne soit détecté.
  • Quelqu'un supprime le rapport important qui est dû dans une heure et vaut des milliers de dollars.

Évaluez ensuite le coût des différentes solutions d'évitement des risques, par exemple:

• Sauvegarde hors site, en ligne (miroir distant): à l'abri des catastrophes, certaines (mais pas toutes) des erreurs humaines (elles sont toujours en ligne).
• Stockage hors ligne hors site (bandes): à l'abri des catastrophes, difficile de récupérer rapidement les données.
• Sauvegarde en ligne sur site (miroir): à l'abri de certaines erreurs humaines, de certaines pannes matérielles, vulnérable aux catastrophes.
• Sauvegarde hors ligne sur site (bandes dans le changeur de bande): à l'abri de la plupart des erreurs humaines et de la plupart des pannes matérielles.

Ensuite, évaluez les stratégies de rotation (jusqu'où voulez-vous pouvoir récupérer, combien de données pouvez-vous vous permettre de perdre).

Choisissez ensuite la valeur de vos données.

J'ai un client avec deux systèmes similaires de 12 To dans deux bâtiments différents, connectés à 1 Go. L'un est le système de production; il est sauvegardé de manière incrémentielle (avec des instantanés quotidiens) à l'autre avec le grand utilitaire de sauvegarde rdiff . rdiff-backup doit être disponible dans votre référentiel de distribution standard.

Sauvegarde hors site et en ligne (miroir distant)

utilisez rsync via ssh (uniquement les modifications) - la première sauvegarde doit être effectuée localement, mais après cette sauvegarde sera un jeu d'enfant en fonction des modifications

si vous avez besoin de conserver des versions avec des changements- rdiff-backup

http://www.nongnu.org/rdiff-backup/

Le système de fichiers btrfs sous Linux semble prometteur, mais toujours en développement

Jetez un œil à votre «contenu» réel et à la fréquence à laquelle il change avant de planifier votre stratégie. Plusieurs fois, les gens ne cessent de répéter les mêmes données sur bande chaque semaine sans raison valable.

Les technologies de déduplication de certains fournisseurs peuvent permettre des instantanés pour vous sauver des restaurations de fichiers individuels, mais vous aurez toujours besoin de protection hors site.