Archivage économique et à long terme des données vidéo et image? ~ 50 To

Mon laboratoire est en train de mettre en place un petit serveur qui contient des données (principalement des données vidéo et image, ainsi que quelques documents) pour le projet sur lequel notre groupe travaille à un moment donné. Historiquement, après la fin d'un projet de recherche, les données finissent par être archivées au hasard sur un seul disque dur, ou une grande pile de DVD (ou CD dans le passé), et / ou une partie de la vidéo s'est retrouvée dans des cassettes DV Sony ou même Cassettes VHS (ce laboratoire est actif depuis le début des années 90), OU un mélange de tout ce qui précède ...

Question: Quelle est la meilleure façon de (1) les consolider TOUS dans le même format ET le même support de stockage, et (2) quel est le meilleur moyen pour l'archivage à long terme de ces données pour un accès très occasionnel (disons, plus de 30 ans?)? Malheureusement, nous n'avons pas de budget au niveau de l'entreprise (nous ne sommes qu'un laboratoire de 10 personnes), nous ne pouvons donc pas faire des choses qui coûtent des centaines de milliers de dollars.

Merci!

PS Étant donné que nos anciennes vidéos et images sont de plus petite résolution, mais les récentes sont énormes, je pense que nous parlons de 30 ~ 40 To pour les données vraiment anciennes, 10 à 20 To supplémentaires pour les données récentes, puis des ajouts annuels d'environ 5 To .

Malheureusement, il n'y a pas de meilleur moyen pour vous. L'archivage de 30 ans des médias numériques est un problème très difficile et nécessite des investissements de routine. Les seuls formats garantis lisibles dans 30 ans sont ASCII et UTF8, qui ne sont pas des formats vidéo. Les formats de stockage changent, les bandes 8 pistes bobine à bobine que nous utilisions il y a 30 ans sont presque impossibles à lire de nos jours même si les données sont toujours sur la bande (il y a une histoire intéressante à propos de la NASA reconstruisant un lecteur de bande vieux de 40 ans pour accéder à des bandes de données Apollo récemment récupérées / découvertes). Votre meilleur pari est de vous engager dans des évaluations périodiques, je dirais tous les 5 ans, de votre environnement d'archivage avec un budget suffisant pour convertir les anciens formats en de nouveaux formats.

Vous le savez probablement mieux que moi, mais le paysage vidéo évolue rapidement. L'édition en ligne en temps réel est désormais possible, alors qu'elle n'était réalisable que sur un très bon kit il y a 10 ans. Qui sait à quoi ressembleront les choses dans 30 ans.

• Définissez votre fenêtre d'archivage pour 5 ans.
  • Dans l'immédiat, une baie de stockage plus large devrait suffire (
    • un disque gros et lent de 50 To peut être acheté pour moins de 70 000 $, peut-être bien en dessous.
    • Un lecteur de bande LTO5 et 50 bandes (bien plus de 50 To) peuvent être achetés pour moins de 15 000 $.
• Le format dans lequel vous stockez votre vidéo dépend de vous.
• Commencez à rechercher et à convertir toutes vos anciennes données dans ce nouveau stockage.
• Au bout de 5 ans, faites une autre évaluation complète de votre environnement d'archivage.
  • Quels formats utilisez-vous?
  • Quels sont les nouveaux formats?
  • Quels codecs semblent être des impasses et quels supports avez-vous stockés codés de cette façon?
  • Décidez comment vous allez migrer vers des méthodes de stockage plus récentes (formats de données, disque / bande / autre) et dépensez de manière appropriée.
• Répétez 6 fois.

Cela devrait vous amener à 30 ans.

Je suis totalement d'accord avec le post de sysadmin1138 à tous égards, sauf une mise en garde - je ne pense pas que vous aurez le budget pour vraiment réaliser ce que vous voulez.

Il y a 5 fonctions principales que vous devez créer;

• une politique de contenu et de catalogue standardisée - je sais que vous voulez tout stocker dans un seul format mais vous devriez vraiment en considérer deux - PDF pour les images et H.264 pour la vidéo - les deux sont des formats de support à long terme avec du code multiplateforme qui seront presque certainement être soutenu par une partie ou une autre pendant 25-50 ans dans leur forme actuelle simplement en raison de l'utilisation existante dans le monde entier.
• un catalogue ou CMS pour indexer et publier le contenu.
• un système «d'ingestion de contenu» - cela prendra tous vos médias, emballera, encodera, stockera et mettra à jour le catalogue pour chaque nouveau contenu. Vous aurez également besoin d'un contrôle manuel ou automatisé de la qualité du contenu.
• un magasin de contenu principal - celui-ci aura deux blocs de stockage principaux; un petit pour contenir le contenu d'origine pendant qu'il est transcodé / vérifié et un bloc beaucoup plus grand pour contenir le contenu «près». C'est l'une des seules utilisations valides de RAID 6 que j'ai rencontrées, mais essayez ici d'utiliser des disques de qualité d'entreprise qui ont un «cycle de service» 24x365.
• système de sauvegarde à long terme - c'est là que l'argent réel sera dépensé, vous devrez sélectionner un fournisseur qui offre une capacité de sauvegarde véritablement à long terme. Si je faisais cela maintenant, j'irais toujours avec une bande sur disque uniquement pour des raisons de longévité des données, peut-être par IBM car ils ont beaucoup d'expérience dans ce domaine. Vous devez également tenir compte du fait que vous devez également effectuer des restaurations de bande et des vérifications de données régulières, ce qui signifie que vous aurez besoin d'un troisième bloc de stockage au moins aussi grand que la plus grande bande que vous avez - et les systèmes à vérifier aussi bien sûr. En plus de cela, vous devrez vous assurer que le logiciel de sauvegarde que vous utilisez existera également pendant longtemps, quelque chose comme TAR sur * nix est susceptible d'exister pendant un certain temps, mais il peut ne pas vous donner ce que vous voulez. assurez-vous que cela n'est pas ignoré par votre fournisseur de bandes.

Donc, ce que vous voulez faire peut être fait, je l'ai fait moi-même plusieurs fois au cours des deux dernières décennies, mais aucune n'était bon marché, je le crains.

Bonne chance.

Les autres ont donné de bons conseils sur la façon de sauvegarder vos médias. Je vous suggère de passer du temps de qualité à consulter la bibliothèque des directives du congrès:

http://www.digitalpreservation.gov/formats/index.shtml

Vous pouvez également envisager de créer un tableau ZFS à bas prix. Vous pourriez probablement faire quelque chose pour répondre à vos besoins pour moins de 10 000 $. Au fur et à mesure que les disques meurent, remplacez-les par des plus grands, et ainsi votre capacité de stockage augmente à mesure que vous générez des données. Cela vous permettrait probablement de continuer pendant un certain temps, et vous pouvez le remplacer par un appareil de plus grande capacité lorsqu'il vieillit. L'avantage est que vos données sont en ligne (et donc accessibles si nécessaire), et sont relativement bien protégées contre le bitrot, un problème sérieux lorsque vous avez autant de données.

Une option de construction décente a été mise en place ici:

http://www.zfsbuild.com/

Aussi difficile que cela soit pour les technologues, je recommanderais d'arrêter immédiatement de penser aux disques et à la technologie. Décomposez votre problème commercial en éléments sur lesquels vous devez prendre des décisions.

Exemple:

• Comment allez-vous gérer la conversion de formats de bandes numériques analogiques / divers en supports numériques pouvant être stockés sur une sorte de stockage numérique?
• Comment allez-vous gérer le contenu et les métadonnées associées? Le stockage est facile - vous pourriez tout mettre sur une bande LTO et le stocker dans une ancienne mine de sel, mais vous n'auriez pas accès aux données.
• Êtes-vous en train de réinventer la roue? Si vous êtes dans une université, existe-t-il déjà des solutions de gestion de contenu disponibles de manière centralisée? Ou si vous devez acheter / créer votre propre gestion de contenu, existe-t-il une infrastructure centralisée dont vous pouvez acheter un morceau? (Bande, stockage d'objets, SAN)
• Quelles sont les vraies exigences commerciales? Que voulez-vous vraiment garder et pourquoi? Souvent, lorsque vous creusez vraiment dans le vif du sujet, les véritables exigences de conservation à long terme ne s'appliquent en fait qu'à un petit sous-ensemble de données.

Sachez que si vous stockez des données dans un format avec perte, puis les convertissez en un autre format avec perte, puis en un autre, votre qualité vidéo se dégradera à chaque transition.

Ce qui suit parle d'audio, mais la même chose s'applique généralement:

Vous pouvez convertir n'importe quel format audio en Ogg Vorbis. Cependant, la conversion d'un format avec perte, comme MP3, vers un autre format avec perte, comme Vorbis, est généralement une mauvaise idée. Les encodeurs MP3 et Vorbis atteignent des taux de compression élevés en jetant des parties de la forme d'onde audio que vous n'entendrez probablement pas. Cependant, les codecs MP3 et Vorbis sont très différents, donc ils jetteront chacun différentes parties de l'audio, bien qu'il y ait certainement un certain chevauchement. La conversion d'un MP3 en Vorbis implique de décoder le fichier MP3 dans un format non compressé, comme WAV, et de le recompresser à l'aide de l'encodeur Ogg Vorbis. Le MP3 décodé ne contiendra pas les parties de l'audio d'origine que l'encodeur MP3 a choisi de supprimer. L'encodeur Ogg Vorbis supprimera ensuite les autres composants audio lors de la compression des données. Au mieux, le résultat sera un fichier Ogg qui sonne comme votre MP3 d'origine, mais il est très probable que le fichier résultant sonnera moins bien que votre MP3 d'origine. En aucun cas, vous n'obtiendrez un fichier qui sonne mieux que le MP3 d'origine.

Étant donné que de nombreux lecteurs de musique peuvent lire des fichiers MP3 et Ogg, il n'y a aucune raison pour que vous deviez basculer tous vos fichiers dans un format ou dans l'autre. Si vous aimez Ogg Vorbis, nous vous encourageons à l'utiliser lorsque vous encodez à partir de sources audio originales sans perte (comme les CD). Lors de l'encodage à partir d'originaux, vous constaterez que vous pouvez créer des fichiers Ogg plus petits ou de meilleure qualité (ou les deux) que vos MP3.

(Si vous devez absolument convertir de MP3 en Ogg, plusieurs scripts de conversion sont disponibles sur Freshmeat.)

http://www.vorbis.com/faq/#transcode

Il est donc préférable de choisir un format sans perte, car une fois que vous avez choisi un format avec perte, vous êtes coincé avec celui-ci.

Peut-être que quelque chose me manque, ne pourriez-vous pas tout encoder en utilisant un format ouvert où le code source des codecs est disponible, puis coller le tout sur Amazon S3?

De cette façon, Amazon doit se soucier du stockage réel des données et, à moins qu'aucun ordinateur ne puisse compiler C / C ++ dans 30 ans, vous pourrez obtenir les informations ...