Stockage à long terme des données critiques de l'entreprise

16

C'est vraiment délicat, et dans une certaine mesure ce n'est pas un problème technique, et pourrait ne pas appartenir ici, mais

Server Fault est destiné aux administrateurs système ... qui gèrent ou entretiennent des ordinateurs à titre professionnel

Et je fais .. et c'est l'une de mes tâches .. Quoi qu'il en soit.

Imaginez que vous disposiez de plus de 5000 pages recto verso au format A4. Les données de l'entreprise, toutes critiques pour l'entreprise.
Vous devez le sauvegarder, en quelque sorte. Les solutions proposées à ce jour sont les suivantes:

  1. PDF -> Stockage en ligne
  2. PDF -> DVD / BluRay / Cassette
  3. PDF -> Lecteur portable HDD / SSD / Flash.
  4. Achetez / louez / louez / «volez» un gros photocopieur et faites des copies.
  5. ???

Problèmes immédiats avec ce qui précède:

  1. Et si le partenaire de stockage fait faillite?
  2. Les DVD pourrissent avec le temps. Cassettes de même.
  3. Celles-ci aussi se brisent avec le temps.
  4. Coûteux. Lent. Lourd. Pas compatible avec les arbres.

Questions):

Quelle est la référence en matière de conservation et d'archivage des données à long et à moyen terme? Avez-vous résolu un problème similaire sur le lieu de travail?

Après le chargement initial, il est nécessaire d'ajouter à la collection environ 100 pages par mois. La récupération devrait être possible, facilement, mais probablement peu fréquente.
Idéalement, je voudrais garantir que la solution sera utilisable longtemps après avoir quitté l'entreprise, et qu'elle ne nécessitera pas une quantité énorme pour la maintenir maintenable, donc le stockage de nombreux DVD n'est pas seulement idéal, mais aussi non une bonne solution à long terme.

Bien que faire des copies papier soit certainement le plus facile, ce n'est pas le plus respectueux de l'environnement, pas de loin. Ce n'est pas non plus très gérable, difficile à rechercher, à indexer, etc. Combiné avec lourd et difficile à stocker physiquement.

J'aime assez l'idée de principe de tout stocker électroniquement, mais le mécanisme réel de le faire doit être transparent et facile. Je ne veux vraiment pas être responsable de cela pour toujours et un jour, en soutenant les utilisateurs de bureau pendant qu'ils renforcent et perdent des documents. Je ne veux pas non plus dépendre d'un seul fournisseur de stockage, que se passe-t-il si Dropbox (Nous avons une solution de sauvegarde en ligne ATM, mais ce n'est pas Dropbox.) Devait faire faillite, ou sinon subir un événement catastrophique, combien d'entreprises qui utilisent leurs services seraient en haut du ruisseau, sans pagaie?

Il y a une certaine flexibilité budgétaire ici, mais je soupçonne que tout ce qui coûte plus cher que notre sauvegarde en ligne actuelle (qui est comme 2500USD / an), serait considéré moins favorablement, par rapport à simplement le mettre dans une boîte à chaussures sous un lit. C'est sans doute ce qui se passerait si je ne faisais rien et démissionnais demain.

Des idées?

-Éditer-

La raison pour cela est double.

1) fournir une sauvegarde sécurisée sensible de la paperasse critique en cas de panne du bureau.

2) pour satisfaire aux lois sur l'archivage des données WRT uk tax law pour les entreprises, etc.

Modifier 2:

Avoir un mécanisme d'indexation des documents serait également très utile.

Tom O'Connor
la source
J'ai créé un script rapide pour faire PDF-> Txt avec ghostscript et gocr. Considérant inutilement tout gicler dans une base de données SQLlite pour créer un index intéressant pour les données.
Tom O'Connor
La redondance (des médias numériques) et le maintien de la redondance au fil des ans peuvent être votre meilleur ami.
Vortico

Réponses:

5

Garder les données dans un format comme PDF est probablement sûr, car il existe des outils gratuits pour les lire. Le volume de données dont vous parlez est assez faible (1 200 pages / an), donc même avec une résolution de numérisation de 300 dpi, vous ne parlez que de dizaines de gigaoctets par an.

Cependant, le problème du périphérique de stockage physique ne disparaîtra jamais. Quel que soit le support que vous utilisez pour stocker les données électroniques (bande, optique, etc.), il faudra éventuellement mettre à jour un support plus récent. Planifiez et budgétisez le transfert des données vers de nouveaux formats à mesure que les nouveaux formats remplacent les anciens formats.

Je considérerais probablement les supports optiques comme un premier choix simplement parce que vous avez si peu de données. Je prévois également de graver 3 fois des doublons de tout et de rafraîchir les médias tous les 2 à 3 ans.

Si le support optique est trop petit, j'irais avec une bande LTO et rafraîchirais le support tous les 4 à 5 ans. Cela va être assez cher, cependant, pour une si petite quantité de données.

Evan Anderson
la source
DVD? Ou Blu-ray? Le BR est-il un format raisonnable pour les données?
Tom O'Connor
1
@ Tom O'Connor: Ils me semblent les mêmes. Je regarderais le coût pour prendre cette décision. Il existe actuellement des flans Blu-Ray de «qualité archivistique», donc d'un point de vue technique, cela semble être un format viable. (Les fabricants qui disent que les médias Blu-Ray ont une durée de vie "nominale" de 200 ans ne me donnent pas plus de confiance que ceux qui ont dit que les supports DVD d'archivage avaient une durée de vie "nominale" de 100 ans ...)
Evan Anderson
J'ai des CD-R Kodak GOLD datant d'environ 1998, et ils sont toujours lisibles. J'en ai aussi quelques libres, où la couche de colorant s'est séparée, et ils sont vissés.
Tom O'Connor
Je ne dis pas qu'il n'y a pas de différence entre les archives et les médias non archivistiques. Je dis simplement que les médias de qualité archivistique Blu-Ray par rapport aux médias de qualité archivistique DVD ne me semblent pas très différents. La comparaison du niveau d'archivage et du "fuseau de 100 pour 20,00 $" est une toute autre histoire.
Evan Anderson
Un élément non mentionné était le stockage à semi-conducteurs (clés USB): plus grand qu'optique, plus petit que LTO. L'USB est susceptible d'exister pendant au moins une décennie ou deux, et une clé USB de 16 Go ou 32 Go (ou deux ou trois) est assez bon marché en termes de coût d'archivage. Comme il s'agit de Write-Once-Read-Many, vous n'avez pas à vous soucier de l'usure des cellules SSD, vous pouvez donc théoriquement garder des bâtons pendant 5 ans ou plus dans un coffre-fort ignifuge.
voretaq7
6

Il existe des systèmes spécifiques qui utilisent en interne des DVD et migrent de temps en temps les données vers de nouveaux supports. Recherchez la conservation numérique.

Étant donné que les exigences de stockage augmentent assez rapidement, il est conseillé de passer à un type de support plus récent et plus grand de quelques années de toute façon.

En supposant que vous obteniez les données sur papier, vous devez:

  1. Listez les données lors de la saisie du courrier. Cela peut signifier donner à chaque feuille un code à barres unique.
  2. Scannez-le. Utilisez l'identifiant du code-barres comme nom de fichier. Archivez le papier.
  3. Archivez les données. Mettez les données sur un système d'archivage sécurisé de révision. Un serveur de fichiers ne sera pas suffisant car quelque chose peut arriver aux fichiers s'ils sont accessibles en écriture.
  4. Rendez-le accessible en lecture pour d'autres systèmes.

Dans le cas des clients, ce sont toutes les factures d'une grande organisation qui doivent être transférées au système en ligne (SAP). Le stockage des archives a subi plusieurs itérations à ce jour. Actuellement, ils se déplacent vers le rayon bleu.

D'un autre côté, de nos jours, tout se passe sur des disques, alors peut-être que quelque chose dans ce sens serait votre voie à suivre: http://www.eurostor.com/german/iTernity.D.php

Posipiet
la source
Gardez à l'esprit que la plupart des DVD-R (et al) ne durent que quelques années avant de se dégrader. Les trucs "d'archivage" coûteux durent plus longtemps s'ils sont conservés conformément aux instructions.
Chris S
Il en va de même pour la plupart des disques, serveurs, systèmes de fichiers ou formats de documents. L'archivage signifie déplacer les données. Essayez de lire un pdf dans 20 ans. Vous rappelez-vous quelle était la norme il y a 10 ans? Nous n'avons rien qui se rapproche vraiment du papier. Sauf pour copier-coller ...
Posipiet
Les documents en texte pur sont encore assez lisibles.
Bart Silverstrim
Il existe des outils gratuits pour lire les PDF. Tant qu'ils sont «vanille nature», je ne serais pas trop inquiet. Le TIFF est également une bonne option.
Evan Anderson
3

Notre solution: Numérisation vers PDF -> Sauvegarde sur bande

Nous avons un scanner de documents, fait ~ 30 pages / min et produit des fichiers PDF OCRed. Nous les sauvegardons sur bande (LTO4 en particulier) qui a une durée de vie de 50 à 100 ans (trouver un lecteur de bande peut être difficile dans le laps de temps, mais il existe des emplacements de récupération de données qui récupéreront toujours des disquettes de 8 pouces).

Chris S
la source
2
J'ai du google 8 "floppy ....
Holocryptic
Je conserve mes bandes de sauvegarde de Mac OS 7.5. Mais le disque s'est cassé, le support des programmes de sauvegarde est perdu. J'ai réussi à réinstaller le Mac, mais je ne peux pas lire la bande car je n'ai pas le programme de sauvegarde. Et franchement, je ne me souviens même pas de son nom. Oui, la bande peut durer 100 ans. Mais le lecteur n'en a pas.
Posipiet
@Holocryptic: Il y a seulement quelques mois, j'ai jeté une boîte non ouverte de disquettes 8 "Verbatim à secteurs durs.
user9517
1
@Holocryptic: NSFW! NSFW !!
Bart Silverstrim
@Posipiet, je pense avoir couvert le fait que les lecteurs ne durent pas éternellement, mais il existe des entreprises spécialisées dans la récupération de données à partir de n'importe quel média couramment utilisé.
Chris S
3

Je pense que le nouveau service Glacier d'Amazon est une offre intéressante dans cet espace.

Amazon Glacier est optimisé pour les données qui sont rarement consultées et pour lesquelles des temps de récupération de plusieurs heures conviennent. Avec Amazon Glacier, les clients peuvent stocker de manière fiable de grandes ou petites quantités de données pour aussi peu que 0,01 $ par gigaoctet par mois, une économie significative par rapport aux solutions sur site.

ewwhite
la source
2
Les coûts de récupération sont incroyablement immenses.
Tom O'Connor
2

Première étape, sauvegarde: OCR les documents, puis réorganisez tous les mots dans une série de romans sur l'Église catholique, l'Opus Dei et les Templiers. Vous devriez avoir suffisamment de données d'entrée pour environ 10 romans, et environ un de plus chaque année. Maintenir une table de recherche qui contient l'emplacement d'origine des mots dans les documents source (dans l'ordre source), et son emplacement final dans les romans; stocker les mots en double dans une entrée du tableau. Obtenez un contrat d'édition et faites publier des millions de romans. Utilisez les revenus de la vente de livres pour financer l'opération d'OCR et de réarrangement de mots. Déchiquetez les documents originaux et vendez-les comme litière de hamster. Il peut parfois être nécessaire de passer des commandes d'achat de crucifix, d'anti-matière ou de billets d'avion dans des endroits exotiques, si vous constatez que le vocabulaire de vos documents d'entrée vous manque.

Deuxième étape, récupération / accès: il n'est pas nécessaire de stocker des copies des données - tout ce dont vous avez besoin est votre table de recherche et une librairie d'occasion.

Comme la table de recherche est votre seul point d'échec, vous devrez toujours la sauvegarder. Grâce au schéma d'encodage huffman utilisé, il sera assez petit par rapport à vos documents d'entrée, il pourrait donc probablement être copié sur DVD. Pour une sauvegarde hors site, asseyez-vous devant un feu de bois et lisez la table de recherche, tout en vous vidéo. Placez votre pièce de performance vidéo sur la fusion de l'art et de la technologie dans la Tate Modern Gallery, en exposition permanente.

Duncan Lock
la source
1

Un peu trop tôt pour acheter, mais il semble que HDS ait mis au point un mécanisme de stockage de données permanent basé sur le quartz - prenez une lecture .

Chopper3
la source
1
J'ai entendu la revendication de permanence si souvent que je ne vais jamais y croire et aucun d'entre nous ne vivra assez longtemps pour la voir prouver. Les prédictions de permanence sont absolument sans valeur et se révèlent toujours fausses.
John Gardeniers
-2

Je dois mettre en avant Humyo.com (acheté par Trend Micro - dont le deuxième prénom est la sécurité)

Ils chiffrent toutes les données des utilisateurs et leurs serveurs sont hébergés dans la Banque d'Angleterre dans un coffre-fort.

Assez sécurisé :)

benhowdle89
la source
1
Je parie qu'ils ne sont pas en fait à la Banque d'Angleterre. Pas de place là-dedans, c'est plein de banquiers.
Tom O'Connor
5
Trend Micro, dont le deuxième prénom est bloatware ...
Tom O'Connor
Je suis d'accord avec vous sur Trend Micro, mais ils ne le possèdent que, vous opérez avec le logiciel
Humyo