Meilleur moyen de documenter les mappages de bases de données pour les migrations [fermé]

Je travaille sur un projet qui inclut le mappage d'éléments de base de données pour une migration et je voulais savoir quels outils les autres utilisaient pour ce faire?

Excel est un moyen très flexible de documenter des mappages simples, mais je me demandais si quelqu'un avait une méthodologie spécifique qu'il a suivie ou d'autres outils qu'il pourrait recommander?

La façon la plus courante de faire cet Excel, mais il a ses compromis:

• Très difficile de mettre à jour la feuille de calcul si l'un ou l'autre côté de la migration change (en raison de quelque chose manquant, quelque chose changeant, etc.)
• Excel est plus difficile à utiliser par les personnes qui mettent en œuvre les règles qui y sont documentées.
• Le suivi des modifications est presque impossible si plusieurs personnes collaborent sur le document.

Je préfère utiliser les fonctionnalités de lignage de données des outils de modélisation de données tels que ER / Studio, ERwin ou PowerAMC ​​pour suivre les transformations requises pour la migration d'un magasin de données à un autre. J'obtiens tous les avantages de RE et se compare à la source et à la cible, plus aucun des compromis mentionnés ci-dessus. Cela fait vraiment une différence.

Si vous essayez de documenter des mappages de données, une feuille de calcul est probablement l'approche la plus simple, bien qu'elle ne soit idéale que pour un mappage 1: 1. Quelques approches sont:

Excel: vous pouvez utiliser une feuille de calcul pour les mappages, en particulier lorsqu'ils sont simples. Si vos bases de données ne sont pas isomorphes (c'est-à-dire qu'elles n'ont pas de mappage 1: 1 pour tous les champs qui vous intéressent), la documentation du mappage peut être un peu plus complexe. Si les différences sont mineures, vous pouvez toujours documenter cela dans une feuille de calcul en ajoutant des notes aux champs où le mappage est plus complexe.

Outil CASE avec méta-modèle personnalisé Il y a un an ou deux, j'ai construit un méta-modèle étendu et quelques scripts associés pour Sparx Enterprise Architect. Cela m'a permis de mettre en place des représentations schématiques des mappages, et il y avait quelques primitives de modélisation qui vous ont permis de documenter les transformations.

Notez que cela nécessite un peu de programmation - et un peu de temps pour fouiller l'API COM présentée par EA et éventuellement le modèle de référentiel. Ce n'est pas du tout opaque, cependant - beaucoup plus simple que le modèle de référentiel dans (par exemple) Oracle Designer.

Si vous avez un travail de migration de données vraiment complexe, vous pouvez écrire des scripts qui interrogent le modèle pour vous assurer (par exemple) que vous n'avez aucun élément non mappé. Le générateur de rapports du référentiel est également assez flexible dans ce que vous pouvez inclure dans un rapport - je n'ai pas eu trop de difficulté à en obtenir des rapports personnalisés qui faisaient la plupart de ce que je voulais. Vous pouvez également écrire des éléments qui extraient des données du modèle et les exportent (par exemple) dans une feuille de calcul.

Des diagrammes, y compris des éléments de modèle personnalisés (EA a une fonction de définition de forme et de connecteur) peuvent également être créés pour un aperçu graphique des spécifications de migration.

La valeur de cette approche est que vous pouvez automatiser certains des contrôles sur les documents de migration et valider que vous avez une couverture complète de tout ce dont vous avez besoin. Par exemple, vous pouvez également inclure des références aux exigences de données dans le modèle de référentiel et utiliser des liens spécialement balisés entre ceux-ci et les modèles de données source ou de destination.

Outils ETL: si vous avez accès à l'un des meilleurs outils ETL tels qu'Informatica Powercentre, vous pouvez y configurer les mappages. Certains outils ETL sont assez auto-documentés et vous pouvez également utiliser l'outil pour effectuer la migration. SSIS fera le mappage, mais il ne s'auto-documente pas de cette façon.

Ce que vous voulez vraiment, c'est un outil CASE avec le méta-modèle pour les mappings déjà configuré. Malheureusement, je ne connais pas un tel produit.

Je suggérerais d'utiliser SQL Power Doc par kendalvandyke. C'est le meilleur outil gratuit qui fait une documentation SQL Server et Windows assez décente en utilisant Windows PowerShell. L'informatique est disponible chez codeplex.

SQL Power Doc est une collection de scripts et de modules Windows PowerShell qui découvrent, documentent et diagnostiquent les instances SQL Server et leurs configurations sous-jacentes de système d'exploitation Windows et de machine. SQL Power Doc fonctionne avec toutes les versions de SQL Server de SQL Server 2000 à 2012, et toutes les versions de Windows Server et des systèmes d'exploitation Windows grand public de Windows 2000 et Windows XP à Windows Server 2012 et Windows 8. SQL Power Doc est également capable de documenter Bases de données Windows Azure SQL.

J'ai réussi à utiliser SQL Doc de Red Gate . C'est simple à configurer et donne une bonne documentation. Cependant, si vous cherchez quelque chose avec une représentation graphique des tableaux et des vues et comment ils sont liés, je ne peux pas vous aider.

D'après mon expérience, aucune des applications toutes faites que j'ai essayées ne fournit suffisamment d'informations utilisables. À mon avis, nous modélisons et stockons des informations sur presque tout ce qui a de la valeur dans une entreprise. Les données elles-mêmes ont-elles moins de valeur que les autres actifs d'une entreprise? Alors pourquoi ne documentons-nous pas nos données aussi bien que nous documentons nos autres actifs? Le "référentiel de métadonnées" ne décrit pas avec précision ce qui est vraiment nécessaire car il brosse un tableau d'un ensemble de définitions et de structures qui "restent là" pour la plupart inutilisées, ce qui ne devrait pas être le cas. «Application de métadonnées» est un bien meilleur terme.

Je modéliserais vos métadonnées comme vous modélisez vos autres données: réfléchissez à la façon dont vous souhaitez les utiliser, créez un modèle de données de métadonnées ou "méta-modèle", créez les structures de schéma analogues, remplissez les tables, et utilisez les données. Ensuite, vous pourrez non seulement documenter vos métadonnées, mais vous pourrez les analyser, découvrir des problèmes et même faire des prévisions.

Avec mon expérience personnelle de travail avec une organisation de soins de santé géante où les données de plusieurs payeurs et fournisseurs proviennent de plusieurs sources et cela devient vraiment une tâche complexe de les documenter et de les cartographier à l'aide d'un tableur Excel. Il nous a été recommandé de faire un POC par notre directeur pour AnalytiX Mapping Manager (www.analytixds.com)qu'il a rencontré lors d'une conférence. Nous avons utilisé un cas d'utilisation en direct et les résultats ont été exceptionnels. La solution est 100% pilotée par les métadonnées et accessible à partir d'un navigateur Web. Nous l'avons utilisé au niveau de l'entreprise. Il analyse et organise les métadonnées à partir d'une grande variété de bases de données, de modèles de données, de fichiers plats et de données non structurées et identifie les dépendances en amont et en aval avec son analyse d'impact et sa lignée de données. L'interface graphique est conviviale avec son interface utilisateur simple glisser / déposer pour créer des spécifications de mappage. Nous construisons non seulement le mappage et la documentation, mais également la génération automatique de travaux ETL pour les outils Informatica et SSIS ETL utilisés en interne. Vous pouvez facilement importer vos anciennes feuilles de calcul et appliquer les normes de cartographie avec des modèles de cartographie personnalisables intégrés et un contrôle de version complet.