Automatiser le flux de travail (Excel / CSV)

Je recherche un outil ou un processus permettant d'automatiser les tâches de flux de travail répétitives nécessitant l'utilisation d'un fichier Excel ou CSV dans un format spécifique.

Par exemple, nous travaillons avec des fournisseurs qui nous envoient une liste de clients. Les données du tableur que nous recevons sont les mêmes, mais leur forme peut être légèrement différente. Par exemple, nous pouvons recevoir un fichier avec ces colonnes:

[ID][FName][LName][Birthday]

Cependant, supposons que notre système en ait besoin pour avoir la forme suivante:

[ID][FirstName][LastName][Birthdate]

De plus, les données peuvent être dans un format légèrement différent de celui de notre système. Par exemple, supposons que la colonne de date de naissance doit être dans un format spécifique (MM / JJ / AAAA) où le fournisseur peut la fournir sous la forme (AAAA-MM-JJ).

En supposant que le fichier que nous recevons du fournisseur soit toujours envoyé dans le même format, nous aimerions transformer rapidement ces fichiers pour qu'ils soient compatibles avec notre système.

Dans mon esprit, ce serait idéalement une application avec les fonctionnalités suivantes:

• Capacité à travailler avec des fichiers Excel ou CSV
• Définir comment renommer les colonnes
• Définir le format de données pour chaque colonne
• Nettoyez les données incorrectes (parfois, les clients ont la chaîne # N / A dans un champ, ce qui doit être traité comme un blanc dans notre système)
• Sortie en format CSV
• Fusionner les lignes en faisant correspondre les colonnes (parfois, nous avons plusieurs fichiers qui doivent être fusionnés par ID)
• Une interface graphique serait utile pour définir les règles, puis son utilisation à l'aide d'une CLI serait probablement utile pour l'automatisation / les exécutions futures.
• La possibilité de sauvegarder ces paramètres pour pouvoir les réexécuter rapidement à l'avenir en chargeant de nouvelles données avec les paramètres définis précédemment.

Existe-t-il un outil ou un flux de travail permettant de réaliser cela avec très peu de friction? Nous pouvons développer quelque chose en interne si nécessaire, mais s'il existe déjà un outil qui facilite cette tâche, ce serait l'idéal.

Votre question se lit comme une description du produit de Power Query. Il s'agit d'un complément gratuit de Microsoft qui fonctionne avec Excel 2010 et 2013.

Obtenez-le ici: https://www.microsoft.com/en-us/download/details.aspx?id=39379

Vous pouvez ouvrir un fichier CSV, renommer des colonnes, remplacer des valeurs, définir des formats de données, etc. Chaque activité est enregistrée et peut être modifiée. La requête peut être sauvegardée et répétée à tout moment. La sortie peut être placée dans une feuille Excel et enregistrée au format CSV.

Édition: Power Query est désormais disponible pour toutes les éditions d'Office 2013. Citant la configuration requise du système sur la page de téléchargement

Les versions Office suivantes sont prises en charge:

• Microsoft Office 2010 Professional Plus avec Software Assurance
• Microsoft Office 2013:
• Power Query Premium: toutes les fonctionnalités de Power Query disponibles pour: Professional Plus, Office 365 ProPlus ou Excel 2013 autonome
• Power Query Public: Disponible pour toutes les autres SKU d'Office 2013 Desktop. Inclut toutes les fonctionnalités de Power Query, à l'exception des suivantes: catalogue de données d'entreprise Power BI, sources de données Azure, Active Directory, HDFS, listes SharePoint, Oracle, DB2, MySQL, PostgreSQL, Sybase, Teradata, Exchange, Dynamics CRM, SAP BusinessObjects. , Salesforce.

Microsoft Power Query pour Excel nécessite Internet Explorer 9 ou une version ultérieure.