Existe-t-il des outils spécialement conçus pour compresser les données scientifiques en virgule flottante? Si une fonction est lisse, il y a évidemment beaucoup de corrélation entre les nombres représentant cette fonction, donc les données doivent bien se compresser. Zipper / gzipper des données...
J'utilise HDF5 depuis des années, mais à mesure que la taille de l'ensemble de données augmente, je commence à rencontrer les mêmes problèmes répertoriés ici http://cyrille.rossant.net/moving-away-hdf5/ Pouvez-vous m'indiquer un format comme HDF5 avec - Un bon support pour les écritures parallèles...
TL, DR Quelle est la meilleure pratique acceptée dans les cercles de calcul scientifique pour stocker de grandes quantités de données structurées hiérarchiquement? Par exemple, SQL ne fonctionne pas bien avec les grandes matrices clairsemées. Existe-t-il un bon outil pour structurer, stocker et...
Je ne connais pas le format de fichier utilisé dans HDF5, mais je me demande si les fichiers HDF5 conviennent au contrôle de révision avec git (ou par exemple Mercurial ou Subversion)? Je suppose que ce que je veux dire est: les fichiers HDF5 sont-ils adaptés à la diff-line en ligne ou git...