Tableaux numpy d'entrée et de sortie vers h5py

J'ai un code Python dont la sortie est une matrice dimensionnée, dont les entrées sont toutes du type float. Si je l'enregistre avec l'extension, .datla taille du fichier est de l'ordre de 500 Mo. J'ai lu que l'utilisation h5pyréduit considérablement la taille du fichier. Donc, disons que j'ai nommé le tableau numpy 2D A. Comment l'enregistrer dans un fichier h5py? Aussi, comment lire le même fichier et le mettre sous forme de tableau numpy dans un code différent, car je dois faire des manipulations avec le tableau?

h5py fournit un modèle d' ensembles de données et de groupes . Le premier est essentiellement des tableaux et le second que vous pouvez considérer comme des répertoires. Chacun est nommé. Vous devriez consulter la documentation de l'API et des exemples:

http://docs.h5py.org/en/latest/quick.html

Un exemple simple où vous créez toutes les données à l'avance et que vous souhaitez simplement les enregistrer dans un fichier hdf5 ressemblerait à quelque chose comme:

In [1]: import numpy as np
In [2]: import h5py
In [3]: a = np.random.random(size=(100,20))
In [4]: h5f = h5py.File('data.h5', 'w')
In [5]: h5f.create_dataset('dataset_1', data=a)
Out[5]: <HDF5 dataset "dataset_1": shape (100, 20), type "<f8">

In [6]: h5f.close()

Vous pouvez ensuite recharger ces données en utilisant: '

In [10]: h5f = h5py.File('data.h5','r')
In [11]: b = h5f['dataset_1'][:]
In [12]: h5f.close()

In [13]: np.allclose(a,b)
Out[13]: True

Consultez certainement les documents:

http://docs.h5py.org

L'écriture dans le fichier hdf5 dépend de h5py ou de pytables (chacun a une API python différente qui se trouve au-dessus de la spécification du fichier hdf5). Vous devriez également jeter un oeil à d'autres formats binaires simples fournis par numpy nativement tels que np.save, np.savezetc:

http://docs.scipy.org/doc/numpy/reference/routines.io.html

Une façon plus propre de gérer l'ouverture / la fermeture des fichiers et d'éviter les fuites de mémoire:

Préparation:

import numpy as np
import h5py

data_to_write = np.random.random(size=(100,20)) # or some such

Écrire:

with h5py.File('name-of-file.h5', 'w') as hf:
    hf.create_dataset("name-of-dataset",  data=data_to_write)

Lis:

with h5py.File('name-of-file.h5', 'r') as hf:
    data = hf['name-of-dataset'][:]