Questions marquées «hdf5»

Flux de travail «grandes données» à l'aide de pandas

J'ai essayé de trouver une réponse à cette question pendant de nombreux mois tout en apprenant les pandas. J'utilise SAS pour mon travail quotidien et c'est génial pour son support hors cœur. Cependant, SAS est horrible en tant que logiciel pour de nombreuses autres raisons. Un jour, j'espère...

Y a-t-il un avantage en termes de vitesse d'analyse ou d'utilisation de la mémoire à utiliser HDF5 pour le stockage à grande matrice (au lieu de fichiers binaires plats)?

Je traite de grandes baies 3D, que j'ai souvent besoin de découper de différentes manières pour effectuer diverses analyses de données. Un "cube" typique peut faire environ 100 Go (et s'agrandira probablement à l'avenir) Il semble que le format de fichier typique recommandé pour les grands...