Comment créer un tableau numpy à partir d'un générateur?

Comment puis-je créer un tableau numpy à partir d'un objet générateur?

Laissez-moi illustrer le problème:

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

Dans cet exemple, gimme()est le générateur dont je voudrais transformer la sortie en un tableau. Cependant, le constructeur de tableau n'itère pas sur le générateur, il stocke simplement le générateur lui-même. Le comportement que je désire est celui de numpy.array(list(gimme())), mais je ne veux pas payer la surcharge de mémoire d'avoir la liste intermédiaire et le tableau final en mémoire en même temps. Existe-t-il un moyen plus efficace d'espace?

Les tableaux Numpy nécessitent que leur longueur soit définie explicitement au moment de la création, contrairement aux listes python. Ceci est nécessaire pour que l'espace pour chaque élément puisse être alloué consécutivement en mémoire. L'allocation consécutive est la caractéristique clé des tableaux numpy: cela, combiné à l'implémentation de code natif, permet aux opérations sur eux de s'exécuter beaucoup plus rapidement que les listes régulières.

En gardant cela à l'esprit, il est techniquement impossible de prendre un objet générateur et de le transformer en un tableau sauf si vous:

1. peut prédire le nombre d'éléments qu'il produira lors de l'exécution:

   my_array = numpy.empty(predict_length())
   for i, el in enumerate(gimme()): my_array[i] = el

2. sont disposés à stocker ses éléments dans une liste intermédiaire:

   my_array = numpy.array(list(gimme()))

3. peut créer deux générateurs identiques, parcourir le premier pour trouver la longueur totale, initialiser le tableau, puis parcourir à nouveau le générateur pour trouver chaque élément:

   length = sum(1 for el in gimme())
   my_array = numpy.empty(length)
   for i, el in enumerate(gimme()): my_array[i] = el

1 est probablement ce que vous recherchez. 2 est inefficace dans l'espace et 3 est inefficace dans le temps (vous devez passer deux fois par le générateur).

Un google derrière ce résultat de stackoverflow, j'ai trouvé qu'il y avait un fichier numpy.fromiter(data, dtype, count). La valeur par défaut count=-1prend tous les éléments de l'itérable. Il faut que a dtypesoit défini explicitement. Dans mon cas, cela a fonctionné:

numpy.fromiter(something.generate(from_this_input), float)

Bien que vous puissiez créer un tableau 1D à partir d'un générateur avec numpy.fromiter(), vous pouvez créer un tableau ND à partir d'un générateur avec numpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

Cela fonctionne également pour les baies 1D:

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

Notez que cela numpy.stackconsomme en interne le générateur et crée une liste intermédiaire avec arrays = [asanyarray(arr) for arr in arrays]. La mise en œuvre peut être trouvée ici .

Un peu tangentiel, mais si votre générateur est une compréhension de liste, vous pouvez l'utiliser numpy.wherepour obtenir plus efficacement votre résultat (j'ai découvert cela dans mon propre code après avoir vu cet article)

Les fonctions vstack , hstack et dstack peuvent prendre comme générateurs d'entrée qui produisent des tableaux multidimensionnels.