Supposons que j'ai un grand tableau numpy en mémoire, j'ai une fonction funcqui prend ce tableau géant en entrée (avec quelques autres paramètres). funcavec différents paramètres peuvent être exécutés en parallèle. Par exemple: def func(arr, param): # do stuff to arr, param # build array arr pool =...
J'ai un petit problème avec l'un de mes projets. J'ai essayé de trouver un exemple bien documenté d'utilisation de la mémoire partagée avec fork()mais sans succès. Fondamentalement, le scénario est que lorsque l'utilisateur démarre le programme, je dois stocker deux valeurs dans la mémoire...
J'ai souvent besoin d'appliquer une fonction aux groupes d'un très grand DataFrame(de types de données mixtes) et je voudrais profiter de plusieurs cœurs. Je peux créer un itérateur à partir des groupes et utiliser le module multitraitement, mais ce n'est pas efficace car chaque groupe et les...
J'ai un SciPy Array (Matrix) de 60 Go que je dois partager entre plus de 5 multiprocessing Processobjets. J'ai vu numpy-sharedmem et lu cette discussion sur la liste SciPy. Il semble y avoir deux approches - numpy-sharedmemet utiliser a multiprocessing.RawArray()et mapper NumPy dtypes à ctypes....