Pour rendre mon code plus "pythonique" et plus rapide, j'utilise le "multiprocessing" et une fonction map pour lui envoyer a) la fonction et b) la plage d'itérations. La solution implantée (c'est-à-dire appeler tqdm directement sur la plage tqdm.tqdm (plage (0, 30)) ne fonctionne pas avec le...
Serait-il possible de créer un pool python qui ne soit pas démoniaque? Je veux qu'un pool puisse appeler une fonction qui a un autre pool à l'intérieur. Je veux cela parce que les processus de démon ne peuvent pas créer de processus. Plus précisément, cela provoquera l'erreur: AssertionError:...
J'ai un script qui effectue avec succès un ensemble de tâches de pool multitraitement avec un imap_unordered()appel: p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion Cependant, mon num_tasksest d'environ 250000, et...
J'ai beaucoup de mal à comprendre comment la file d'attente multiprocesseur fonctionne sur python et comment l'implémenter. Disons que j'ai deux modules python qui accèdent aux données à partir d'un fichier partagé, appelons ces deux modules un écrivain et un lecteur. Mon plan est que le lecteur...
J'utilise 'multiprocess.Pool.imap_unordered' comme suit from multiprocessing import Pool pool = Pool() for mapped_result in pool.imap_unordered(mapping_func, args_iter): do some additional processing on mapped_result Dois-je appeler pool.closeou pool.joinaprès la boucle for?
La documentation du multiprocessingmodule montre comment transmettre une file d'attente à un processus démarré avec multiprocessing.Process. Mais comment puis-je partager une file d'attente avec des processus de travail asynchrones démarrés avec apply_async? Je n'ai pas besoin de jointure...
J'ai essayé de lire la documentation sur http://docs.python.org/dev/library/multiprocessing.html mais je suis toujours aux prises avec le multiprocessing Queue, Pool et Locking. Et pour l'instant, j'ai pu construire l'exemple ci-dessous. En ce qui concerne la file d'attente et le pool, je ne suis...
J'ai souvent besoin d'appliquer une fonction aux groupes d'un très grand DataFrame(de types de données mixtes) et je voudrais profiter de plusieurs cœurs. Je peux créer un itérateur à partir des groupes et utiliser le module multitraitement, mais ce n'est pas efficace car chaque groupe et les...
J'ai un SciPy Array (Matrix) de 60 Go que je dois partager entre plus de 5 multiprocessing Processobjets. J'ai vu numpy-sharedmem et lu cette discussion sur la liste SciPy. Il semble y avoir deux approches - numpy-sharedmemet utiliser a multiprocessing.RawArray()et mapper NumPy dtypes à ctypes....
J'ai essayé de réécrire du code de lecture csv pour pouvoir l'exécuter sur plusieurs cœurs en Python 3.2.2. J'ai essayé d'utiliser l' Poolobjet de multiprocessing, que j'ai adapté à partir d'exemples de travail (et déjà travaillé pour moi pour une autre partie de mon projet). J'ai rencontré un...