J'utilise python sur ubuntu pour l'analyse de texte. Malgré la lourde quantité de travail que le programme fait, l'utilisation du processeur comme indiqué dans le moniteur système reste constamment à 12%.
J'ai changé la priorité du programme de Normalà Very Highmais cela n'a eu aucun effet.
Qu'est-ce qui limite la quantité d'utilisation du processeur que mon programme Python peut obtenir et comment puis-je changer cela, afin que le programme puisse utiliser plus de puissance CPU?
Je suppose que vous avez un processeur avec 8 cœurs virtuels (quad-core avec hyper-threading probablement)? Cela signifie qu'un thread CPU / noyau virtuel entièrement chargé équivaut à 12,5% de la charge totale.
L'interpréteur Python est une application qui ne s'exécute que comme un seul processus par défaut et n'est donc pas en mesure de tirer parti de plusieurs cœurs virtuels. Même si le code que vous exécutez avec lui utilise le multithreading, il n'utilisera toujours qu'un seul thread CPU / noyau virtuel, en raison du GIL (Global Interpreter Lock) .
Ce n'est que si votre programme Python utilise le multitraitement , qui démarre en fait plusieurs instances de l'interpréteur Python et leur permet d'effectuer vos tâches vraiment en parallèle, que vous pouvez tirer parti de plusieurs cœurs virtuels / threads CPU. (Comme @SargeBorsch l'a souligné dans son commentaire, il existe également des moyens avancés pour y parvenir sans multitraitement, mais ce n'est normalement pas quelque chose que vous écrivez rapidement vous-même.)
JythonouIronPython, qui n'ont pas de GIL.Une autre possibilité, moins probable dans ce cas, est que le programme est lié au disque, c'est-à-dire qu'il lit et écrit sur / depuis le disque, ce qui est lent, et que le CPU attend le disque.
la source
iotopde surveiller les programmes liés à iowait