RuntimeError sur Windows essayant le multitraitement Python

J'essaye mon tout premier programme formel python utilisant Threading et Multiprocessing sur une machine Windows. Cependant, je ne peux pas lancer les processus, avec python donnant le message suivant. Le fait est que je ne lance pas mes threads dans le module principal . Les threads sont gérés dans un module séparé à l'intérieur d'une classe.

EDIT : Au fait, ce code fonctionne bien sur ubuntu. Pas tout à fait sous Windows

RuntimeError: 
            Attempt to start a new process before the current process
            has finished its bootstrapping phase.
            This probably means that you are on Windows and you have
            forgotten to use the proper idiom in the main module:
                if __name__ == '__main__':
                    freeze_support()
                    ...
            The "freeze_support()" line can be omitted if the program
            is not going to be frozen to produce a Windows executable.

Mon code d'origine est assez long, mais j'ai pu reproduire l'erreur dans une version abrégée du code. Il est divisé en deux fichiers, le premier est le module principal et fait très peu autre chose que d'importer le module qui gère les processus / threads et appelle une méthode. Le deuxième module est l'endroit où se trouve la viande du code.

testMain.py:

import parallelTestModule

extractor = parallelTestModule.ParallelExtractor()
extractor.runInParallel(numProcesses=2, numThreads=4)

parallelTestModule.py:

import multiprocessing
from multiprocessing import Process
import threading

class ThreadRunner(threading.Thread):
    """ This class represents a single instance of a running thread"""
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name
    def run(self):
        print self.name,'\n'

class ProcessRunner:
    """ This class represents a single instance of a running process """
    def runp(self, pid, numThreads):
        mythreads = []
        for tid in range(numThreads):
            name = "Proc-"+str(pid)+"-Thread-"+str(tid)
            th = ThreadRunner(name)
            mythreads.append(th) 
        for i in mythreads:
            i.start()
        for i in mythreads:
            i.join()

class ParallelExtractor:    
    def runInParallel(self, numProcesses, numThreads):
        myprocs = []
        prunner = ProcessRunner()
        for pid in range(numProcesses):
            pr = Process(target=prunner.runp, args=(pid, numThreads)) 
            myprocs.append(pr) 
#        if __name__ == 'parallelTestModule':    #This didnt work
#        if __name__ == '__main__':              #This obviously doesnt work
#        multiprocessing.freeze_support()        #added after seeing error to no avail
        for i in myprocs:
            i.start()

        for i in myprocs:
            i.join()

Sous Windows, les sous-processus importent (c'est-à-dire exécutent) le module principal au démarrage. Vous devez insérer une if __name__ == '__main__':garde dans le module principal pour éviter de créer des sous-processus de manière récursive.

Modifié testMain.py:

import parallelTestModule

if __name__ == '__main__':    
    extractor = parallelTestModule.ParallelExtractor()
    extractor.runInParallel(numProcesses=2, numThreads=4)

Essayez de mettre votre code dans une fonction principale dans testMain.py

import parallelTestModule

if __name__ ==  '__main__':
  extractor = parallelTestModule.ParallelExtractor()
  extractor.runInParallel(numProcesses=2, numThreads=4)

Voir la documentation :

"For an explanation of why (on Windows) the if __name__ == '__main__' 
part is necessary, see Programming guidelines."

qui disent

"Assurez-vous que le module principal peut être importé en toute sécurité par un nouvel interpréteur Python sans provoquer d'effets secondaires involontaires (comme le démarrage d'un nouveau processus)."

... en utilisant if __name__ == '__main__'

Bien que les réponses précédentes soient correctes, il y a une petite complication sur laquelle il serait utile de faire remarquer.

Dans le cas où votre module principal importe un autre module dans lequel des variables globales ou des variables de membre de classe sont définies et initialisées (ou en utilisant) certains nouveaux objets, vous devrez peut-être conditionner l'importation de la même manière:

if __name__ ==  '__main__':
  import my_module

Comme @Ofer l'a dit, lorsque vous utilisez d'autres bibliothèques ou modules, vous devez tous les importer dans le if __name__ == '__main__':

Donc, dans mon cas, s'est terminé comme ceci:

if __name__ == '__main__':       
    import librosa
    import os
    import pandas as pd
    run_my_program()

Dans mon cas, c'était un simple bogue dans le code, utilisant une variable avant sa création. Cela vaut la peine de vérifier cela avant d'essayer les solutions ci-dessus. Pourquoi j'ai reçu ce message d'erreur particulier, Seigneur le sait.