Comment et pourquoi les MLP pour la classification différeraient-ils des MLP pour la régression? Différentes fonctions de rétropropagation et de transfert?

J'utilise deux perceptrons multicouches à action directe (MLP). Avec les mêmes données d'entrée (14 neurones d'entrée), je fais une classification (vrai / faux) et une régression (si vrai, "combien") ¹. Jusqu'à présent, je l' ai utilisé paresseusement Matlabs patternnet et FITNET , respectivement. Paresseusement, parce que je n'ai pas pris le temps de vraiment comprendre ce qui se passe - et je devrais. De plus, j'ai besoin de faire la transition vers une bibliothèque OSS (probablement FANN), qui nécessitera probablement plus de configuration manuelle que Matlab NN Toolbox. Par conséquent, j'essaie de comprendre plus précisément ce qui se passe.

Les réseaux créés par patternnetet fitnetsont presque identiques: 14 neurones d'entrée, 11 neurones cachés, 1 neurone cible (2 pour le fitnet, mais seulement 1 élément d'information). Mais, ils ne sont pas complètement identiques. Les différences par défaut sont:

• Matlab utilise une rétropropagation à gradient conjugué à l'échelle pour le réseau de classification ( patternnet) et une rétropropagation de Levenberg-Marquardt pour le réseau de régression ( fitnet).
• Le réseau de classification utilise une fonction de transfert sigmoïde tangent hyperbolique entre la couche d'entrée et la couche cachée, et entre la couche cachée et la couche de sortie. Le réseau de régression ( fitnet) utilise la fonction de transfert sigmoïde tangent hyperbolique entre la couche d'entrée et la couche cachée, et une fonction de transfert purement linéaire entre la couche cachée et la couche de sortie.

Ces différences devraient-elles être?

Quel type de fonctions de rétropropagation sont optimales pour la classification, et quel type pour la régression, et pourquoi?

Quel type de fonctions de transfert sont optimales pour la classification, et quel type pour la régression, et pourquoi?

¹ ^{La classification est pour "nuageux" ou "sans nuage" (2 cibles complémentaires), la régression est pour quantifier "la quantité de nuage" (1 cible).}

La principale différence réside dans le critère de formation. Un critère d'apprentissage des moindres carrés est souvent utilisé pour la régression car cela donne une estimation (pénalisée) du maximum de vraisemblance des paramètres du modèle en supposant que le bruit gaussien altère la variable de réponse (cible). Pour les problèmes de classification, il est courant d'utiliser un critère d'apprentissage à entropie croisée, pour donner une estimation du maximum de vraisemblance en supposant une perte de Bernoilli ou multinomiale. Dans les deux cas, les sorties du modèle peuvent être interprétées comme une estimation de la probabilité d'appartenance à une classe, mais il est courant d'utiliser des fonctions d'activation logistique ou softmax dans la couche de sortie, de sorte que les sorties sont contraintes de se situer entre 0 et 1 et de résumer à 1. Si vous utilisez la fonction tanh, vous pouvez simplement les remapper sur les probabilités en ajoutant une et en divisant par deux (mais c'est la même chose autrement).

La différence entre les gradients conjugués à l'échelle et Levenberg-Marquardt est susceptible d'être assez mineure en termes de performances de généralisation.

Je recommanderais fortement la boîte à outils NETLAB pour MATLAB sur la propre boîte à outils du réseau neuronal MATLAB. C'est probablement une bonne idée d'enquêter sur la régularisation bayésienne pour éviter un ajustement excessif (le livre de Chris Bishop vaut la peine d'être lu et la majeure partie est couverte dans la boîte à outils NETLAB).