Les modèles d'apprentissage profond sont-ils paramétriques? Ou non paramétrique?

12

Je ne pense pas qu'il puisse y avoir une réponse à tous les modèles d'apprentissage en profondeur. Quels modèles d'apprentissage profond sont paramétriques et lesquels ne le sont pas et pourquoi?

Horloge esclave
la source
2
Posez-vous une question: le nombre de paramètres augmente-t-il lorsque vous traitez de nouveaux exemples de formation pendant la formation? Si tel est le cas, la méthode n'est pas paramétrique.
Vladislavs Dovgalecs
3
Étant donné votre première phrase, votre deuxième phrase ne serait-elle pas un meilleur titre?
Glen_b -Reinstate Monica
Pourriez-vous définir ce que vous entendez par paramétrique et non paramétrique? Ce n'est pas aussi clair que certains pourraient le supposer, voir ce wiki: en.wikipedia.org/wiki/Nonparametric_statistics pour un exemple de l'ambiguïté
Repmat

Réponses:

10

Les modèles d'apprentissage en profondeur sont généralement paramétriques - en fait, ils ont un grand nombre de paramètres, un pour chaque poids réglé pendant l'entraînement.

Comme le nombre de poids reste généralement constant, ils ont techniquement des degrés de liberté fixes. Cependant, comme il y a généralement tellement de paramètres, ils peuvent être considérés comme des émulations non paramétriques.

Les processus gaussiens (par exemple) utilisent chaque observation comme un nouveau poids et comme le nombre de points va à l'infini, le nombre de poids aussi (à ne pas confondre avec les hyper-paramètres).

Je dis généralement parce qu'il y a tellement de saveurs différentes pour chaque modèle. Par exemple, les médecins généralistes de bas rang ont un nombre limité de paramètres qui sont inférés par les données et je suis sûr que quelqu'un a fait un type de dnn non paramétrique dans un groupe de recherche!

j__
la source
la plupart des gens sont confus qu'en général, les NN sont des modèles non para car ils font une sélection de fonctionnalités à mesure que les points de données augmentent, hilarant !, alors la régression linéaire avec régularisation L1 est également non paramétrique, quelle catastrophe ..!. Merci, @j__ d'avoir répondu clairement. Jusqu'à présent, je n'ai trouvé aucune réponse claire et concise. Si vous voyez des liens Web / des documents de recherche sur ce sujet, veuillez les publier ici, ce serait bien d'en lire plus.
Anu
3

Un réseau neuronal profond standard (DNN) est, techniquement parlant, paramétrique car il a un nombre fixe de paramètres. Cependant, la plupart des DNN ont tellement de paramètres qu'ils pourraient être interprétés comme non paramétriques ; il a été prouvé que dans la limite de la largeur infinie, un réseau neuronal profond peut être considéré comme un processus gaussien (GP), qui est un modèle non paramétrique [Lee et al., 2018].

Néanmoins, interprétons strictement les DNN comme paramétriques pour le reste de cette réponse.

Voici quelques exemples de modèles d'apprentissage profond paramétriques :

  • Réseau autorégressif profond (DARN)
  • Réseau de croyance sigmoïde (SBN)
  • Réseau de neurones récurrents (RNN), Pixel CNN / RNN
  • Autoencodeur variationnel (VAE), autres modèles gaussiens latents profonds, par exemple DRAW

Voici quelques exemples de modèles d'apprentissage approfondi non paramétriques :

  • Processus gaussien profond (GPs)
  • GP récurrent
  • Espace d'état GP
  • Processus de Dirichlet hiérarchique
  • Processus de buffet indien en cascade

spectre de modèles variables latents

Image du tutoriel de Shakir Mohamed sur les modèles génératifs profonds .

Références:

Christabella Irwanto
la source
1

Deutsch et Journel (1997, pp. 16-17) ont émis des opinions sur le caractère trompeur du terme "non paramétrique". Ils ont suggéré que «le modèle« riche en paramètres »de la terminologie soit conservé pour les modèles basés sur des indicateurs au lieu du qualificatif traditionnel mais trompeur« non paramétrique ».»

«Riche en paramètres» peut être une description précise, mais «riche» a une charge émotionnelle qui donne une vision positive qui n'est pas toujours justifiée (!).

Certains professeurs peuvent encore persister et se réfèrent collectivement aux réseaux de neurones, aux forêts aléatoires, etc., tous étant "non paramétriques". L'augmentation de la nature de l' opacité et des réseaux de neurones par morceaux ( en particulier avec la propagation des fonctions d'activation Relu) les rend non parameteric- esque .

Andrew Silver
la source
0

Les modèles d'apprentissage profond ne doivent pas être considérés comme paramétriques. Les modèles paramétriques sont définis comme des modèles basés sur une hypothèse a priori sur les distributions qui génèrent les données. Les réseaux profonds ne font pas d'hypothèses sur le processus de génération de données, ils utilisent plutôt de grandes quantités de données pour apprendre une fonction qui mappe les entrées aux sorties. L'apprentissage en profondeur n'est pas paramétrique selon toute définition raisonnable.

Cybernétique
la source