Quelle est exactement la différence entre un modèle paramétrique et non paramétrique?

14

Je suis confus avec la définition du modèle non paramétrique après avoir lu ce lien Modèles paramétriques vs modèles non paramétriques et répondre aux commentaires de ma autre question .

À l'origine, je pensais que "paramétrique vs non paramétrique" signifie si nous avons des hypothèses de distribution sur le modèle (similaire aux tests d'hypothèses paramétriques ou non paramétriques). Mais les deux ressources prétendent que "paramétrique vs non paramétrique" peut être déterminée par si le nombre de paramètres dans le modèle dépend du nombre de lignes dans la matrice de données.

Pour l'estimation de la densité du noyau (non paramétrique), une telle définition peut être appliquée. Mais selon cette définition, comment un réseau neuronal peut-il être un modèle non paramétrique, car le nombre de paramètres dans le modèle dépend de la structure du réseau neuronal et non du nombre de lignes dans la matrice de données?

Quelle est exactement la différence entre un modèle paramétrique et un modèle non paramétrique?

Haitao Du
la source
3
Notez que «non paramétrique» par rapport aux modèles distributionnels (comme dans votre référence aux tests d'hypothèse) se rapporte au nombre de paramètres utilisés pour définir la distribution («paramétrique» = défini par un nombre fixe de paramètres; les méthodes non paramétriques n'ont pas de distribution avec un nombre fixe de paramètres - ils ont tendance à avoir des hypothèses plus douces, comme la continuité ou la symétrie)
Glen_b -Reinstate Monica
Mon avis: respectez votre définition. C'est une définition systématique, comme devraient l'être les définitions. L'autre est fragile: vous devez d'abord définir le "nombre de paramètres effectifs" d'un algorithme. Mais j'ai toujours vu cette quantité définie au cas par cas (c'est-à-dire que vous avez une définition pour une régression linéaire, une pour le plus proche voisin, une pour les réseaux de neurones ..). Donc, à moins que quelqu'un ne puisse offrir une définition générale et systématique du nombre effectif de paramètres, je ne peux pas vraiment prendre cette définition au sérieux.
Adrien
1
Vous trouverez ci-dessous le lien qui présente une bonne explication des algorithmes d'apprentissage machine paramétriques et des algorithmes d'apprentissage machine non paramétriques. machinelearningmastery.com/…
Satya

Réponses:

16

Dans un modèle paramétrique, le nombre de paramètres est fixe par rapport à la taille de l'échantillon. Dans un modèle non paramétrique, le nombre (effectif) de paramètres peut augmenter avec la taille de l'échantillon.

Dans une régression OLS, le nombre de paramètres sera toujours la longueur de β, plus un pour la variance.

Un réseau neuronal à architecture fixe et sans décroissance de poids serait un modèle paramétrique.

Mais si vous avez une décroissance de poids, la valeur du paramètre de décroissance sélectionné par validation croisée deviendra généralement plus petite avec plus de données. Cela peut être interprété comme une augmentation du nombre effectif de paramètres avec l'augmentation de la taille de l'échantillon.

utilisateur_générique
la source
1
Certes, bien que le paramètre de décroissance du poids soit toujours un paramètre supplémentaire unique et ne change pas (sauf erreur) la structure du réseau. Comment peut-il être interprété comme une augmentation du nombre de paramètres à mesure que la taille de l'échantillon augmente?
Morgan Ball
2
La perte de poids est un hyperparamètre. Pour en savoir plus sur les degrés de liberté effectifs dans la régularisation: statweb.stanford.edu/~tibs/sta305files/Rudyregularization.pdf. Bien que les réseaux de neurones ne soient pas linéaires, la décroissance de poids remplit la même fonction qu'une pénalité quadratique dans ces modèles.
generic_user
Je suis (bien sûr) d'accord avec l'intuition des paramètres efficaces, mais je ne suis pas d'accord avec l'utilisation de cette notion pour définir paramétrique / non paramétrique, voir mon commentaire à la question.
Adrien
Ouais je vois ton point. Mais je suppose que des gens raisonnables peuvent être en désaccord sur la question de savoir si la fragilité d'une définition en fait une définition inutile, ceteris paribus.
generic_user
1
J'ai déjà vu cette explication et je ne l'aimais pas. De cette façon, je peux appeler un moindre carré ordinaire avec retrait une méthode non paramétrique, car les paramètres «effectifs» peuvent être inférieurs aux coefficients. Je pense que ce n'est pas une catégorisation utile car elle brouille la ligne entre les méthodes vraiment non paramétriques
Aksakal
1

Je pense que si le modèle est défini comme un ensemble d'équations (peut être un système d'équations simultanées ou une seule), et que nous apprenons ses paramètres, alors il est paramétrique. Cela inclut les équations différentielles, et même l'équation de Navier-Stokes. Les modèles définis de manière descriptive, quelle que soit la manière dont ils sont résolus, entrent dans la catégorie des paramètres non paramétriques. Ainsi, l'OLS serait paramétrique, et même la régression quantile, bien qu'appartenant au domaine des statistiques non paramétriques, est un modèle paramétrique.

D'un autre côté, lorsque nous utilisons la SEM (modélisation d'équations structurelles) pour identifier le modèle, ce serait un modèle non paramétrique - jusqu'à ce que nous ayons résolu la SEM. L'ACP serait paramétrique, car les équations sont bien définies, mais l'ACC peut être non paramétrique, car nous recherchons des corrélations entre toutes les variables, et s'il s'agit de corrélations de Spearman, nous avons un modèle non paramétrique. Avec les corrélations de Pearson, nous supposons un modèle paramétrique (linéaire). Je pense que les algorithmes de clustering seraient non paramétriques, à moins que nous ne recherchions des clusters de certaines formes.

Et puis nous avons la régression non paramétrique, qui est non paramétrique, et la régression LOESS, qui est paramétrique, mais sert le même but: nous définissons l'équation et la fenêtre.

AlexG
la source
3
Vos descriptions sont plutôt vagues et semblent en contradiction avec la signification statistique standard de "paramétrique" et "non paramétrique". En particulier, vous avez adopté une position inhabituelle concernant certaines techniques particulières, telles que LOESS, qui est généralement considérée comme non paramétrique: voir en.wikipedia.org/wiki/Local_regression par exemple.
whuber
@whuber merci pour le lien! Vous avez raison: LOESS est considéré comme non paramétrique. Ce qui est plutôt contre-intuitif pour moi. Qu'en est-il du lissage exponentiel? Est-ce non paramétrique parce que le poids de chaque point est différent? Ou est-ce paramétrique parce que l'alpha est le même pour toute la série chronologique?
AlexG
Les paramètres dans les situations paramétriques ne comptent pas nécessairement un tas de nombres. Ils se réfèrent à la façon de décrire une famille de modèles statistiques. Par exemple, lorsqu'une procédure ajuste une seule valeur aux données (peut-être par validation croisée, peut-être par d'autres moyens) mais suppose seulement que les données sont un échantillon aléatoire de n'importe quelle distribution, cette procédure n'est pas paramétrique.
whuber
0

Le modèle paramétrique peut être sorti en utilisant une équation, comme le modèle de régression logistique, logos(g)=jent+uneX1+bX2+.... Le modèle non paramétrique sont des algorithmes de boîte noire comme la forêt aléatoire, l'arbre de décision. Aucune équation ne peut décrire la relation des attributs derrière le modèle.

Cali
la source
1
Je peux également écrire des équations pour les méthodes d'estimation du noyau, qui ne sont pas paramétriques.
HelloWorld
1
faux - vous pouvez écrire des équations explicites et simples pour la moyenne prédictive et la variance prédictive des processus gaussiens, qui sont l'une des méthodes de régression non paramétrique les plus courantes, et pour de nombreuses autres méthodes de régression non paramétrique.
DeltaIV