J'ai déjà posé des questions à ce sujet et j'ai vraiment eu du mal à identifier ce qui fait un paramètre de modèle et ce qui en fait une variable latente. Donc, en regardant divers fils sur ce sujet sur ce site, la principale distinction semble être:
Les variables latentes ne sont pas observées mais ont une distribution de probabilité associée avec elles car ce sont des variables et des paramètres ne sont pas non plus observés et n'ont aucune distribution qui leur est associée, ce que je comprends car ce sont des constantes et ont une valeur fixe mais inconnue que nous essayons de trouver. De plus, nous pouvons placer des valeurs a priori sur les paramètres pour représenter notre incertitude sur ces paramètres même s'il n'y a qu'une seule vraie valeur qui leur est associée ou du moins c'est ce que nous supposons. J'espère avoir raison jusqu'à présent?
Maintenant, j'ai regardé cet exemple de régression linéaire pondérée bayésienne à partir d'un article de journal et j'ai vraiment eu du mal à comprendre ce qu'est un paramètre et ce qui est une variable:
Ici, et sont observés, mais seul est traité comme une variable, c'est-à-dire qu'une distribution lui est associée.y y
Maintenant, les hypothèses de modélisation sont les suivantes:
Ainsi, la variance de est pondérée.
Il existe également une distribution antérieure sur et , qui sont respectivement des distributions normales et gamma. w
Ainsi, la probabilité logarithmique complète est donnée par:
Maintenant, si je comprends bien, et sont des paramètres de modèle. Cependant, dans l'article, ils continuent de les désigner comme des variables latentes. Mon raisonnement est et font tous deux partie de la distribution de probabilité pour la variable et ce sont des paramètres de modèle. Cependant, les auteurs les traitent comme des variables aléatoires latentes. Est-ce exact? Si oui, quels seraient les paramètres du modèle?
Le document peut être trouvé ici ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).
L'article est Détection automatique des valeurs aberrantes: une approche bayésienne par Ting et al.
Réponses:
En revanche, un paramètre est fixe, même si vous ne connaissez pas sa valeur. L'estimation du maximum de vraisemblance, par exemple, vous donne la valeur la plus probable de votre paramètre. Mais cela vous donne un point, pas une distribution complète, car les choses fixes n'ont pas de distributions! (Vous pouvez mettre une distribution sur la façon dont vous êtes sûr de cette valeur, ou dans quelle plage vous pensez que cette valeur est, mais ce n'est pas la même que la distribution de la valeur elle-même, qui n'existe que si la valeur est en fait un hasard variable)
Dans cette phrase:
en théorie, ils parlent des deux paramètres, pas de ceux qui sont des variables aléatoires, car en EM c'est ce que vous faites, en optimisant les paramètres.
la source