Paramètres vs variables latentes

13

J'ai déjà posé des questions à ce sujet et j'ai vraiment eu du mal à identifier ce qui fait un paramètre de modèle et ce qui en fait une variable latente. Donc, en regardant divers fils sur ce sujet sur ce site, la principale distinction semble être:

Les variables latentes ne sont pas observées mais ont une distribution de probabilité associée avec elles car ce sont des variables et des paramètres ne sont pas non plus observés et n'ont aucune distribution qui leur est associée, ce que je comprends car ce sont des constantes et ont une valeur fixe mais inconnue que nous essayons de trouver. De plus, nous pouvons placer des valeurs a priori sur les paramètres pour représenter notre incertitude sur ces paramètres même s'il n'y a qu'une seule vraie valeur qui leur est associée ou du moins c'est ce que nous supposons. J'espère avoir raison jusqu'à présent?

Maintenant, j'ai regardé cet exemple de régression linéaire pondérée bayésienne à partir d'un article de journal et j'ai vraiment eu du mal à comprendre ce qu'est un paramètre et ce qui est une variable:

yi=βTxi+ϵyi

Ici, et sont observés, mais seul est traité comme une variable, c'est-à-dire qu'une distribution lui est associée.y yxyy

Maintenant, les hypothèses de modélisation sont les suivantes:

yN(βTxi,σ2/wi)

Ainsi, la variance de est pondérée.y

Il existe également une distribution antérieure sur et , qui sont respectivement des distributions normales et gamma. wβw

Ainsi, la probabilité logarithmique complète est donnée par:

logp(y,w,β|x)=ΣlogP(yi|w,β,xi)+logP(β)+ΣlogP(wi)

Maintenant, si je comprends bien, et sont des paramètres de modèle. Cependant, dans l'article, ils continuent de les désigner comme des variables latentes. Mon raisonnement est et font tous deux partie de la distribution de probabilité pour la variable et ce sont des paramètres de modèle. Cependant, les auteurs les traitent comme des variables aléatoires latentes. Est-ce exact? Si oui, quels seraient les paramètres du modèle?βwβwy

Le document peut être trouvé ici ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

L'article est Détection automatique des valeurs aberrantes: une approche bayésienne par Ting et al.

Luca
la source
2
Il pourrait être utile d'énumérer une citation de l'article (et peut-être un lien). Une partie du problème réside dans le fait que ce sont exactement des différences b / t selon les perspectives fréquentistes et bayésiennes. Du point de vue bayésien, un paramètre n'ont une distribution - il est non seulement quelque chose à ajouter à représenter l' incertitude.
gung - Rétablir Monica
Je pensais que ce serait injuste car les gens penseraient que je m'attends à ce qu'ils lisent le document sans expliquer les choses, mais je l'ai dit maintenant.
Luca
Pourquoi ne pouvez-vous pas mettre un prior sur une variable latente? Je suis un novice bayésien, mais il semble que vous devriez pouvoir le faire.
robin.datadrivers
wβw
2
Merci, @Luca. Ce ne serait pas bien si vous demandiez aux gens de lire le journal, mais l'avoir là pour le contexte est bien. Je pense que vous avez bien fait cela.
gung - Rétablir Monica

Réponses:

6

yβ

En revanche, un paramètre est fixe, même si vous ne connaissez pas sa valeur. L'estimation du maximum de vraisemblance, par exemple, vous donne la valeur la plus probable de votre paramètre. Mais cela vous donne un point, pas une distribution complète, car les choses fixes n'ont pas de distributions! (Vous pouvez mettre une distribution sur la façon dont vous êtes sûr de cette valeur, ou dans quelle plage vous pensez que cette valeur est, mais ce n'est pas la même que la distribution de la valeur elle-même, qui n'existe que si la valeur est en fait un hasard variable)

yβwyβwy

βw

Dans cette phrase:

Ces équations de mise à jour doivent être exécutées de manière itérative jusqu'à ce que tous les paramètres et la probabilité de journal complète convergent vers des valeurs stables

en théorie, ils parlent des deux paramètres, pas de ceux qui sont des variables aléatoires, car en EM c'est ce que vous faites, en optimisant les paramètres.

alberto
la source
La question portait sur les variables latentes .
Tim
fixe, j'espère que c'est plus clair maintenant.
alberto