Contexte:
J'essaie de suivre l'examen de Princeton de l'estimation MLE pour GLM .
Je comprends les bases de l' estimation MLE: likelihood
, score
, observée et attendue Fisher information
et la Fisher scoring
technique. Et je sais comment justifier une régression linéaire simple avec une estimation MLE .
La question:
Je ne comprends même pas la première ligne de cette méthode :(
Quelle est l'intuition derrière les variables de travail définies comme:
Pourquoi sont-ils utilisés au lieu de pour estimer ?
Et quelle est leur relation avec le response/link function
qui est le lien entre et
Si quelqu'un a une explication simple ou peut me diriger vers un texte plus basique à ce sujet, je lui en serais reconnaissant.
Réponses:
Il y a quelques années, j'ai écrit un article à ce sujet pour mes étudiants (en espagnol), afin que je puisse essayer de réécrire ces explications ici. Je vais regarder IRLS (moindres carrés itérativement repondérés) à travers une série d'exemples de complexité croissante. Pour le premier exemple, nous avons besoin du concept d'une famille à l'échelle de l'emplacement. Soit une fonction de densité centrée sur zéro dans un certain sens. On peut construire une famille de densités en définissant où est un paramètre d'échelle etf0
Nous allons maintenant utiliser IRLS sur quelques exemples simples. On trouvera d'abord les estimateurs ML (maximum de vraisemblance) dans le modèle avec la densité la distribution de Cauchy la famille d'emplacement (c'est donc une famille d'emplacement). Mais d'abord une notation. L'estimateur des moindres carrés pondérés de est donné par
Dans ce qui suit, nous donnons un exemple numérique en utilisant R, pour le modèle exponentiel double (avec une échelle connue) et avec des données
y <- c(-5,-1,0,1,5)
. Pour ces données, la vraie valeur de l'estimateur ML est 0. La valeur initiale seramu <- 0.5
. Un passage de l'algorithme estavec cette fonction, vous pouvez expérimenter avec faire les itérations "à la main" Ensuite, l'algorithme itératif peut être fait par
Pour le moment je vais le laisser ici, je vais continuer ce post.
la source