J'ai du mal à comprendre la dérivation de l'erreur de prédiction attendue ci-dessous (ESL), en particulier sur la dérivation de 2.11 et 2.12 (conditionnement, le pas vers le minimum point par point). Tous les pointeurs ou liens très appréciés.
Ci-dessous, je rapporte l'extrait de ESL pg. 18. Les deux premières équations sont, dans l'ordre, les équations 2.11 et 2.12.
Soit un vecteur d'entrée aléatoire de valeur réelle et une variable de sortie aléatoire de valeur réelle, avec une distribution conjointe . Nous cherchons une fonction pour la prédiction valeurs données de l'entrée . Cette théorie nécessite une fonction de perte pour pénaliser les erreurs de prédiction, et de loin la plus courante et la plus commode est la perte d'erreur au carré : . Cela nous amène à un critère pour choisir ,L ( Y , f ( X ) )
l'erreur de prédiction attendue (au carré). En conditionnant sur , nous pouvons écrire EPE comme
et on voit qu'il suffit de minimiser point par point l'EPE:
La solution est
l'espérance conditionnelle, également connue sous le nom de fonction de régression .
la source
Réponses:
la source
L'équation (2.11) est une conséquence de la petite égalité suivante. Pour deux variables aléatoires quelconques et Z 2 et toute fonction gZ1 Z2 g
La notation est l'espérance sur la distribution conjointe . La notation E Z 1 ∣ Z 2 dit essentiellement "intégrer sur la distribution conditionnelle de Z 1 comme si Z 2 était fixe".EZ1, Z2 EZ1∣ Z2 Z1 Z2
Il est facile de vérifier cela dans le cas où et Z 2 sont des variables aléatoires discrètes en déroulant simplement les définitions impliquéesZ1 Z2
Le cas continu peut être considéré de manière informelle comme une limite de cet argument, ou vérifié formellement une fois que tous les papas théoriques de mesure sont en place.
L'assertion (2.12) nous demande d'envisager de minimiser
la source
Je trouve certaines parties de ce livre exprimées d'une manière difficile à comprendre, surtout pour ceux qui n'ont pas une solide formation en statistique.
Je vais essayer de faire simple et j'espère que vous pourrez vous débarrasser de la confusion.
En prenant des attentes des deux côtés de l'équation ci-dessus, on obtient la revendication 2 (QED)
la source