Analyse discriminante linéaire pour

J'étudie «Introduction à l'apprentissage statistique» par James, Witten, Hastie, Tibshirani.

À la page 139 de leur livre, ils ont commencé par présenter le théorème de Bayes . n'est pas une constante mathématique, mais indique la probabilité antérieure. Rien n'est étrange dans cette équation. $p_k(X)=P(Y=k|X=x) = \dfrac{\pi_kf_k(x)}{\sum_{l=1}^k \pi_l f_l(x)}$ $\pi$

Le livre prétend qu'il veut obtenir une estimation de qu'il puisse brancher dans l'équation donnée ci-dessus. Pour estimer , il suppose que c'est normal. Dans le cadre unidimensionnel, , où et sont la moyenne et la variance pour la ème classe. On suppose que . (J'ai commencé à me perdre dans la dernière déclaration.) $f_k(x)$ $f_k(x)$ $f_k(x)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\dfrac{1}{2\sigma^2}(x-\mu_k)^2)$ $\mu_k$ $\sigma^2_k$ $k$ $\sigma^2_1 = \sigma^2_2 = \cdots = \sigma^2_K$

En $f_k$ dans $p_x$ , vous avez cette équation assez compliquée (1):

p_{X} (k) = \frac{π_{k} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} (X - μ_{k})^{2})}{\sum_{l = 1}^{K} π_{l} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} (X - μ_{l})^{2})} .

$p_x(k)=\dfrac{\pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_k)^2)}{\sum_{l=1}^K \pi_l \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_l)^2)}.$

Encore une fois, pas de surprise ici car il ne s'agit que de substitution.

Le classificateur de Bayes consiste à attribuer une observation à la classe pour laquelle l'équation (1) est la plus grande. En prenant le log de l'équation (1) et en réarrangeant les termes, il n'est pas difficile de montrer que cela équivaut à attribuer l'observation à la classe pour laquelle ce qui suit est le plus grand:

δ_{k} (X) = X \cdot \frac{μ_{k}}{σ^{2}} - \frac{μ_{k}^{2}}{2 σ^{2}} + Journal (π_{k})

$\delta_k(x)=x \cdot \dfrac{\mu_k}{\sigma^2} - \dfrac{\mu_k^2}{2\sigma^2} + \log(\pi_k)$

Question: Je ne comprends pas d'où cela vient et ce que cela signifie. J'ai essayé de faire le log de l'équation et ça ne devient pas ça. Prenons-nous la dérivée quelque part ici, puisque c'est la plus grande observation?

self-study classification cgo
la source

Réponses:

Vous pouvez exprimer l'équation (1) jusqu'à une constante de proportionnalité,

p_{X} (k) \propto π_{k} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} {(X - μ_{k})}^{2})

$p_x(k)\propto \pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp \left(-\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2 \right)$

donc si vous prenez ensuite des journaux

Journal p_{X} (k) \propto Journal π_{k} - Journal (\sqrt{2 π} σ) - \frac{1}{2 σ^{2}} {(X - μ_{k})}^{2}

$\log p_x(k) \propto \log \pi_k - \log (\sqrt{2\pi} \sigma) -\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2$

où va à nouveau dans la constante de proportionnalité car elle ne dépend pas de . Développez ensuite le terme au carré et vous y êtes (notez que l'extension du crochet donnera un autre terme qui disparaîtra dans ). $- \log (\sqrt{2\pi} \sigma)$ $k$ $\propto$

Andy
la source

J'ai ri en lisant ta réponse. C'est aussi simple que ça?! Brillant! Puis-je savoir ce que signifie la quantité (en termes simples)? Mon expérience en statistiques est médiocre, mais je suis capable de suivre les mathématiques.

δ_{k} (x)

$\delta_k(x)$

cgo

Oui, c'est tout ce qu'il y a à faire. est appelée la fonction discriminante linéaire. C'est juste une façon différente d'écrire la probabilité postérieure qu'une observation appartient à la classe étant donné sa caractéristique . Donc, choisir la classe avec la probabilité postérieure la plus élevée de la règle de Bayes revient à choisir la classe avec la valeur la plus élevée pour la LDA. Vous pouvez définir pour calculer la limite de décision bayésienne (qui donne un seuil pour quand une observation doit être classée comme ou ).

δ_{k} (x)

$\delta_k (x)$

k

$k$

x

$x$

δ_{k} (x) = δ_{l} (x)

$\delta_k(x) = \delta_l(x)$

k

$k$

l

$l$

Andy