La vraisemblance logarithmique dans GLM a-t-elle garanti la convergence vers les maxima mondiaux?

Mes questions sont:

Les modèles linéaires généralisés (GLM) convergent-ils vers un maximum global? Si oui, pourquoi?
De plus, quelles contraintes y a-t-il sur la fonction de liaison pour assurer la convexité?

Ma compréhension des GLM est qu'ils maximisent une fonction de vraisemblance hautement non linéaire. Ainsi, j'imagine qu'il existe plusieurs maxima locaux et l'ensemble de paramètres vers lequel vous convergez dépend des conditions initiales de l'algorithme d'optimisation. Cependant, après avoir fait quelques recherches, je n'ai trouvé aucune source unique qui indique qu'il existe plusieurs maxima locaux. De plus, je ne connais pas très bien les techniques d'optimisation, mais je sais que la méthode de Newton-Raphson et l'algorithme IRLS sont très sujets aux maxima locaux.

Veuillez expliquer si possible à la fois sur une base intuitive et mathématique!

EDIT: dksahuji a répondu à ma question d'origine, mais je veux ajouter la question de suivi [ 2 ] ci-dessus. ("Quelles sont les contraintes sur la fonction de liaison pour assurer la convexité?")

generalized-linear-model optimization convergence exponential-family DankMasterDan
la source

Je pense que certaines restrictions doivent être exigées avant qu'il en soit ainsi. Quelle est la source de la déclaration?

Glen_b -Reinstate Monica

Plusieurs sites semblaient l'impliquer, mais je n'ai rien trouvé qui le mentionnait carrément, donc je salue également sa dépréciation!

DankMasterDan

tant que la probabilité est bien définie partout sur le domaine (et en ignorant certaines questions numériques tangentielles), je pense que oui. Dans ces conditions, la toile de jute est <0 partout sur le domaine donc la similitude est globalement concave. En fait, les fonctions ne sont pas «hautement non linéaires» dans les paramètres et c'est ce qui compte.

user603

@ user603 quelle est votre source / preuve que la toile de jute est <0 partout?

DankMasterDan

Les régressions logistiques, de Poisson et gaussiennes sont souvent convexes étant donné une "bonne" fonction de liaison. Cependant, avec la fonction de lien arbitraire, ils ne sont pas convexes.

Memming

Réponses:

La définition de la famille exponentielle est:

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

où est la fonction de partition de journal. Maintenant, on peut prouver que les trois choses suivantes s'appliquent au cas 1D (et qu'elles se généralisent à des dimensions plus élevées - vous pouvez examiner les propriétés des familles exponentielles ou la partition de journal): $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

Le résultat ci-dessus prouve que est convexe (car est semi-défini positif). Maintenant, nous examinons la fonction de vraisemblance pour MLE: $A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

Maintenant est linéaire en thêta et est concave. Par conséquent, il existe un maximum global unique. $\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

Il existe une version généralisée appelée famille exponentielle courbe qui serait également similaire. Mais la plupart des preuves sont sous forme canonique.

dksahuji
la source

cela signifie-t-il donc que GLM a un nomatter minima global unique dont la fonction de liaison est choisie (y compris les fonctions non canoniques)?

DankMasterDan

J'essaierai de répondre pour autant que je le pense.

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$ c'est le cas dont vous parlez. C'est encore concave dans

η

$\eta$ mais peut ne pas être

θ

$\theta$ donc

η

$\eta$ devrait être tel que toute la probabilité de journal est concave dans

θ

$\theta$ .

dksahuji

Notez que la question porte sur la convergence, plutôt que sur l'existence, mais avec quelques restrictions, cela aussi peut être faisable.

Glen_b -Reinstate Monica

@Glen_b Pouvez-vous élaborer? Je ne connais pas de telles restrictions. Peut-être quelque chose comme des restrictions sur la taille des pas dans un optimiseur basé sur un gradient vers la convergence de la garantie en cas de fonction concave.

dksahuji

@Glen_b Cela pourrait être vrai en général, mais je ne vois aucune raison pour que la fonction concave ne converge pas vers les optima dans une petite valeur tolérable. Mais je dirais que je n'ai aucune expérience pratique avec ceux-ci et je viens de commencer. :)

dksahuji