J'étudie actuellement la régression logistique. Mais je pas à calculer l'ordonnée à l'origine ( ) et le coefficient ( ). Je le cherchais sur Internet, mais je n'obtiens que des didacticiels utilisant Microsoft Excel ou des fonctions intégrées dans R. J'ai entendu dire qu'il pouvait être résolu par Maximum Lik vraisemblance, mais je ne comprends pas comment l'utiliser, car je ne 'ai pas un fond statistique. Quelqu'un peut-il me donner une brève explication et une simulation pour calculer les coefficients manuellement?
regression
machine-learning
logistic
maximum-likelihood
Kadek Dwi Budi Utama
la source
la source
Réponses:
Malheureusement, contrairement à la régression linéaire, il n'y a pas de formule simple pour l'estimation du maximum de vraisemblance de la régression logistique. Vous devrez effectuer une sorte d'algorithme d'optimisation, comme la descente de gradient ou les moindres carrés itérativement repondérés .
la source
Je voudrais proposer ma méthode et j'espère qu'elle vous aidera.
Pour calculer les coefficients manuellement, vous devez avoir certaines données, ou dire des contraintes. Dans la régression logistique, c'est en fait la façon dont la fonction logistique est définie via les multiplicateurs d'entropie et de décalage maximum, cette contrainte doit être rencontrée avec deux autres: . Autrement dit, l'attente du modèle devrait correspondre à l'attente observée , qui a été illustrée dans cet article . C'est pourquoi la fonction logit en tant que fonction de lien dans la régression logistique est également appelée fonction moyenne.Epfj=Ep^fj
Prenez par exemple, le tableau ci-dessous montre combien d'hommes / femmes sont dans la classe d'honneur.
Comme mentionné ci-dessus, est valable. Le côté gauche (LHS) est l'attente des observations (y dans l'échantillon) et le côté droit (RHS) est l'attente du modèle.∑iyixij=∑ipixij
En supposant que la fonction est ou de manière équivalente ( représente la caractéristique de l'observation étant une femelle, c'est 1 si l'observation est une femelle et 0 sinon), on sait évidemment que les deux équations suivantes sont valables respectivement lorsque et lorsque avec les données indiquées ci-dessus:log(p1−p)=β0+β1xi p=11+e−(β0+β1∗xi) xi X=1 X=0
L'ordonnée à l'origine ( ) est donc de -1,47 et le coefficient ( ) est de 0,593. Vous pouvez l'obtenir manuellement.β0 β1
Dans le même ordre d'idées, vous pouvez calculer manuellement les coefficients d'autres modèles de régression logistique (cela s'applique également à la régression softmax mais cela sort du cadre de cette question) si suffisamment de données sont fournies.
J'espère avoir raison, sinon faites-le moi savoir. Merci.
la source