Jeffrey Wooldridge, dans son analyse économétrique des données de sections et de panels (page 357), dit que la Hesse empirique "n'est pas garantie d'être définie positive, ou même semi-définie positive, pour l'échantillon particulier avec lequel nous travaillons.".
Cela me semble faux car (à part les problèmes numériques), la Hesse doit être semi-définie positive en raison de la définition de l'estimateur M comme valeur du paramètre qui minimise la fonction objective pour l'échantillon donné et du fait bien connu que au minimum (local), la Hesse est semi-définie positive.
Mon argument est-il juste?
[EDIT: La déclaration a été supprimée dans la 2e éd. du livre. Voir commentaire.]
CONTEXTE Supposons que est un estimateur obtenu en minimisant où désigne la ème observation.
Notons la Hesse de par ,
La covariance asymptotique de implique où est la vraie valeur du paramètre. Une façon de l’estimer consiste à utiliser la Hesse empirique
C'est le caractère définitif de qui est en cause.
la source
Réponses:
Je pense que tu as raison. Distillons votre argumentation à son essence:
QQ(θ)=1θˆN minimise la fonction définie commeQ Q(θ)=1N∑Ni=1q(wi,θ).
Soit la Hesse de , d'où par définition et ceci à son tour, par linéarité de différenciation, est égal à .Q H ( θ ) = ∂ 2 QH Q 1H(θ)=∂2Q∂θi∂θj 1N∑Ni=1H(wi,θn)
En supposant que se trouve à l'intérieur du domaine de , alors doit être semi-défini positif.QH( θ N)θˆN Q H(θˆN)
Ceci est simplement une déclaration sur la fonction : comment il est défini est simplement une distraction, sauf dans la mesure où le supposé second ordre différentiabilité de par rapport à son second argument ( ) assure second ordre différentiabilité de .q θ QQ q θ Q
Trouver des estimateurs M peut être délicat. Considérez ces données fournies par @mpiktas:
La procédure R pour trouver l'estimateur M avec produit la solution = . La valeur de la fonction objectif (la moyenne des ) à ce point est égale à 62,3542. Voici un tracé de l'ajustement: ( c 1 , c 2 ) ( - 114,91316 , - 32,54386 ) qq((x,y),θ)=(y−c1xc2)4 (c1,c2) (−114.91316,−32.54386) q
Voici un tracé de la fonction objectif (log) dans un voisinage de cet ajustement:
Quelque chose est louche ici: les paramètres de l'ajustement sont extrêmement éloignés des paramètres utilisés pour simuler les données (près de ) et nous ne semblons pas être au minimum: nous sommes dans une vallée extrêmement peu profonde qui est en pente vers des valeurs plus élevées des deux paramètres:(0.3,0.2)
Le déterminant négatif de la Hesse à ce stade confirme que ce n'est pas un minimum local! Néanmoins, lorsque vous examinez les étiquettes de l'axe z, vous pouvez voir que cette fonction est plate à une précision à cinq chiffres dans toute la région, car elle est égale à une constante 4,1232 (le logarithme de 62,354). Cela a probablement conduit le minimiseur de la fonction R (avec ses tolérances par défaut) à conclure qu'il était proche d'un minimum.
En fait, la solution est loin de ce point. Pour être sûr de le trouver, j'ai utilisé la méthode " Axe principal ", coûteuse en calcul mais très efficace, dans Mathematica , en utilisant une précision à 50 chiffres (base 10) pour éviter d'éventuels problèmes numériques. Il trouve un minimum près de où la fonction objectif a la valeur 58,292655: environ 6% plus petit que le "minimum" trouvé par R. Ce minimum se produit dans une section extrêmement plate, mais Je peux le faire ressembler (à peine) à un vrai minimum, avec des contours elliptiques, en exagérant la direction dans l'intrigue:(c1,c2)=(0.02506,7.55973) c2
Les contours vont de 58,29266 au milieu jusqu'à 58,29284 dans les coins (!). Voici la vue 3D (encore une fois de l'objectif du journal):
Ici, la Hesse est définie positivement: ses valeurs propres sont 55062.02 et 0.430978. Ainsi , ce point est un minimum local (et probablement un minimum global). Voici l'ajustement auquel il correspond:
Je pense que c'est mieux que l'autre. Les valeurs des paramètres sont certainement plus réalistes et il est clair que nous ne pourrons pas faire beaucoup mieux avec cette famille de courbes.
Il y a des leçons utiles que nous pouvons tirer de cet exemple:
la source
La citation complète peut être trouvée ici . L'estimation θ N est la solution du problème de minimisation ( page 344 ):θ^N
Si la solution θ N est le point intérieur de Θ , la fonction objective est deux fois dérivable et le gradient de la fonction objectif est nul, alors Hessien de la fonction objective (qui est H ) est semi-définie positive.θ^N Θ H^
Maintenant ce que Wooldridge dit que pour un échantillon donné, la Hesse empirique n'est pas garantie d'être positive définie ou même semi-définie positive. Cela est vrai, puisque Wooldridge n'exige pas que la fonction objective ait de belles propriétés, il exige qu'il existe une solution unique θ 0 pourN−1∑Ni=1q(wi,θ) θ0
Plus loin dans son livre, Wooldridge donne des exemples d'estimations de la Hesse qui sont assurément définies numériquement positives. En pratique, le caractère définitif non positif de la Hesse devrait indiquer que la solution se trouve soit au point limite, soit que l'algorithme n'a pas réussi à trouver la solution. Ce qui est généralement une indication supplémentaire que le modèle ajusté peut être inapproprié pour des données données.
Voici l'exemple numérique. Je génère un problème de moindres carrés non linéaires:
set.seed(3)
J'ai choisi la fonction objectif carré de la fonction objective des moindres carrés non linéaires habituelle:
Voici le code en R pour optimiser la fonction, son gradient et sa toile de jute.
Testez d'abord que le gradient et la toile de jute fonctionnent comme annoncé.
Le gradient est nul, mais la toile de jute n'est pas positive.
Remarque: Il s'agit de ma troisième tentative de réponse. J'espère que j'ai finalement réussi à donner des énoncés mathématiques précis, qui m'ont échappé dans les versions précédentes.
la source
La toile de jute est indéfinie à un point de selle. Il est possible que ce soit le seul point stationnaire à l'intérieur de l'espace des paramètres.
Mise à jour: laissez-moi développer. Supposons d'abord que la Hesse empirique existe partout.
Pratiquement parlant, même une Hesse définie positive qui est presque singulière ou mal conditionnée suggérerait que l'estimateur est mauvais et que vous avez plus à vous soucier que d'estimer sa variance.
la source
Il y a eu beaucoup de tournées autour du pot dans ce fil pour savoir si la Hesse doit être positive (semi) définie au minimum local. Je ferai donc une déclaration claire à ce sujet.
Ainsi, la toile de jute de la fonction objectif dans un problème contraint ayant une ou des contraintes actives n'a pas besoin d'être semi-définie positive s'il y a des contraintes actives.
Remarques:
1) Les contraintes actives comprennent toutes les contraintes d'égalité, plus les contraintes d'inégalité qui sont satisfaites de l'égalité.
2) Voir la définition du lagrangien sur https://www.encyclopediaofmath.org/index.php/Karush-Kuhn-Tucker_conditions .
3) Si toutes les contraintes sont linéaires, alors la Hesse du Lagrangien = Hesse de la fonction objectif parce que les dérivées 2e des fonctions linéaires sont nulles. Mais vous devez toujours faire la projection jazz si l'une de ces contraintes est active. Notez que les contraintes de limite inférieure ou supérieure sont des cas particuliers de contraintes d'inégalité linéaire. Si les seules contraintes actives sont des contraintes liées, la projection du Hessien dans l'espace nul du Jacobien des contraintes actives revient à éliminer les lignes et les colonnes du Hessian correspondant à ces composants sur leurs bornes.
4) Parce que les multiplicateurs de Lagrange des contraintes inactives sont nuls, s'il n'y a pas de contraintes actives, le Hessien du Lagrangien = le Hessien de la fonction objectif, et la matrice d'identité est une base pour l'espace nul du Jacobien des contraintes actives, qui la simplification du critère étant la condition familière que la toile de jute de la fonction objectif soit semi-définie positive au minimum local (définie positive si strict minimum local).
la source
Les réponses positives ci-dessus sont vraies mais elles laissent de côté l'hypothèse d'identification cruciale - si votre modèle n'est pas identifié (ou s'il n'est défini que comme identifié), vous pourriez en effet, comme Wooldridge l'a correctement indiqué, vous retrouver avec une Hesse empirique non PSD. Exécutez simplement un modèle psychométrique / économétrique non jouet et voyez par vous-même.
la source