Supposons que j'ai le modèle suivant
où , est un vecteur de variables explicatives, est les paramètres de la fonction non linéaire et , où est naturellement la matrice
Le but est l'habituel d'estimer et . Le choix évident est la méthode du maximum de vraisemblance. Log-vraisemblance pour ce modèle (en supposant que nous avons un échantillon ) ressemble
Maintenant, cela semble simple, la log-vraisemblance est spécifiée, insérée dans les données et utilise un algorithme pour l'optimisation non linéaire. Le problème est de savoir comment s'assurer que est défini positif. Utiliser par exemple dans R (ou tout autre algorithme d'optimisation non linéaire) ne me garantira pas que \ Sigma est défini positif.Σoptim
Donc, la question est de savoir comment s'assurer que reste définitivement défini? Je vois deux solutions possibles:
Reparametrise as où est une matrice triangulaire supérieure ou symétrique. Alors sera toujours positif-défini et peut être sans contrainte.
Utilisez la vraisemblance du profil. Dérivez les formules pour et . Commencez par et itérez , jusqu'à convergence.
Y a-t-il une autre manière et qu'en est-il de ces 2 approches, vont-elles fonctionner, sont-elles standard? Cela semble un problème assez standard, mais la recherche rapide ne m'a donné aucun pointeur. Je sais que l'estimation bayésienne serait également possible, mais pour le moment je ne voudrais pas m'y engager.
Réponses:
En supposant que dans la construction de la matrice de covariance, vous êtes automatiquement en prenant soin de la question de symétrie, votre log-vraisemblance sera lorsque Σ est pas définie positive en raison du log d e t Σ terme dans le bon modèle? Pour éviter une erreur numérique si d e t Σ < 0, je précalculerais d e t Σ et, s'il n'est pas positif, je fais en sorte que la probabilité de log soit égale à -Inf, sinon continuez. Vous devez quand même calculer le déterminant, donc cela ne vous coûte aucun calcul supplémentaire.−∞ Σ logdet Σ det Σ<0 det Σ
la source
Il s'avère que vous pouvez utiliser la probabilité maximale du profil pour garantir les propriétés nécessaires. Vous pouvez prouver que pour donné θ , l ( θ , Σ ) est maximisée parθ^ l(θ^,Σ)
où
Il est alors possible de montrer que
il nous suffit donc de maximiser
Naturellement, dans ce cas, satisfera toutes les propriétés nécessaires. Les preuves sont identiques pour le cas où f est linéaire qui peut être trouvé dans l' analyse des séries temporelles par JD Hamilton page 295, donc je les ai omises.Σ f
la source
Une alternative pour la paramétrisation de la matrice de covariance est en termes de valeurs propres et p ( p - 1 ) / 2 angles "Givens" θ i j .λ1,...,λp p(p−1)/2 θij
Autrement dit, nous pouvons écrire
où est orthonormé, etG
avec .λ1≥...≥λp≥0
Pendant ce temps, peut être paramétré de manière unique en termes de p ( p - 1 ) / 2 angles, θ i j , où i = 1 , 2 , . . . , P - 1 et j = i , . . . , p - 1. [1]G p(p−1)/2 θij i=1,2,...,p−1 j=i,...,p−1
(détails à ajouter)
[1]: Hoffman, Raffenetti, Ruedenberg. "Généralisation des angles d'Euler aux matrices orthogonales à N dimensions". J. Math. Phys. 13, 528 (1972)
la source
Dans la lignée de la solution de charles.y.zheng, vous pouvez modéliser , où Λ est une matrice diagonale et C est une factorisation de Cholesky d'une mise à jour de rang vers Λ . Il vous suffit alors de garder la diagonale de Λ positif pour garder Σ positif défini. Autrement dit, vous devez estimer la diagonale de Λ et les éléments de C au lieu d'estimer Σ .Σ=Λ+CC⊤ Λ C Λ Λ Σ Λ C Σ
la source