Lorsqu'un jacobien analytique est disponible, vaut-il mieux approximer le hessien par , ou par différences finies du jacobien?

Disons que je calcule certains paramètres du modèle en minimisant la somme des résidus au carré, et je suppose que mes erreurs sont gaussiennes. Mon modèle produit des dérivées analytiques, donc l'optimiseur n'a pas besoin d'utiliser des différences finies. Une fois l'ajustement terminé, je veux calculer les erreurs standard des paramètres ajustés.

Généralement, dans cette situation, la Hesse de la fonction d'erreur est considérée comme étant liée à la matrice de covariance par: où est la variance des résidus.σ

Lorsqu'aucune dérivée analytique de l'erreur n'est disponible, il est généralement impossible de calculer la Hesse, donc est considéré comme une bonne approximation.$J^TJ$

Cependant, dans mon cas, j'ai un J analytique, il est donc relativement bon marché pour moi de calculer H par différenciation finie J.

Donc, ma question est la suivante: serait-il plus précis d'approximer H en utilisant mon J exact et d'appliquer l'approximation ci-dessus, ou d'approximer H par différenciation finie J?

Bonne question. Rappelons d'abord d'où vient cette approximation . Soit vos points de données, votre modèle et les paramètres de votre modèle. Alors la fonction objective du problème des moindres carrés non linéaires est où est le vecteur des résidus, . La exacte de la fonction objectif est . Donc, l'erreur dans cette approximation est( x i , y i ) f ( ⋅ ) β $H \approx J^T J$$(x_i, y_i)$$f(\cdot)$$\beta$rri=yi-f(xi,β)H=JTJ+∑ri∇2riH-JTJ=∑ri∇2r$\frac{1}{2} r^T r$$r$$r_i = y_i - f(x_i, \beta)$$H = J^T J + \sum r_i \nabla^2 r_i$$H - J^T J = \sum r_i \nabla^2 r_i$. C'est une bonne approximation lorsque les résidus eux-mêmes sont petits; ou lorsque la dérivée 2e des résidus est petite. Les moindres carrés linéaires peuvent être considérés comme un cas spécial où la dérivée seconde des résidus est nulle.

Quant à l'approximation des différences finies, elle est relativement bon marché. Pour calculer une différence centrale, vous aurez besoin d'évaluer la jacobienne un montant supplémentaire fois (une différence avant vous coûtera évaluations supplémentaires, donc je ne voudrais pas déranger). L'erreur de l'approximation de la différence centrale est proportionnelle à et , où est la taille du pas. La taille de pas optimale est , où$2n$$n$$\nabla^4 r$$h^2$h ∼ ϵ $h$$h \sim \epsilon^\frac{1}{3}$$\epsilon$est la précision de la machine. Donc, à moins que les dérivées des résidus explosent, il est assez clair que l'approximation des différences finies devrait être beaucoup mieux. Je dois souligner que, si le calcul est minimal, la comptabilité n'est pas anodine. Chaque différence finie sur le jacobien vous donnera une ligne de la toile de jute pour chaque résidu. Vous devrez ensuite remonter le Hessian en utilisant la formule ci-dessus.

Il existe cependant une troisième option. Si votre solveur utilise une méthode Quasi-Newton (DFP, BFGS, Bryoden, etc.), il se rapproche déjà de la Hesse à chaque itération. L'approximation peut être assez bonne, car elle utilise la fonction objectif et les valeurs de gradient de chaque itération. La plupart des solveurs vous donneront accès à l'estimation finale de Hesse (ou son inverse). Si c'est une option pour vous, je l'utiliserais comme estimation de la Hesse. Il est déjà calculé et ce sera probablement une assez bonne estimation.