Traiter l'inverse d'une matrice symétrique définie positive (covariance)?

En statistique et ses diverses applications, nous calculons souvent la matrice de covariance , qui est définie positive (dans les cas considérés) et symétrique, pour différentes utilisations. Parfois, nous avons besoin de l'inverse de cette matrice pour divers calculs (formes quadratiques avec cet inverse comme (seule) matrice centrale, par exemple). Compte tenu des qualités de cette matrice et des utilisations envisagées, je me demande:

Quelle est la meilleure façon, en termes de stabilité numérique, de calculer ou d'utiliser (disons pour les formes quadratiques ou la multiplication matrice-vecteur en général) cet inverse? Une factorisation qui peut être utile?

La factorisation de Cholesky $C=R^TR$ conduit à une factorisation de type Cholesky de l'inverse $C^{-1}=SS^T$ avec la matrice triangulaire supérieure $S=R^{-1}$ .

En pratique, il est préférable de garder l'inverse factorisé. Si $R$ est clairsemé, il est généralement préférable de garder $S$ implicite, car les produits matriciels vectoriels $y=C^{-1}x$ peuvent être calculés en résolvant les deux systèmes triangulaires $R^Tz=x$ et $Ry=z$ .

Une factorisation de Cholesky a le plus de sens pour la meilleure stabilité et vitesse lorsque vous travaillez avec une matrice de covariance, car la matrice de covariance sera une matrice symétrique semi-définie positive. Cholesky est un naturel ici. MAIS...

SI vous avez l'intention de calculer une factorisation de Cholesky, avant de calculer la matrice de covariance, rendez-vous service. Rendez le problème stable au maximum en calculant une factorisation QR de votre matrice. (Un QR est aussi rapide.) Autrement dit, si vous calculez la matrice de covariance comme

$$C = A^{T} A$$

$A$$C$$A$$A^{T}A$

$$A = QR$$

Puisque Q est orthogonal,

$$\begin{align} C &= (QR)^{T} QR \\ &= R^T Q^T QR \\ &= R^T I R \\ &= R^{T} R \end{align}$$

$R^{T}$$Q$$Q$$Q$$Q$$Q$

$A^{T}A$

Enfin, comme le souligne une autre réponse, vous n'avez même pas besoin de calculer et de stocker l'inverse du tout, mais de l'utiliser implicitement sous la forme de backsolves sur des systèmes triangulaires.

Je l'ai fait pour la première fois récemment, en utilisant les suggestions de mathSE.

SVD a été recommandé par la plupart je pense, mais j'ai opté pour la simplicité de Cholesky:

Si la matrice , alors je décompose en une matrice triangulaire utilisant Cholesky, telle que . J'utilise ensuite la substitution arrière ou la substitution avant (selon que je choisis L pour être triangulaire supérieur ou inférieur), pour inverser , de sorte que j'ai . À partir de là, je peux calculer rapidement .$M = A A^\top$$M$$L$$M = L L^\top$$L$$L^{-1}$$M^{-1} = \left(L L^\top\right)^{-1} = L^{-\top}L^{-1}$

---

Commencer avec:

$M = A A^\top$ , où est connu et est implicitement symétrique et est également positif-défini.$M$

Factorisation de Cholesky:

$M \rightarrow L L^\top$ , où est carré et non singulier$L$

Remplacement arrière:

$L \rightarrow L^{-1}$ , probablement le moyen le plus rapide pour inverser (ne me citez pas là-dessus cependant)$L$

Multiplication:

$M^{-1} = \left(L L^\top\right)^{-1} = L^{-\top} L^{-1}$

Notation utilisée: les indices inférieurs sont des lignes, les indices supérieurs sont des colonnes et est la transposition de$L^{-\top}$$L^{-1}$

---

Mon algorithme Cholesky (probablement de Recettes numériques ou Wikipedia)

$L_i^j = \frac{M_i^j - M_i \cdot M_j}{M_i^i - M_i \cdot M_i}$

Cela peut presque être fait sur place (vous n'avez besoin que d'un stockage temporaire pour les éléments diagonaux, un accumulateur et certains itérateurs entiers).

---

Mon algorithme de substitution arrière (à partir de Recettes numériques, vérifiez leur version car j'ai peut-être fait une erreur avec le balisage LaTeX)

$\left(L^{-1}\right)_i^j = \left\{\begin{array}{11} 1 / {L_i^i} & \mbox{if } i = j\\ \left(-L_i \cdot \left(L^{-T}\right)_j\right) / L_i^i & \mbox{otherwise} \end{array}\right.$

Comme apparaît dans l'expression, l'ordre que vous parcourez la matrice est important (certaines parties de la matrice de résultat dépendent d'autres parties de celle-ci qui doivent être calculées au préalable). Vérifiez le code des recettes numériques pour un exemple complet dans le code. [Modifier]: En fait, vérifiez simplement l'exemple de recettes numériques. J'ai trop simplifié trop en utilisant des produits scalaires, au point que l'équation ci-dessus a une dépendance cyclique quel que soit l'ordre dans lequel vous répétez ...$L^{-T}$

Si vous savez que la matrice a un inverse (c'est-à-dire si elle est bien définie positive) et si elle n'est pas trop grande, la décomposition de Cholesky donne un moyen approprié pour caractériser l'inverse d'une matrice.