Qu'est-ce qui justifie ce calcul de la dérivée d'une fonction matricielle?

Dans le cours d'apprentissage automatique d'Andrew Ng, il utilise cette formule:

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

et il fait une preuve rapide qui est montrée ci-dessous:

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

La preuve semble très dense sans aucun commentaire et j'ai du mal à la comprendre. Que s'est-il passé exactement de la deuxième à la troisième égalité?

Il y a un abus subtil mais lourd de la notation qui rend la plupart des étapes déroutantes. Abordons ce problème en revenant aux définitions de la multiplication matricielle, de la transposition, des traces et des dérivés. Pour ceux qui souhaitent omettre les explications, passez simplement à la dernière section "Tout mettre ensemble" pour voir à quel point une démonstration rigoureuse peut être courte et simple.

---

Notation et concepts

Dimensions

Pour que l'expression un sens lorsque est une matrice , doit être une matrice (carrée) et doit être une matrice , d'où le produit est un matrice . Pour prendre la trace (qui est la somme des éléments diagonaux, ), puis , faisant de une matrice carrée.A m × n B n × n C m × p m × p $ABA^\prime C$$A$$m\times n$$B$$n\times n$$C$$m\times p$$m\times p$ p = m $\operatorname{Tr}(X)=\sum_i X_{ii}$$p=m$$C$

Dérivés

La notation « » semble se référer à la dérivée d'une expression par rapport à . D' ordinaire, la différenciation est une opération effectuée sur les fonctions . Le dérivé en un point est une transformation linéaire . En choisissant des bases pour ces espaces vectoriels, une telle transformation peut être représentée comme une matrice Ce n'est pas le cas ici! A f : R N → R M x ∈ R$\nabla_A$$A$$f:\mathbb{R}^N\to\mathbb{R}^M$$x\in \mathbb{R}^N$ M × $Df(x):\mathbb{R}^N\to\mathbb{R}^M$$M\times N$

Les matrices comme vecteurs

A la place, est considéré comme un élément de : ses coefficients sont déroulés (généralement ligne par ligne ou colonne par colonne) dans un vecteur de longueur . La fonction a des valeurs réelles, d'où . Par conséquent, doit être une matrice : c'est un vecteur ligne représentant une forme linéaire sur . Cependant, les calculs de la question utilisent une manière différente de représenter les formes linéaires: leurs coefficients sont recomposés en matrices.R m n N = m n f ( A ) = Tr ( A B A ′ C ) M = 1 D f ( x ) 1 × m n R m n m × $A$$\mathbb{R}^{mn}$$N=mn$$f(A)=\operatorname{Tr}(ABA^\prime C)$$M=1$$Df(x)$$1\times mn$$\mathbb{R}^{mn}$$m\times n$

La trace comme forme linéaire

Soit une matrice constante . Ensuite, par définition de la trace et de la multiplication matricielle,m × $\omega$$m\times n$

$$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$$

Cela exprime la combinaison linéaire la plus générale possible des coefficients de : est une matrice de la même forme que et son coefficient dans la ligne et la colonne est le coefficient de dans la combinaison linéaire. Parce que , les rôles de et peuvent changer, donnant l'expression équivalenteω A i j A i j ω i $A$$\omega$$A$$i$$j$$A_{ij}$ ω $\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$$\omega$$A$

$$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$$

En identifiant une matrice constante avec l'une des fonctions ou , nous pouvons représenter linéaire se forme sur l'espace de matrices comme matrices. (Ne les confondez pas avec des dérivées de fonctions de à !)A → Tr ( A ω ′ ) A → Tr ( ω A ′ ) m ×$\omega$$A\to \operatorname{Tr}(A \omega^\prime)$$A\to \operatorname{Tr}(\omega A^\prime)$m × $m\times n$$m\times n$R$\mathbb{R}^n$$\mathbb{R}^m$

---

Calcul d'un dérivé

La définition

Les dérivés de nombreuses fonctions matricielles rencontrées dans les statistiques sont calculés le plus facilement et de manière fiable à partir de la définition: vous n'avez pas vraiment besoin de recourir à des règles compliquées de différenciation matricielle. Cette définition dit que est différentiable en si et seulement s'il y a une transformation linéaire telle quex $f$$x$$L$

$$f(x+h) - f(x) = Lh + o(|h|)$$

pour les déplacements arbitrairement petites . La notation petit-oh signifie que l'erreur commise dans l'approximation de la différence par est arbitrairement plus petite que la taille de pour un suffisamment petit . En particulier, nous pouvons toujours ignorer les erreurs proportionnelles à . f ( x + h ) - f ( x $h\in \mathbb{R}^N$$f(x+h)-f(x)$h h | h | 2$Lh$$h$$h$$|h|^2$

Le calcul

Appliquons la définition à la fonction en question. Multipliant, développant et ignorant le terme avec un produit de deux ,$h$

$$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$$

Pour identifier la dérivée , nous devons la mettre dans le formulaire . Le premier terme à droite est déjà sous cette forme, avec . L'autre terme à droite a la forme pour . Écrivons ceci:( 1 ) ω = B A ′ C Tr ( X h ′ C ) X = A $L=Df(A)$$(1)$$\omega = BA^\prime C$$\operatorname{Tr}(Xh^\prime C)$$X=AB$

$$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$$

Rappelant , peut être réécrit( 2 $X=AB$$(2)$

$$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$$

C'est en ce sens que l'on peut considérer que la dérivée de en est car ces matrices jouent les rôles de dans les formules de trace .A D f ( A ) = ( B A ′ C ) ′ + C A B = C ′ A B ′ + C A $f$$A$ω ( 1

$$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$$ $\omega$$(1)$

---

Mettre tous ensemble

Voici donc une solution complète.

Soit une matrice , une matrice et une matrice . Soit . Soit une matrice avec des coefficients arbitrairement petits. Parce que (par identité ) est dérivable et sa dérivée est la forme linéaire déterminée par la matricem × n B n × n C m × m f ( A ) = Tr ( A B A ′ C ) h m × n ( 3 ) f ( A + h ) - f ( A ) = Tr $A$$m\times n$$B$$n\times n$$C$$m\times m$$f(A) = \operatorname{Tr}(ABA^\prime C)$$h$$m\times n$$(3)$ fC'AB'+CAB

$$\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$$ $f$ $$C^\prime A B^\prime + CAB.$$

Parce que cela ne prend qu'environ la moitié du travail et n'implique que les manipulations les plus élémentaires des matrices et des traces (multiplication et transposition), cela doit être considéré comme une démonstration plus simple - et sans doute plus visible - du résultat. Si vous voulez vraiment comprendre les différentes étapes de la démonstration originale, vous trouverez peut-être utile de les comparer aux calculs présentés ici.