Pourquoi la norme matricielle par défaut est la norme spectrale et non la norme Frobenius?

Pour la norme vectorielle, la norme L2 ou «distance euclidienne» est la définition largement utilisée et intuitive. Mais pourquoi la définition de norme "la plus utilisée" ou "par défaut" pour une matrice est la norme spectrale , mais pas la norme Frobenius (qui est similaire à la norme L2 pour les vecteurs)?

Cela a-t-il quelque chose à voir avec les algorithmes itératifs / les puissances matricielles (si le rayon spectral est inférieur à 1, alors l'algorithme convergera)?

---

1. Il est toujours discutable pour les mots comme "le plus utilisé", "par défaut". Le mot "par défaut" mentionné ci-dessus vient du type de retour par défaut dans la Matlabfonction norm. Dans Rla norme par défaut pour la matrice est la norme L1. Les deux sont «contre nature» pour moi (pour une matrice, il semble plus «naturel» de le faire $\sqrt{\sum_{i,j}a^{2}_{i,j}}$ comme dans le vecteur). (Merci pour @ usεr11852 et les commentaires de @ whuber et désolé pour la confusion.)

2. Peut-être étendre l' utilisation de la norme matricielle m'aiderait à mieux comprendre?

En général, je ne suis pas sûr que la norme spectrale soit la plus largement utilisée. Par exemple, la norme Frobenius est utilisée pour approximer la solution sur la factorisation matricielle non négative ou la régularisation matricielle de corrélation / covariance . Je pense qu'une partie de cette question découle de la faute terminologique de certaines personnes (moi y compris) lorsqu'elles se réfèrent à la norme Frobenius comme norme de matrice euclidienne . Nous ne devrions pas, car en fait la norme de matrice (c'est-à-dire la norme spectrale) est celle qui est induite aux matrices lors de l'utilisation de la norme vectorielle L 2 . La norme Frobenius est la suivante: élément par élément: | | A | $L_2$$L_2$ , tandis que lanorme de matriceL2(||A||2=$||A||_F = \sqrt{\sum_{i,j}a_{i,j}^2}$$L_2$) est basé sur des valeurs singulières, il est donc plus "universel". (pour la chance d'un meilleur terme?) Lanorme de matriceL2est une norme de type euclidienne puisqu'elle est induite par la norme vectorielle euclidienne, où| | A| | 2=max | | x | | 2 = 1 | | Ax| | 2. C'est donc unenorme induitepour les matrices car elle estinduitepar un$||A||_2 = \sqrt{\lambda_{max}(A^T A)})$$L_2$$||A||_2 = \max\limits_{||x||_2 =1} || Ax||_2$norme vectorielle , la norme vectorielle dans ce cas.$L_2$

MATLAB vise probablement à fournir la norme par défaut lors de l'utilisation de la commande ; en conséquence, il fournit la norme vectorielle euclidienne mais aussi la norme de matrice L 2 , c'est-à-dire. la norme de matrice spectrale (plutôt que la norme de matrice de Frobenius / Euclidienne citée à tort ). Enfin, permettez-moi de noter que ce qui est la norme par défaut est une question d'opinion dans une certaine mesure: Par exemple, " Matrix Algebra - Theory, Computations, and Applications in Statistics " de JE Gentle a littéralement un chapitre (3.9.2) nommé: " The Frobenius Norme - La norme «habituelle»$L_2$norm$L_2$"; si clairement que la norme spectrale n'est pas la norme par défaut pour toutes les parties considérées! :) Comme l'a commenté @amoeba, différentes communautés peuvent avoir des conventions terminologiques différentes. Il va sans dire que je pense que le livre de Gentle est une ressource inestimable sur la question de Application Lin. Algebra dans Statistics et je vous invite à regarder plus loin!

Une partie de la réponse peut être liée à l'informatique numérique.

Lorsque vous résolvez le système

$$Ax=b$$ avec une précision finie, vous n'obtenez pas la réponse exacte à ce problème. Vous obtenez une approximation $\tilde x$ raison des contraintes de l'arithmétique finie, de sorte que $A\tilde x \approx b$ , dans un sens approprié. Qu'est-ce que votre solution représente alors? Eh bien, cela pourrait bien être une solution exacte à un autre système comme $$\tilde A \tilde x = \tilde b$$ Donc, pour que $\tilde x$ soit utile, le système tilde doit être proche du système d'origine: $$\tilde A \approx A, \quad \tilde b \approx b$$ Sivotre algorithmede résolution du système d'origine satisfait cette propriété, alors il est appeléstable en arrière. Maintenant, l'analyse précise de l'ampleur des écarts$\tilde A-A$,$\tilde b-b$conduit finalement à des erreurs sur les bornes qui sont exprimées comme$\| \tilde A-A \|$,$\| \tilde b-b\|$. Pour certaines analyses, lanorme$l_1$(somme maximale des colonnes) est la plus simple à faire passer, pour d'autres, la$l_\infty$ norme ((somme maximale des lignes) est la plus simple à passer (pour les composants de la solution dans le cas du système linéaire, par exemple), et pour d'autres encore, lanorme spectrale$l_2$ est la plus appropriée (induite par le$l_2$ traditionnel 2 , comme indiquédans une autre réponse). Pour le cheval de bataille du calcul statistique en inversion de matrice psd symétrique,la décomposition de Cholesky(anecdote: le premier son est un [x] comme dans la lettre grecque "chi", pas [tʃ] comme dans "chase"), la norme la plus pratique pour garder la trace des limites d'erreur est lanorme$l_2$ ... bien que la norme Frobenius apparaisse également dans certains résultats, par exemple sur l'inversion de matrice partitionnée.

The answer to this depends on the field you're in. If you're a mathematician, then all norms in finite dimensions are equivalent: for any two norms $\|\cdot\|_a$ and $\|\cdot\|_b$, there exist constants $C_1,C_2$, which depend only on dimension (and a,b) such that:

$$C_1\|x\|_b\leq \|x\|_a\leq C_2\|x\|_b.$$

This implies that norms in finite dimensions are quite boring and there is essentially no difference between them except in how they scale. This usually means that you can choose the most convenient norm for the problem you're trying to solve. Usually you want to answer questions like "is this operator or procedure bounded" or "does this numerical process converge." With boundedness, you only usually care that something is finite. With convergence, by sacrificing the rate at which you have convergence, you can opt to use a more convenient norm.

For example, in numerical linear algebra, the Frobenius norm is sometimes preferred because it's a lot easier to calculate than the euclidean norm, and also that it naturally connects with a wider class of Hilbert Schmidt operators. Also, like the Euclidean norm, it's submultiplictive: $\|AB\|_F\leq \|A\|_F\|B\|_F$, unlike say, the max norm, so it allows you to easily talk about operator multiplication in whatever space you're working in. People tend to really like both the $p=2$ norm and the Frobenius norm because they have natural relations to both the eigenvalues and singular values of matrices, along with being submultiplictive.

For practical purposes, the differences between norms become more pronounced because we live in a world of dimensions and it usually matters how big a certain quantity is, and how it's measured. Those constants $C_1,C_2$ above are not exactly tight, so it becomes important just how much more or less a certain norm $\|x\|_a$ is compared to $\|x\|_b$.