Tenseurs dans la littérature sur les réseaux de neurones: quelle est la définition la plus simple qui existe?

Dans la littérature sur les réseaux de neurones, nous rencontrons souvent le mot «tenseur».

Est-ce différent d'un vecteur? Et à partir d'une matrice? Avez-vous un exemple précis qui clarifie sa définition?

Je suis un peu confus quant à sa définition. Wikipédia n'aide pas et j'ai parfois l'impression que sa définition dépend de l'environnement d'apprentissage machine spécifique utilisé (TensorFlow, Caffee, Theano).

Aux fins de l'analyse des données, vous pouvez effectivement les considérer comme des tableaux, éventuellement multidimensionnels. Ainsi, ils incluent des scalaires, des vecteurs, des matrices et tous les tableaux d'ordre supérieur.

La définition mathématique précise est plus compliquée. Fondamentalement, l'idée est que les tenseurs transforment les fonctions multilinéaires en fonctions linéaires. Voir (1) ou (2) . (Les fonctions multilinéaires sont des fonctions linéaires dans chacune de leurs composantes, un exemple étant le déterminant considéré en fonction des vecteurs de colonne.)

Une conséquence de cette propriété mathématique définissant les tenseurs est que les tenseurs se transforment bien par rapport aux Jacobiens, qui codent les transformations d'un système de coordonnées à un autre. C'est pourquoi on voit souvent la définition du tenseur comme «un objet qui se transforme d'une certaine manière sous des changements de coordonnées» en physique. Voir cette vidéo par exemple, ou celle-ci .

Si nous avons affaire à des objets suffisamment «agréables» (toutes les dérivées que nous aimerions exister et bien définies le sont), alors toutes ces façons de penser les tenseurs sont essentiellement équivalentes. Notez que la première façon de penser aux tenseurs que j'ai mentionnés (tableaux multidimensionnels) ignore la distinction entre les tenseurs covariants et contravariants. (La distinction concerne la façon dont leurs coefficients changent en fonction d'un changement de base de l'espace vectoriel sous-jacent, c'est-à-dire entre les vecteurs ligne et colonne essentiellement.) Voir ces autres questions StackExchange: (1) (2) (3) (4)

Pour un livre utilisé par des chercheurs étudiant les applications des tenseurs aux réseaux de neurones (par exemple au Technion en Israël), il y a les espaces de tenseurs et le calcul numérique de Wolfgang Hackbusch . Je ne l'ai pas encore lu moi-même, bien que certains des chapitres suivants semblent utiliser des mathématiques avancées.