Que signifie «invariant par permutation» dans le contexte des réseaux de neurones effectuant la reconnaissance d'images?

J'ai vu une version «invariante par permutation» de la tâche de reconnaissance des chiffres du MNIST. Qu'est-ce que ça veut dire?

machine-learning neural-networks terminology conv-neural-network definition RockTheStar
la source

Réponses:

Dans ce contexte, cela fait référence au fait que le modèle n'assume aucune relation spatiale entre les entités. Par exemple, pour le perceptron multicouche, vous pouvez permuter les pixels et les performances seraient les mêmes. Ce n'est pas le cas pour les réseaux convolutifs, qui supposent des relations de voisinage.

bayerj
la source

oui, c'est la partie déroutante. N'est-ce pas qu'il devrait y avoir une relation spatiale dans la classification des chiffres?

RockTheStar

Le MNIST est largement utilisé comme référence (ou vérification de la santé mentale) dans les réseaux de neurones. Si votre modèle peut obtenir une erreur <1% sur MNIST invariant par permutation, vous êtes sur quelque chose.

bayerj

Oui, je veux dire qu'il n'y a pas non plus de relation spatiale dans les chiffres? Si vous permutez les pixels numériques, cela changera l'ordre des pixels, ce qui affecte essentiellement les performances!?

RockTheStar

Seulement si le modèle le suppose. les mlps ne le font pas, les convnets le font. C'est pourquoi comparer un convnet à un mlp sur mnist est quelque peu injuste.

bayerj

Je vois! Donc, sur un ensemble de données mnist, mlps fonctionne-t-il mieux ou convnet?

RockTheStar

$f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((x_{1}, x_{2}, x_{3})) = f ((x_{2}, x_{1}, x_{3})) = f ((x_{3}, x_{1}, x_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$

kjetil b halvorsen
la source

Cette réponse est un peu trompeuse, car dans l' algorithme d' apprentissage automatique, l' algorithme d'apprentissage est souvent invariant par permutation, tandis que la fonction qu'il renvoie ne l'est pas.

bayerj

@bayerj: C'est une information intéressante, mais je ne vois pas que cela rend la définition que j'ai donnée trompeuse , c'est une définition correcte, mais peut-être pas une réponse complète dans ce contexte.

kjetil b halvorsen

Vous avez raison, la définition est correcte. Mais cela ne s'applique pas à la façon dont vous l'écrivez. Dans le contexte de MNIST invariant par permutation, que l'OP demandait, les fonctions de la forme que vous notez ne se produisent pas.

bayerj