Ne peut-on pas dire maintenant que les modèles d'apprentissage profond sont interprétables? Les nœuds sont-ils des fonctionnalités?

27

Pour les modèles statistiques et d'apprentissage automatique, il existe plusieurs niveaux d'interprétabilité: 1) l'algorithme dans son ensemble, 2) des parties de l'algorithme en général 3) des parties de l'algorithme sur des entrées particulières, et ces trois niveaux divisés en deux parties chacun, un pour la formation et un pour la fonction eval. Les deux dernières parties sont beaucoup plus proches que la première. Je pose des questions sur le n ° 2, ce qui conduit généralement à une meilleure compréhension du n ° 3). (si ce n'est pas ce que signifie «interprétabilité», alors à quoi devrais-je penser?)

En ce qui concerne l'interprétabilité, la régression logistique est l'une des plus faciles à interpréter. Pourquoi cette instance a-t-elle dépassé le seuil? Parce que cet exemple avait cette caractéristique positive particulière et qu'il avait un coefficient plus élevé dans le modèle. C'est tellement évident!

Un réseau de neurones est l'exemple classique d'un modèle difficile à interpréter. Que signifient tous ces coefficients ? Ils s'additionnent tous de façon si compliquée et folle qu'il est difficile de dire ce que fait réellement un coefficient particulier.

Mais avec tous les réseaux neuronaux profonds qui sortent, on a l'impression que les choses deviennent plus claires. Les modèles DL (par exemple, la vision) semblent capturer des choses comme les bords ou l'orientation dans les premières couches, et dans les couches ultérieures, il semble que certains nœuds soient en fait sémantiques (comme la proverbiale `` cellule de grand-mère '' ). Par exemple:

entrez la description de l'image ici

( extrait de «Learning About Deep Learning» )

Il s'agit d'un graphique ( parmi tant d'autres ) créé à la main pour la présentation, je suis donc très sceptique. Mais c'est la preuve que quelqu'un pense que c'est ainsi que cela fonctionne.

Peut-être que dans le passé, il n'y avait tout simplement pas assez de couches pour que nous trouvions des fonctionnalités reconnaissables; les modèles ont été couronnés de succès, mais pas faciles à analyser en particulier après coup.

Mais peut-être que le graphique n'est qu'un vœu pieux. Peut-être que les NN sont vraiment insondables.

Mais les nombreux graphiques avec leurs nœuds étiquetés avec des images sont également vraiment convaincants.

Les nœuds DL correspondent-ils vraiment à des fonctionnalités?

Mitch
la source
6
Je ne vois pas la prémisse de cette question. Le fait que les réseaux de neurones soient devenus plus complexes et donnent de meilleures prévisions ne les rend pas plus interprétables. L'inverse est généralement vrai: complexité / meilleure prédiction <-> simplicité / meilleure interprétation.
AdamO
4
@AdamO est exactement correct. De ce fait, les arbres de régression (partitionnement récursif) ne sont interprétables que parce que les résultats sont incorrects . Ils ont tort parce qu'ils sont volatils; obtenir un nouvel échantillon et l'arbre peut être arbitrairement différent. Et les arbres isolés ne sont pas compétitifs en matière de discrimination prédictive. La parcimonie est souvent l'ennemi de la discrimination prédictive. Et à la question d'origine, dans le domaine biomédical, les résultats AI / ML n'ont pas été interprétables.
Frank Harrell
1
Voir cet article Des chercheurs en IA affirment que l'apprentissage automatique est une alchimie sciencemag.org/news/2018/05/…
Mike Hunter
4
La question en gras dans le corps et la question dans votre titre sont très différentes. Il semble que toutes les réponses, y compris la mienne, répondent à la question dans le titre. Peut-être pourriez-vous poser la question plus étroite sur les nœuds et les fonctionnalités de son propre thread? Mais avant de faire cela, considérez que vous avez déjà lié à un document qui répond à votre question audacieuse par l'affirmative, alors réfléchissez à ce que, précisément, vous aimeriez apprendre dans une réponse avant de demander.
Sycorax dit Réintégrer Monica
@Sycorax Le lien que je viens d'ajouter est à un article de blog, pas à un article, et je suis donc très sceptique quant à l'affirmative. La variété d'interprétabilité que je demande à propos de DL dans le titre que je considère être celle en gras dans le texte.
Mitch

Réponses:

30

L'interprétation des modèles profonds reste difficile.

  1. Votre message ne mentionne que les CNN pour les applications de vision par ordinateur, mais les réseaux de rétroaction (profonds ou peu profonds) et les réseaux récurrents restent difficiles à comprendre.

  2. Même dans le cas des CNN qui ont des structures de "détecteur de caractéristiques" évidentes, telles que les bords et l'orientation des patchs de pixels, il n'est pas tout à fait évident comment ces caractéristiques de niveau inférieur sont agrégées vers le haut, ou ce qui se passe précisément lorsque ces caractéristiques de vision sont agrégés dans une couche entièrement connectée.

  3. Des exemples contradictoires montrent à quel point l'interprétation du réseau est difficile. Un exemple contradictoire a subi de minuscules modifications, mais a entraîné un changement radical dans la décision prise par le modèle. Dans le contexte de la classification des images, une infime quantité de bruit ajoutée à une image peut changer l'image d'un lézard pour avoir une classification très sûre en tant qu'autre animal, comme un (espèce de) chien.

Cela est lié à l'interprétabilité dans le sens où il existe une relation forte et imprévisible entre la (petite) quantité de bruit et le (grand) changement dans la décision de classification. En pensant au fonctionnement de ces réseaux, cela a du sens: les calculs des couches précédentes sont propagés vers l'avant, de sorte qu'un certain nombre d'erreurs - petites erreurs sans importance pour l'homme - sont agrandies et s'accumulent à mesure que de plus en plus de calculs sont effectués à l'aide de la entrées "corrompues".

D'un autre côté, l'existence d'exemples contradictoires montre que l'interprétation de n'importe quel nœud en tant que caractéristique ou classe particulière est difficile, car le fait que le nœud est activé peut avoir peu à voir avec le contenu réel de l'image d'origine, et que cette relation n'est pas vraiment prévisible en termes d'image d'origine. Mais dans les images d'exemple ci-dessous, aucun humain n'est trompé sur le contenu des images: vous ne confondriez pas le mât de drapeau pour un chien. Comment pouvons-nous interpréter ces décisions, soit globalement (un petit motif de bruit "transmute" un lézard en chien, ou un mât de drapeau en chien) ou en plus petits morceaux (que plusieurs détecteurs de caractéristiques sont plus sensibles au motif de bruit que l'image réelle contenu)?

HAAM est une nouvelle méthode prometteuse pour générer des images contradictoires en utilisant des fonctions harmoniques. ("Méthode d'attaque contradictoire harmonique" Wen Heng, Shuchang Zhou, Tingting Jiang.) Les images générées à l'aide de cette méthode peuvent être utilisées pour émuler des effets d'éclairage / d'ombre et sont généralement encore plus difficiles à détecter pour les humains comme ayant été altérées.

À titre d'exemple, voir cette image, tirée de " Perturbations adverses universelles ", par Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi et Pascal Frossard. J'ai choisi cette image simplement parce que c'était l'une des premières images contradictoires que j'ai rencontrées. Cette image établit qu'un modèle de bruit particulier a un effet étrange sur la décision de classification d'image, en particulier que vous pouvez apporter une petite modification à une image d'entrée et faire croire au classificateur que le résultat est un chien. Notez que l'image originale sous-jacente est toujours évidente: dans tous les cas, un humain ne serait pas confondu en pensant que les images non-chiens sont des chiens. adversaria

Voici un deuxième exemple tiré d'un article plus canonique, " EXPLIQUER ET EXPLIQUER DES EXEMPLES ADVERSAIRES " de Ian J. Goodfellow, Jonathon Shlens et Christian Szegedy. Le bruit ajouté est totalement indiscernable dans l'image résultante, mais le résultat est très certainement classé comme le mauvais résultat, un gibbon au lieu d'un panda. Dans ce cas, au moins, il y a au moins une similitude passagère entre les deux classes, car les gibbons et les pandas sont au moins quelque peu biologiquement et esthétiquement similaires au sens le plus large. Panda

Ce troisième exemple est tiré de " Détection d'exemples contradictoires généralisables fondés sur une discordance de décision bimodèle " par João Monteiro, Zahid Akhtar et Tiago H. Falk. Il établit que le modèle de bruit peut être impossible à distinguer pour un humain tout en confondant le classificateur.indiscernable

Pour référence, un chiot de boue est un animal de couleur foncée avec quatre membres et une queue, il n'a donc pas vraiment de ressemblance avec un poisson rouge. chiot

  1. Je viens de trouver ce document aujourd'hui. Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus. " Propriétés intrigantes des réseaux de neurones ". Le résumé comprend cette citation intrigante:

Premièrement, nous constatons qu'il n'y a pas de distinction entre les unités individuelles de haut niveau et les combinaisons linéaires aléatoires d'unités de haut niveau, selon diverses méthodes d'analyse des unités. Cela suggère que c'est l'espace, plutôt que les unités individuelles, qui contient les informations sémantiques dans les hautes couches des réseaux de neurones.

Ainsi, plutôt que d'avoir des «détecteurs d'entités» aux niveaux supérieurs, les nœuds représentent simplement des coordonnées dans un espace d'entités que le réseau utilise pour modéliser les données.

Sycorax dit de réintégrer Monica
la source
2
Bons points. Mais notez que même dans les modèles les plus simples (logistiques, arbres de décision), il est difficile de savoir pourquoi un coefficient / seuil particulier est ce qu'il est (mais ce n'est pas la même interprétabilité que je demandais). Pas totalement sans rapport, y a-t-il de bonnes études / exemples contradictoires pour la langue / RNN / LSTM?
Mitch
7
Je voudrais également souligner que même des modèles simples tels que la régression logistique sont vulnérables aux attaques contradictoires. En fait, Goodfellow et. Al. souligne que ce sont les modèles peu profonds qui n'ont pas la capacité de résister à de telles attaques. Pourtant, nous prétendons toujours pouvoir interpréter la régression logistique.
shimao
2
bonne réponse, sauf pour le point 3 qui est théorique pour deux raisons. 1) Il est très rare qu'une image contradictoire soit ", pour un humain, indiscernable d'une image non modifiée", à moins que cet humain n'ait de graves déficiences visuelles. Presque toujours, vous pouvez remarquer que l'image a un motif de bruit ajouté, en particulier en arrière-plan, ressemblant esthétiquement à ce que l'on appelle le bruit JPEG (uniquement visuellement: les propriétés statistiques réelles de la perturbation sont différentes). Ce qui est surprenant, ce n'est pas que le classificateur ne sache pas s'il s'agit d'un chat de bonne foi plutôt que, disons, d'un corrompu 1 /
DeltaIV
2
2 / image, mais c'est presque certain qu'il s'agit d'un bus. 2) Comment les exemples contradictoires sont-ils liés à l'interprétabilité? Les modèles linéaires, les modèles linéaires généralisés ainsi que les arbres de décision sont susceptibles d'être des exemples contradictoires. Il est en fait plus facile de trouver un exemple contradictoire qui trompe la régression logistique, plutôt qu'un exemple qui trompe ResNet. Malgré cela, nous considérons généralement (G) LM comme un modèle interprétable, donc je n'associerais pas l'existence d'exemples contradictoires à l'interprétabilité d'un modèle.
DeltaIV
3
@DeltaIV le point n'est pas que vous ne pouvez pas remarquer le bruit. Chaque jpeg qui a été trop dégradé a du bruit. Le fait est que le bruit peut être manipulé pour inciter le DNN à faire des choses folles, des choses qui n'ont aucun sens pour un observateur humain même si le bruit lui-même peut être vu.
Hong Ooi
13

Les calques ne sont pas mappés successivement sur des fonctionnalités plus abstraites aussi clairement que nous le souhaiterions. Une bonne façon de voir cela est de comparer deux architectures très populaires.

VGG16 se compose de nombreuses couches convolutives empilées les unes sur les autres avec la couche de mise en commun occasionnelle - une architecture très traditionnelle.

Depuis lors, les gens sont passés à la conception d'architectures résiduelles, où chaque couche est connectée non seulement à la couche précédente, mais également à une (ou éventuellement plusieurs) couches plus bas dans le modèle. ResNet a été l'un des premiers à le faire et compte environ 100 couches, selon la variante que vous utilisez.

Alors que VGG16 et les réseaux similaires ont des couches qui agissent de manière plus ou moins interprétable - apprenant des fonctionnalités de plus en plus élevées, ResNets ne le fait pas. Au lieu de cela, les gens ont proposé de continuer à affiner les fonctionnalités pour les rendre plus précises ou qu'ils ne soient qu'un groupe de réseaux peu profonds déguisés , aucun des deux ne correspondant aux "vues traditionnelles" sur ce que les modèles profonds apprennent.

Alors que ResNet et les architectures similaires surpassent facilement VGG dans la classification d'images et la détection d'objets, il semble qu'il existe certaines applications pour lesquelles la simple hiérarchie ascendante des fonctionnalités de VGG est très importante. Voir ici pour une bonne discussion.

Donc, étant donné que les architectures plus modernes ne semblent plus entrer dans le tableau, je dirais que nous ne pouvons pas tout à fait dire que les CNN sont encore interprétables.

shimao
la source
Vraisemblablement, la topologie entièrement non conçue / non conçue d'un réseau DL serait un grand ensemble ordonné partiel aléatoire, entrerait les capteurs et produirait la fonction souhaitée (c'est-à-dire, aucune tentative de superposition du tout, laissez la formation le comprendre). Les nœuds ici seraient très impénétrables. Mais cela n'implique-t-il pas que plus une topologie est conçue, plus elle a de chances d'être interprétée?
Mitch
3
@Mitch Certaines architectures récentes telles que Densenet semblent lentement se rapprocher de la limite d'avoir chaque couche connectée à toutes les autres couches - un peu comme votre "réseau non conçu". Mais sûrement, ResNet et Densenet ont un design plus sophistiqué que VGG16, mais on pourrait dire qu'ils sont moins interprétables - donc non, je ne pense pas que plus de design signifie plus interprétable. Des connexions possibles plus clairsemées sont plus interprétables.
shimao
7

Le sujet de ma thèse de doctorat était de révéler les propriétés de la boîte noire des réseaux de neurones, en particulier les réseaux de neurones à action directe, avec une ou deux couches cachées.

Je vais relever le défi d'expliquer à tout le monde ce que signifient les termes de pondération et de biais, dans un réseau neuronal à rétroaction à une couche. Deux perspectives différentes seront abordées: une perspective paramétrique et une perspective probabiliste.

xinput=αx+βαβxinput(0,1)

  • 01
  • vv7

Une telle représentation de vos données d'entrée est nécessaire pour pouvoir interpréter la taille (valeur absolue) des poids dans la couche d'entrée.

Signification paramétrique:

  • 0
  • le poids d'un nœud caché à un nœud de sortie indique que l'amplification pondérée des variables d'entrée qui sont en sens absolu les plus amplifiées par ce neurone caché, qu'elles favorisent ou amortissent le nœud de sortie particulier. Le signe du poids indique une promotion (positive) ou une inhibition (négative).
  • 132
  • β

1iltsil1Δj,k=∣wi,jwi,kijk

Les nœuds cachés les plus importants sont pour un nœud de sortie (parler en fréquences, sur l'ensemble d'apprentissage), quels «poids d'entrée multipliés par les fréquences d'entrée» sont les plus importants? Ensuite, nous nous intéressons à la signification des paramètres des réseaux de neurones à action directe.

Interprétation probabiliste:

xinput

Cas individuel - modèle

xinput[1,0,0,0,0,0,0][0,1,0,0,0,0,0], ou tout autre jour de la semaine), et les changements de résultat les plus probables, alors cette variable énumérée a une influence potentielle sur le résultat de la classification.

xinputxinputE(xinputxinput)xinputxinput

Penchée profonde - et la signification des paramètres NN

Appliqués à la vision par ordinateur, les réseaux de neurones ont montré des progrès remarquables au cours de la dernière décennie. Les réseaux de neurones convolutifs introduits par LeCunn en 1989 se sont finalement avérés très performants en termes de reconnaissance d'image. Il a été rapporté qu'ils peuvent surpasser la plupart des autres approches de reconnaissance sur ordinateur.

Des propriétés émergentes intéressantes apparaissent lorsque des réseaux de neurones convolutifs sont formés à la reconnaissance d'objets. La première couche de nœuds cachés représente des détecteurs d'entités de bas niveau, similaires aux opérateurs de l'échelle de l'espace T. Lindeberg, Feature Detection with Automatic Scale Selection, 1998 . Ces opérateurs spatiaux détectent

  • lignes,
  • coins,
  • Jonctions en T

et quelques autres fonctionnalités de base de l'image.

Encore plus intéressant est le fait que les neurones perceptifs dans le cerveau des mammifères se sont avérés ressembler à cette façon de travailler dans les premières étapes du traitement d'image (biologique). Ainsi, avec les CNN, la communauté scientifique se rapproche de ce qui rend la perception humaine si phénoménale. Il est donc très utile de poursuivre cette ligne de recherche.

Match Maker EE
la source
C'est intéressant - ne semble-t-il pas que cela offrirait beaucoup d'interprétabilité dans le cas de fonctionnalités corrélées?
khol
La vallue attendue E (.) Est également connue comme la moyenne de la distribution conditionnelle, x_input étant donné x_-input, toutes les autres variables. Par conséquent, les corrélations sont pleinement intégrées dans ce concept d'influence attendue. Notez que l'indépendance probabiliste a une définition plus large que la «corrélation» - cette dernière étant principalement définie pour les données distribuées gaussiennes.
Match Maker EE
Agréable. S'agit-il d'une sorte de généralisation d'une interprétation de la régression logistique à un ensemble de modèles de régression empilés, l'un alimentant le suivant?
Mitch
Un sous-ensemble de nœuds cachés peut agir comme un «OU» logique pour un neurone de sortie, ou plus comme un «ET» logique. OU se produit lorsqu'une activation de nœud caché suffit pour que le neurone de sortie devienne proche de 1. ET se produit lorsque seule une somme d'activations de nœud caché peut provoquer l'activation de nœud de sortie proche de 1. Que ce soit plus «OU» ou plus » ET ', cela dépend du vecteur de poids formé du' fan in ', dans le nœud de sortie.
Match Maker EE