L'intelligence artificielle est-elle vulnérable au piratage?

27

L'article The Limitations of Deep Learning in Adversarial Settings explore comment les réseaux de neurones peuvent être corrompus par un attaquant qui peut manipuler l'ensemble de données avec lequel le réseau de neurones s'entraîne. Les auteurs expérimentent un réseau neuronal destiné à lire des chiffres manuscrits, sapant sa capacité de lecture en déformant les échantillons de chiffres manuscrits avec lesquels le réseau neuronal est formé.

Je crains que des acteurs malveillants ne tentent de pirater l'IA. Par exemple

  • Tromper les véhicules autonomes pour mal interpréter les panneaux d'arrêt par rapport à la limite de vitesse.
  • Contourner la reconnaissance faciale, comme celles de l'ATM.
  • Contourner les filtres anti-spam.
  • Analyse des sentiments trompeurs des critiques de films, des hôtels, etc.
  • Contournement des moteurs de détection d'anomalies.
  • Fausses commandes vocales.
  • Mauvais classement des prévisions médicales basées sur l'apprentissage automatique.

Quel effet contradictoire pourrait perturber le monde? Comment pouvons-nous l'empêcher?

Surya Sg
la source
6
Considérez que l' intelligence humaine est vulnérable au piratage
Gaius
Intéressant. Êtes-vous intéressé par les «modèles de risque de paramètres contradictoires» ou quelque chose de plus proche d'une réponse de cyber-sécurité traditionnelle mais toujours carrément sur l'IA? Meilleurs vœux.
Révélations tautologiques

Réponses:

19

L'IA est vulnérable sous deux angles de sécurité à mon avis:

  1. La méthode classique d'exploitation des erreurs de programmation pure et simple pour obtenir une sorte d'exécution de code sur la machine qui exécute l'IA ou pour extraire des données.

  2. Tromperie grâce à l'équivalent d'illusions d'optique AI pour la forme particulière de données que le système est conçu pour traiter.

Le premier doit être atténué de la même manière que tout autre logiciel. Je ne sais pas si l'IA est plus vulnérable sur ce front que les autres logiciels, je serais enclin à penser que la complexité augmente peut-être légèrement le risque.

La seconde est probablement mieux atténuée à la fois par le raffinement minutieux du système, comme indiqué dans certaines des autres réponses, mais aussi par une plus grande sensibilité du système au contexte; de nombreuses techniques contradictoires reposent sur l'évaluation des intrants dans le vide.

Christopher Griffith
la source
1
La répartition entre les vulnérabilités du code et les vulnérabilités d'utilisation est bonne. Cependant, les vulnérabilités du code sont généralement minuscules dans l'IA. La complexité de l'IA réside dans les données, qu'il s'agisse du poids des nœuds dans un réseau de neurones ou des arbres dans une forêt aléatoire. Il y a juste un peu de code pour alimenter l'IA, et le principal risque n'est pas de le suralimenter - un risque de débordement de tampon classique, facilement atténué par les techniques de la fin du 20e siècle.
MSalters
@MSalters Je pense qu'il est difficile de tirer une conclusion générale car la complexité du code peut varier considérablement entre les différents types d'agents IA (je pense que votre commentaire est largement précis pour les réseaux de neurones). En outre, bien que les données et leur manipulation soient probablement la plus grande surface d'attaque, il serait imprudent de ne pas tenir compte du même type d'attaques qui ont permis l'exécution de code à distance via des fichiers d'image compromis par le passé qui exploitaient les failles des applications de visualisation d'images. Le vecteur correspond aux données transmises, mais le comportement relève toujours de l'en-tête de vulnérabilité du code, je pense.
Christopher Griffith
7

Programmeur vs programmeur

C'est une «guerre à l'infini»: programmeurs contre programmeurs. Tout peut être piraté. La prévention est liée au niveau de connaissance du professionnel en charge de la sécurité et des programmeurs en sécurité applicative.

Par exemple, il existe plusieurs façons d'identifier un utilisateur qui essaie de gâcher les mesures générées par Sentiment Analysis, mais il existe également des moyens de contourner ces étapes. C'est un combat assez ennuyeux.

Agent contre agent

Un point intéressant que @DukeZhou a soulevé est l'évolution de cette guerre, impliquant deux intelligences artificielles (agents). Dans ce cas, la bataille est l'une des plus bien informées. Quel est le modèle le mieux formé, vous savez?

Cependant, pour atteindre la perfection dans le domaine de la vulnérabilité, l'intelligence artificielle ou la super intelligence artificielle surpassent la capacité de contourner l'humain. C'est comme si la connaissance de tous les hacks à ce jour existait déjà dans l'esprit de cet agent et qu'il a commencé à développer de nouvelles façons de contourner son propre système et de développer la protection. Complexe, non?

Je pense qu'il est difficile d'avoir une IA qui pense: "Est-ce que l'humain va utiliser une photo au lieu de mettre son visage pour être identifié?"

Comment pouvons-nous l'empêcher

Avoir toujours un humain pour superviser la machine, et pourtant elle ne sera pas efficace à 100%. Ceci sans tenir compte de la possibilité qu'un agent puisse améliorer seul son propre modèle.

Conclusion

Je pense donc que le scénario fonctionne de cette façon: un programmeur essaie de contourner les validations d'une IA et le développeur IA acquérant des connaissances par le biais de journaux et de tests tente de construire un modèle plus intelligent et plus sûr en essayant de réduire les risques d'échec.

Guilherme IA
la source
3
Très bonne réponse. (imo, devrait être la réponse acceptée, mais vous devez fournir un support ou des liens.) Quoi qu'il en soit, votre logique est correcte, bien que je pense que cela commencera à s'étendre au-delà de Programmer vs Programmer à Agent vs Agent à mesure que les nouveaux algorithmes augmenteront. sophistication et entreprendre ces stratégies sans incitation humaine.
DukeZhou
1
Mis à jour! Bon point @DukeZhou
Guilherme IA
6

Comment pouvons-nous l'empêcher?

Il existe plusieurs ouvrages sur la vérification de l'IA. Les vérificateurs automatiques peuvent prouver les propriétés de robustesse des réseaux de neurones. Cela signifie que si l'entrée X du NN n'est pas plus perturbée que sur une limite donnée ε (dans une certaine métrique, par exemple L2), alors le NN donne la même réponse à ce sujet.

Ces vérificateurs sont effectués par:

Cette approche peut aider à vérifier les propriétés de robustesse des réseaux de neurones. L'étape suivante consiste à construire un tel réseau de neurones, qui a nécessité une robustesse. Certains des articles ci-dessus contiennent également des méthodes pour le faire.

Il existe différentes techniques pour améliorer la robustesse des réseaux de neurones:

Au moins, le dernier peut rendre NN plus robuste. Plus de littérature peut être trouvée ici .

Ilya Palachev
la source
2
Cela ressemble à une affirmation impossible ... à moins qu'il ne s'agisse de certaines entrées particulières X, plutôt que d'entrées générales X? Dans ce cas, il semble ne rien dire sur le piratage, car les entrées ne doivent pas être limitées aux perturbations de ceux qui sont en formation?
Mehrdad
1
@Mehrdad: C'est probablement réalisable dans un sens probabiliste si l'espace d'entrée est suffisamment structuré pour que vous puissiez l'échantillonner au hasard. Autrement dit, vous pouvez probablement établir que pour 95% des entrées possibles, 95% des perturbations inférieures à ε n'affectent pas le libellé de classe. Cela revient à établir que la frontière entre les classes de sortie dans l'espace d'entrée est lisse ou que la plus grande partie de l'espace d'entrée ne se trouve pas près d'une frontière de classe. De toute évidence, une partie de l'espace d'entrée doit se trouver près d'une frontière de classe.
MSalters
Je ne suis pas sûr que cela s'appliquerait dans le cas "contradictoire" décrit dans le document: là, (IIRC) un gradient rétroprogéné est ajouté à l'image entière, donc la modification de l'entrée complète peut être assez importante - même si le changement pour chaque pixel individuel est à peine perceptible.
Niki
@MSalters: Je suppose que oui. Mais alors cela semble le dévaluer un peu à moins que vous ne puissiez réellement montrer que les images qui sont sur une frontière de classe devraient en fait être sur une frontière de classe ...
Mehrdad
La phrase "La prochaine étape est de construire un tel réseau de neurones, qui a requis la robustesse" est en cours de recherche. En général, il est très difficile de se débarrasser du problème de non-robustesse NN. Mais il est possible d'améliorer la robustesse par une formation contradictoire (voir par exemple A. Kurakin et al., ICLR 2017 ), la distillation défensive (voir par exemple N. Papernot et al., SSP 2016 ), la défense MMSTV ( Maudry et al., ICLR 2018 ). Au moins, le dernier peut rendre NN plus robuste.
Ilya Palachev
4

Je pense que oui, aucun système n'est sûr, mais je ne suis pas sûr de pouvoir le dire après 20-30 ans de développement / évolution de l'IA. Quoi qu'il en soit, il y a des articles qui montrent des humains trompant l'IA (vision par ordinateur).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

Akio
la source
4

L'intelligence artificielle est-elle vulnérable au piratage?

Inversez votre question un instant et pensez:

Qu'est-ce qui rendrait l'IA moins à risque de piratage par rapport à tout autre type de logiciel?

À la fin de la journée, le logiciel est un logiciel et il y aura toujours des bogues et des problèmes de sécurité. Les IA sont à risque pour tous les problèmes auxquels sont confrontés les logiciels non IA, étant donné que l'IA ne lui confère pas une sorte d'immunité.

Quant à la falsification spécifique à l'IA, l'IA risque d'être alimentée en fausses informations. Contrairement à la plupart des programmes, la fonctionnalité de l'IA est déterminée par les données qu'elle consomme.

Pour un exemple concret, il y a quelques années, Microsoft a créé un chatbot AI appelé Tay. Il a fallu moins de 24 heures aux gens de Twitter pour lui apprendre à dire "Nous allons construire un mur, et le Mexique va payer pour cela":

Nous allons construire un mur et le Mexique va payer pour ça

(Image tirée de l'article de Verge lié ci-dessous, je n'en revendique aucun crédit.)

Et ce n'est que la pointe de l'iceberg.

Quelques articles sur Tay:

Imaginez maintenant que ce n'était pas un bot de chat, imaginez que c'était un élément important de l'IA d'un avenir où l'IA est responsable de choses comme ne pas tuer les occupants d'une voiture (c'est-à-dire une voiture autonome) ou ne pas tuer un patient la table d'opération (c'est-à-dire une sorte d'équipement d'assistance médicale).

Certes, on pourrait espérer que de telles IA seraient mieux protégées contre de telles menaces, mais en supposant que quelqu'un ait trouvé un moyen de nourrir une telle masse d'IA de fausses informations sans être remarqué (après tout, les meilleurs pirates ne laissent aucune trace), cela pourrait véritablement signifier la différence entre la vie et la mort.

En utilisant l'exemple d'une voiture autonome, imaginez si de fausses données pourraient faire croire à la voiture qu'elle devait faire un arrêt d'urgence sur une autoroute. L'une des applications de l'IA médicale concerne les décisions de vie ou de mort aux urgences, imaginez si un pirate pourrait faire pencher la balance en faveur d'une mauvaise décision.

Comment pouvons-nous l'empêcher?

En fin de compte, l'ampleur du risque dépend de la façon dont les humains deviennent dépendants de l'IA. Par exemple, si les humains prenaient le jugement d'une IA et ne le mettaient jamais en doute, ils s'ouvriraient à toutes sortes de manipulations. Cependant, s'ils utilisent l'analyse de l'IA comme une seule partie du puzzle, il deviendrait plus facile de repérer lorsqu'une IA est erronée, que ce soit par des moyens accidentels ou malveillants.

Dans le cas d'un décideur médical, ne vous fiez pas seulement à l'IA, effectuez des tests physiques et obtenez également des opinions humaines. Si deux médecins ne sont pas d'accord avec l'IA, jetez le diagnostic de l'IA.

Dans le cas d'une voiture, une possibilité est d'avoir plusieurs systèmes redondants qui doivent essentiellement «voter» sur ce qu'il faut faire. Si une voiture avait plusieurs IA sur des systèmes distincts qui doivent voter sur l'action à entreprendre, un pirate devrait supprimer plus d'une IA pour prendre le contrôle ou provoquer une impasse. Surtout, si les IA fonctionnaient sur différents systèmes, la même exploitation utilisée sur l'un ne pourrait pas être effectuée sur un autre, augmentant encore la charge de travail du pirate.

Pharap
la source
1
J'aime l'idée d'avoir plusieurs systèmes d'IA séparés qui doivent parvenir à un accord comme technique d'atténuation. Bien que vous deviez alors être assuré que le mécanisme de vote utilisé ne pouvait pas être compris pour truquer une décision.
Christopher Griffith
@ChristopherGriffith C'est vrai, c'est un risque. Dans le cas de la voiture, la meilleure façon d'atténuer cela est de concevoir le système de sorte qu'un attaquant ait besoin d'un accès physique pour le manipuler et le rende difficile à atteindre, de sorte que la personne devra pénétrer dans la voiture pour y accéder. Garder un système hors ligne est généralement une bonne contre-mesure de piratage, mais pas toujours idéal.
Pharap
1

Je suis d'accord avec Akio qu'aucun système n'est complètement sûr, mais le système à retenir est que les systèmes d'IA sont moins sujets aux attaques lorsqu'ils se comparent aux anciens systèmes en raison de la capacité de s'améliorer constamment.

Au fur et à mesure que le temps passe, de plus en plus de gens vont sur le terrain apporter de nouvelles idées et du matériel s'améliorera pour devenir une "IA forte".

Simbarashe Timothy Motsi
la source
1

L'intelligence artificielle est-elle vulnérable au piratage?

allusion; si vous dites que l'IA est vulnérable, alors je ne suis pas d'accord avec vous ici par une telle déclaration. L'intelligence artificielle est divisée en trois catégories ni phases que nous sommes censés traverser, c'est-à-dire.

  • intelligence artificielle étroite

  • intelligence artificielle générale

  • super intelligence artificielle

Par conséquent, selon votre déclaration; "Je crains que des acteurs malveillants ne tentent de pirater l'IA ....."

donné par les exemples dans votre corps de message, nous sommes au niveau de l'intelligence artificielle étroite, où par un pirate humain peut tordre son / code malveillant pour envahir de telles applications, à ce niveau.Cependant, si nous sautons directement au niveau final d'Artificiel Intelligence; alors par tous les moyens, un être humain ne peut pas envahir ni pirater un logiciel super intelligent ou un agent super intelligent de haute technologie. Par exemple; un pirate humain, fait une chose à la fois, rien n'empêche une intelligence artificielle de se concentrer et de faire beaucoup de personnel simultanément, il est difficile d'appuyer un esprit qui fonctionne avec précision comme ça

Pour ton information

ne vous laissez pas emporter par ce que les médias disent de l'IA en général, simplement parce qu'ils ne savent pas que la grande chose va se produire, ce sont de nouvelles espèces qui rivalisent avec les humains

imaginez simplement vivre dans une nouvelle société qui est de haute technologie. Découvrez le cyber grand défi

Si vous avez manqué cet événement, je suis désolé.

quintumnia
la source
J'imagine que même dans un monde avec des créations artificiellement super intelligentes, il y aura toujours des moyens de pirater ces systèmes en utilisant des outils hautement spécialisés qui peuvent simplement surpasser les systèmes d'IA généralisés pour des tâches spécifiques.
krowe2
1

L'intelligence de tout type est vulnérable au piratage, qu'il soit basé sur l'ADN ou artificiel. Définissons d'abord le piratage. Dans ce contexte, le piratage est l'exploitation de faiblesses à des fins spécifiques qui peuvent inclure le statut, le gain financier, la perturbation des affaires ou du gouvernement, des informations qui peuvent être utilisées pour l'extorsion, le dessus dans un accord commercial ou une élection, ou une autre forme de contrôle ou de manipulation.

Voici des exemples de stratégies de piratage cérébral et leurs objectifs communs. Chacun d'eux a un équivalent de système numérique.

  • Propagande gouvernementale - respect prévisible
  • Arnaques - argent
  • Usurpation d'identité - réaction publique humoristique
  • Roll play - gagnez la confiance pour accéder ou manipuler
  • Centres de traitement de la douleur - exploitez la dépendance pour augmenter vos revenus

Certains s'inquiètent de ce qu'on a appelé la singularité, où des entités logicielles intelligentes peuvent être capables de pirater les humains et leurs structures sociales pour atteindre leurs propres fins. Que les humains puissent pirater les agents intelligents des autres humains est une autre possibilité évidente. Je ne pense pas que les données d'entraînement soient le seul point d'attaque.

  • Les matrices de paramètres peuvent être écrasées d'une manière difficile à détecter.
  • Les signaux de renforcement peuvent être altérés.
  • Des poches d'erreur connues dans les permutations d'entrée peuvent être exploitées.
  • La nature déterministe des systèmes numériques peut être exploitée par d'autres apprenants profonds en dupliquant le système formé et en recherchant des points de vulnérabilité hors ligne avant de les exécuter sur un réseau

Les possibilités énumérées dans la question méritent d'être examinées, mais ceci est ma version de la liste.

  • Meurtre par dysfonctionnement AV ou systèmes d'identification d'usurpation d'identité dans les pharmacies ou les hôpitaux
  • Détournement de grandes quantités de produits expédiés vers un destinataire qui ne les a pas payés
  • Génocide social en marginalisant des groupes spécifiques d'individus

La seule façon de l'empêcher est d'attendre un événement d'extinction mondial, mais il peut y avoir des moyens de l'atténuer. Tout comme le programme satan a été écrit pour trouver des vulnérabilités dans les systèmes UNIX, des systèmes intelligents peuvent être conçus pour trouver des vulnérabilités dans d'autres systèmes intelligents. Bien sûr, tout comme les modèles de programmation et les systèmes d'information conventionnels peuvent être conçus avec la sécurité à l'esprit, réduisant les vulnérabilités dans la mesure raisonnablement possible dès le premier jour, les systèmes d'IA peuvent être conçus avec cet objectif à l'esprit.

Si vous suivez le chemin d'information de n'importe quel système et envisagez les moyens de lire ou d'écrire le signal à n'importe quel point du chemin, vous pouvez vous prémunir contre ces points d'accès. De toute évidence, faire attention lors de l'acquisition de données à utiliser pour la formation est essentiel dans le cas mentionné dans cette question, et un cryptage approprié le long des voies d'information est nécessaire, tout en veillant à ce qu'aucun accès physique ne soit accordé au personnel non autorisé, mais je prévois des batailles entre les mesures et contre-mesures découlant de ces préoccupations et opportunités.

Douglas Daseeco
la source
0

Il existe de nombreuses façons de pirater une IA. Quand j'étais enfant, j'ai compris comment battre un ordinateur d'échecs. J'ai toujours suivi le même schéma, une fois que vous apprenez que vous pouvez l'exploiter. Le meilleur hacker du monde est un enfant de 4 ans qui veut quelque chose, il essaiera différentes choses jusqu'à ce qu'il établisse un modèle chez ses parents. Quoi qu'il en soit, obtenez un Ai pour apprendre les schémas d'une IA et, étant donné une combinaison donnée, vous pouvez déterminer le résultat. Il y a aussi simplement des défauts ou une porte dérobée dans le code, que ce soit exprès ou par hasard. Il y a aussi la possibilité que l'IA se pirate. Cela s'appelle un mauvais comportement, rappelez-vous encore le petit enfant ...

BTW est un moyen simple de faire en sorte que l'IA échoue toujours en sécurité ... quelque chose que les gens oublient.

Tony Lester
la source