L'article The Limitations of Deep Learning in Adversarial Settings explore comment les réseaux de neurones peuvent être corrompus par un attaquant qui peut manipuler l'ensemble de données avec lequel le réseau de neurones s'entraîne. Les auteurs expérimentent un réseau neuronal destiné à lire des chiffres manuscrits, sapant sa capacité de lecture en déformant les échantillons de chiffres manuscrits avec lesquels le réseau neuronal est formé.
Je crains que des acteurs malveillants ne tentent de pirater l'IA. Par exemple
- Tromper les véhicules autonomes pour mal interpréter les panneaux d'arrêt par rapport à la limite de vitesse.
- Contourner la reconnaissance faciale, comme celles de l'ATM.
- Contourner les filtres anti-spam.
- Analyse des sentiments trompeurs des critiques de films, des hôtels, etc.
- Contournement des moteurs de détection d'anomalies.
- Fausses commandes vocales.
- Mauvais classement des prévisions médicales basées sur l'apprentissage automatique.
Quel effet contradictoire pourrait perturber le monde? Comment pouvons-nous l'empêcher?
neural-networks
deep-learning
philosophy
generative-adversarial-networks
ai-safety
Surya Sg
la source
la source
Réponses:
L'IA est vulnérable sous deux angles de sécurité à mon avis:
La méthode classique d'exploitation des erreurs de programmation pure et simple pour obtenir une sorte d'exécution de code sur la machine qui exécute l'IA ou pour extraire des données.
Tromperie grâce à l'équivalent d'illusions d'optique AI pour la forme particulière de données que le système est conçu pour traiter.
Le premier doit être atténué de la même manière que tout autre logiciel. Je ne sais pas si l'IA est plus vulnérable sur ce front que les autres logiciels, je serais enclin à penser que la complexité augmente peut-être légèrement le risque.
La seconde est probablement mieux atténuée à la fois par le raffinement minutieux du système, comme indiqué dans certaines des autres réponses, mais aussi par une plus grande sensibilité du système au contexte; de nombreuses techniques contradictoires reposent sur l'évaluation des intrants dans le vide.
la source
Programmeur vs programmeur
C'est une «guerre à l'infini»: programmeurs contre programmeurs. Tout peut être piraté. La prévention est liée au niveau de connaissance du professionnel en charge de la sécurité et des programmeurs en sécurité applicative.
Par exemple, il existe plusieurs façons d'identifier un utilisateur qui essaie de gâcher les mesures générées par Sentiment Analysis, mais il existe également des moyens de contourner ces étapes. C'est un combat assez ennuyeux.
Agent contre agent
Un point intéressant que @DukeZhou a soulevé est l'évolution de cette guerre, impliquant deux intelligences artificielles (agents). Dans ce cas, la bataille est l'une des plus bien informées. Quel est le modèle le mieux formé, vous savez?
Cependant, pour atteindre la perfection dans le domaine de la vulnérabilité, l'intelligence artificielle ou la super intelligence artificielle surpassent la capacité de contourner l'humain. C'est comme si la connaissance de tous les hacks à ce jour existait déjà dans l'esprit de cet agent et qu'il a commencé à développer de nouvelles façons de contourner son propre système et de développer la protection. Complexe, non?
Je pense qu'il est difficile d'avoir une IA qui pense: "Est-ce que l'humain va utiliser une photo au lieu de mettre son visage pour être identifié?"
Comment pouvons-nous l'empêcher
Avoir toujours un humain pour superviser la machine, et pourtant elle ne sera pas efficace à 100%. Ceci sans tenir compte de la possibilité qu'un agent puisse améliorer seul son propre modèle.
Conclusion
Je pense donc que le scénario fonctionne de cette façon: un programmeur essaie de contourner les validations d'une IA et le développeur IA acquérant des connaissances par le biais de journaux et de tests tente de construire un modèle plus intelligent et plus sûr en essayant de réduire les risques d'échec.
la source
Il existe plusieurs ouvrages sur la vérification de l'IA. Les vérificateurs automatiques peuvent prouver les propriétés de robustesse des réseaux de neurones. Cela signifie que si l'entrée X du NN n'est pas plus perturbée que sur une limite donnée ε (dans une certaine métrique, par exemple L2), alors le NN donne la même réponse à ce sujet.
Ces vérificateurs sont effectués par:
Cette approche peut aider à vérifier les propriétés de robustesse des réseaux de neurones. L'étape suivante consiste à construire un tel réseau de neurones, qui a nécessité une robustesse. Certains des articles ci-dessus contiennent également des méthodes pour le faire.
Il existe différentes techniques pour améliorer la robustesse des réseaux de neurones:
formation contradictoire (voir par exemple A. Kurakin et al., ICLR 2017 )
distillation défensive (voir par exemple N. Papernot et al., SSP 2016 )
Défense MMSTV ( Maudry et al., ICLR 2018 ).
Au moins, le dernier peut rendre NN plus robuste. Plus de littérature peut être trouvée ici .
la source
Je pense que oui, aucun système n'est sûr, mais je ne suis pas sûr de pouvoir le dire après 20-30 ans de développement / évolution de l'IA. Quoi qu'il en soit, il y a des articles qui montrent des humains trompant l'IA (vision par ordinateur).
https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google
https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms
la source
Inversez votre question un instant et pensez:
À la fin de la journée, le logiciel est un logiciel et il y aura toujours des bogues et des problèmes de sécurité. Les IA sont à risque pour tous les problèmes auxquels sont confrontés les logiciels non IA, étant donné que l'IA ne lui confère pas une sorte d'immunité.
Quant à la falsification spécifique à l'IA, l'IA risque d'être alimentée en fausses informations. Contrairement à la plupart des programmes, la fonctionnalité de l'IA est déterminée par les données qu'elle consomme.
Pour un exemple concret, il y a quelques années, Microsoft a créé un chatbot AI appelé Tay. Il a fallu moins de 24 heures aux gens de Twitter pour lui apprendre à dire "Nous allons construire un mur, et le Mexique va payer pour cela":
(Image tirée de l'article de Verge lié ci-dessous, je n'en revendique aucun crédit.)
Et ce n'est que la pointe de l'iceberg.
Quelques articles sur Tay:
Imaginez maintenant que ce n'était pas un bot de chat, imaginez que c'était un élément important de l'IA d'un avenir où l'IA est responsable de choses comme ne pas tuer les occupants d'une voiture (c'est-à-dire une voiture autonome) ou ne pas tuer un patient la table d'opération (c'est-à-dire une sorte d'équipement d'assistance médicale).
Certes, on pourrait espérer que de telles IA seraient mieux protégées contre de telles menaces, mais en supposant que quelqu'un ait trouvé un moyen de nourrir une telle masse d'IA de fausses informations sans être remarqué (après tout, les meilleurs pirates ne laissent aucune trace), cela pourrait véritablement signifier la différence entre la vie et la mort.
En utilisant l'exemple d'une voiture autonome, imaginez si de fausses données pourraient faire croire à la voiture qu'elle devait faire un arrêt d'urgence sur une autoroute. L'une des applications de l'IA médicale concerne les décisions de vie ou de mort aux urgences, imaginez si un pirate pourrait faire pencher la balance en faveur d'une mauvaise décision.
En fin de compte, l'ampleur du risque dépend de la façon dont les humains deviennent dépendants de l'IA. Par exemple, si les humains prenaient le jugement d'une IA et ne le mettaient jamais en doute, ils s'ouvriraient à toutes sortes de manipulations. Cependant, s'ils utilisent l'analyse de l'IA comme une seule partie du puzzle, il deviendrait plus facile de repérer lorsqu'une IA est erronée, que ce soit par des moyens accidentels ou malveillants.
Dans le cas d'un décideur médical, ne vous fiez pas seulement à l'IA, effectuez des tests physiques et obtenez également des opinions humaines. Si deux médecins ne sont pas d'accord avec l'IA, jetez le diagnostic de l'IA.
Dans le cas d'une voiture, une possibilité est d'avoir plusieurs systèmes redondants qui doivent essentiellement «voter» sur ce qu'il faut faire. Si une voiture avait plusieurs IA sur des systèmes distincts qui doivent voter sur l'action à entreprendre, un pirate devrait supprimer plus d'une IA pour prendre le contrôle ou provoquer une impasse. Surtout, si les IA fonctionnaient sur différents systèmes, la même exploitation utilisée sur l'un ne pourrait pas être effectuée sur un autre, augmentant encore la charge de travail du pirate.
la source
Je suis d'accord avec Akio qu'aucun système n'est complètement sûr, mais le système à retenir est que les systèmes d'IA sont moins sujets aux attaques lorsqu'ils se comparent aux anciens systèmes en raison de la capacité de s'améliorer constamment.
Au fur et à mesure que le temps passe, de plus en plus de gens vont sur le terrain apporter de nouvelles idées et du matériel s'améliorera pour devenir une "IA forte".
la source
L'intelligence artificielle est-elle vulnérable au piratage?
allusion; si vous dites que l'IA est vulnérable, alors je ne suis pas d'accord avec vous ici par une telle déclaration. L'intelligence artificielle est divisée en trois catégories ni phases que nous sommes censés traverser, c'est-à-dire.
intelligence artificielle étroite
intelligence artificielle générale
super intelligence artificielle
Par conséquent, selon votre déclaration; "Je crains que des acteurs malveillants ne tentent de pirater l'IA ....."
donné par les exemples dans votre corps de message, nous sommes au niveau de l'intelligence artificielle étroite, où par un pirate humain peut tordre son / code malveillant pour envahir de telles applications, à ce niveau.Cependant, si nous sautons directement au niveau final d'Artificiel Intelligence; alors par tous les moyens, un être humain ne peut pas envahir ni pirater un logiciel super intelligent ou un agent super intelligent de haute technologie. Par exemple; un pirate humain, fait une chose à la fois, rien n'empêche une intelligence artificielle de se concentrer et de faire beaucoup de personnel simultanément, il est difficile d'appuyer un esprit qui fonctionne avec précision comme ça
Pour ton information
imaginez simplement vivre dans une nouvelle société qui est de haute technologie. Découvrez le cyber grand défi
Si vous avez manqué cet événement, je suis désolé.
la source
L'intelligence de tout type est vulnérable au piratage, qu'il soit basé sur l'ADN ou artificiel. Définissons d'abord le piratage. Dans ce contexte, le piratage est l'exploitation de faiblesses à des fins spécifiques qui peuvent inclure le statut, le gain financier, la perturbation des affaires ou du gouvernement, des informations qui peuvent être utilisées pour l'extorsion, le dessus dans un accord commercial ou une élection, ou une autre forme de contrôle ou de manipulation.
Voici des exemples de stratégies de piratage cérébral et leurs objectifs communs. Chacun d'eux a un équivalent de système numérique.
Certains s'inquiètent de ce qu'on a appelé la singularité, où des entités logicielles intelligentes peuvent être capables de pirater les humains et leurs structures sociales pour atteindre leurs propres fins. Que les humains puissent pirater les agents intelligents des autres humains est une autre possibilité évidente. Je ne pense pas que les données d'entraînement soient le seul point d'attaque.
Les possibilités énumérées dans la question méritent d'être examinées, mais ceci est ma version de la liste.
La seule façon de l'empêcher est d'attendre un événement d'extinction mondial, mais il peut y avoir des moyens de l'atténuer. Tout comme le programme satan a été écrit pour trouver des vulnérabilités dans les systèmes UNIX, des systèmes intelligents peuvent être conçus pour trouver des vulnérabilités dans d'autres systèmes intelligents. Bien sûr, tout comme les modèles de programmation et les systèmes d'information conventionnels peuvent être conçus avec la sécurité à l'esprit, réduisant les vulnérabilités dans la mesure raisonnablement possible dès le premier jour, les systèmes d'IA peuvent être conçus avec cet objectif à l'esprit.
Si vous suivez le chemin d'information de n'importe quel système et envisagez les moyens de lire ou d'écrire le signal à n'importe quel point du chemin, vous pouvez vous prémunir contre ces points d'accès. De toute évidence, faire attention lors de l'acquisition de données à utiliser pour la formation est essentiel dans le cas mentionné dans cette question, et un cryptage approprié le long des voies d'information est nécessaire, tout en veillant à ce qu'aucun accès physique ne soit accordé au personnel non autorisé, mais je prévois des batailles entre les mesures et contre-mesures découlant de ces préoccupations et opportunités.
la source
Il existe de nombreuses façons de pirater une IA. Quand j'étais enfant, j'ai compris comment battre un ordinateur d'échecs. J'ai toujours suivi le même schéma, une fois que vous apprenez que vous pouvez l'exploiter. Le meilleur hacker du monde est un enfant de 4 ans qui veut quelque chose, il essaiera différentes choses jusqu'à ce qu'il établisse un modèle chez ses parents. Quoi qu'il en soit, obtenez un Ai pour apprendre les schémas d'une IA et, étant donné une combinaison donnée, vous pouvez déterminer le résultat. Il y a aussi simplement des défauts ou une porte dérobée dans le code, que ce soit exprès ou par hasard. Il y a aussi la possibilité que l'IA se pirate. Cela s'appelle un mauvais comportement, rappelez-vous encore le petit enfant ...
BTW est un moyen simple de faire en sorte que l'IA échoue toujours en sécurité ... quelque chose que les gens oublient.
la source