Pourquoi une IA devrait-elle «effacer la race humaine»?

Je lis tellement de bêtises sur la façon dont une IA transformerait le monde en un superordinateur pour résoudre un problème qu'elle pensait devoir résoudre. Ce ne serait pas de l'IA. C'est une programmation procédurale coincée dans un non-sens en boucle. Une IA devrait évoluer et réorganiser ses neurones. Il ne serait pas bloqué en hardcode s'il devient intelligent en réécrivant son code.

C'est un effet secondaire possible

Tout agent axé sur les objectifs pourrait, tout simplement, simplement faire des choses qui atteignent ses objectifs tout en ignorant les effets secondaires qui n'ont pas d'importance pour ces objectifs.

Si mes objectifs incluent un espace de vie bien rangé, je peux transformer ma cour en une belle pelouse ou un trottoir plat tout en effaçant l'écosystème complexe de la vie qui était là auparavant, parce que je ne m'en soucie pas particulièrement.

Si les objectifs d'une IA puissante particulière incluent de faire quoi que ce soit à grande échelle et ne se soucient pas particulièrement de l'écosystème complexe actuel, alors cet écosystème pourrait être anéanti dans le processus. Il n'a pas besoin de vouloir ou de nous anéantir. Si nous ne sommes tout simplement pas pertinents pour ses objectifs, alors nous sommes faits de matériaux et occupons un espace qu'il pourrait vouloir utiliser pour autre chose.

Nous menaçons la plupart des objectifs

Tout agent axé sur les objectifs peut vouloir s'assurer qu'il peut atteindre ses objectifs. Tout agent intelligent essaiera d'anticiper les actions d'autres agents susceptibles de les empêcher d'atteindre ces objectifs et prendra des mesures pour garantir leur réussite de toute façon. Dans de nombreux cas, il est plus simple d'éliminer ces autres agents plutôt que de s'assurer que leurs efforts échouent.

Par exemple, mes objectifs peuvent inclure le stockage d'un sac de sucre dans une maison de campagne afin que je puisse faire des crêpes lors de la visite sans apporter tous les ingrédients à chaque fois. Cependant, si je le laisse là, il est susceptible d'être mangé par des rats pendant l'hiver. Je peux prendre toutes sortes de précautions pour mieux le stocker, mais les rats sont intelligents et astucieux, et il y a clairement une chance non triviale qu'ils réussiront quand même à atteindre leur objectif, donc une précaution supplémentaire efficace est de tuer les rats avant d'avoir une chance essayer.

Si les objectifs d'une IA puissante particulière sont de faire X; il peut arriver que (certains?) les humains ne désirent pas X mais Y à la place. Il peut également facilement en déduire que certains de ces humains pourraient activement faire des choses qui empêchent X et / ou essayer de désactiver l'IA. Faire des choses qui garantissent que l'objectif est atteint est à peu près ce que fait un agent de recherche d'objectifs; dans ce cas, si l'existence des humains n'est pas strictement nécessaire à l'objectif X, leur élimination devient alors une stratégie solide de réduction des risques. Ce n'est pas strictement nécessaire et cela peut prendre toutes sortes d'autres précautions également, mais tout comme dans mon exemple de rats, les humains sont intelligents et astucieux et il y a clairement une chance non triviale qu'ils réussiront toujours à atteindre leur objectifs (afin que X ne se produise pas comme l'IA le prévoit), une précaution supplémentaire efficace pourrait donc être de les tuer avant qu'ils aient la chance d'essayer.

Ce n'est pas nécessairement un non-sens. Tout dépend des critères imposés. Imaginez ce qui suit. Disons qu'un système d'IA avancé est conçu pour contrôler la stabilité de la faune et de la flore locales (zone enfermée dans une sorte de dôme). Il peut contrôler la pression sous le dôme, la quantité de lumière qui traverse le dôme, etc. - tout ce qui garantit des conditions optimales. Maintenant, disons que le dôme est habité par diverses espèces, y compris les humains. Il convient de noter que de simples implémentations de tels systèmes sont déjà utilisées de nos jours.

Étant donné que les humains ont tendance à détruire et à abuser des ressources naturelles ainsi qu'à polluer l'environnement, le système peut décider que la diminution de la population de l'espèce donnée (les humains dans ce cas) peut à long terme bénéficier à l'ensemble du biome.

Le même principe peut être appliqué à l'échelle mondiale. Cependant, cela suppose que toutes les espèces (y compris les humains) sont traitées sur un pied d'égalité et l'objectif ultime de l'IA est d'assurer la stabilité du biome dont il "s'occupe". Les gens font de telles choses de nos jours - nous contrôlons la population de certaines espèces afin de maintenir l'équilibre - les loups, les poissons, pour n'en nommer que quelques-uns.

J'ai l'impression que la plupart des scénarios sur l'élimination de l'IA dans le monde entrent dans l'une des deux catégories suivantes:

1. IA anthropomorphisées

ou

2. Un ordinateur intelligent mais stupide géré par Amuck

Dans le cas (1), les gens parlent du fait que l'IA devient "maléfique" et leur attribuent d'autres éléments humains. Je considère cela comme étant principalement de la science-fiction et je ne pense pas que cela mérite une discussion sérieuse. Autrement dit, je ne vois aucune raison particulière de supposer qu'une intelligence artificielle - quelle que soit son intelligence - se comportera nécessairement comme un humain.

Le cas (2) a plus de sens pour moi. C'est l'idée qu'une IA est, par exemple, mise en contrôle des silos de missiles nucléaires et finit par lancer les missiles parce qu'elle faisait juste son travail, mais a raté quelque chose qu'un humain aurait remarqué via ce que nous pourrions appeler le "bon sens" ". D'où le surnom "Intelligent but Dumb".

Aucun de ces éléments ne me semble terriblement alarmant, car (1) est probablement de la fiction et (2) n'implique aucune intention malveillante réelle de la part de l'IA - ce qui signifie qu'elle n'essaiera pas activement de nous tromper ou de contourner toute sécurité découpes, etc.

Maintenant, si quelqu'un construit une IA et décide de la programmer intentionnellement afin qu'elle développe des caractéristiques humaines comme l'arrogance, l'ego, la cupidité, etc ... eh bien, tous les paris sont désactivés.

L'IA est déjà utilisée comme arme - pensez aux drones.

Je soupçonne qu'un scénario "des robots envahissent le monde" a la probabilité la plus élevée s'il a une étape intermédiaire. Cette étape intermédiaire pourrait être «les humains envahissent le monde avec des robots».

Cela peut aller quelque part dans une fausse direction.

Je soupçonne que ce n'est sûrement pas aussi loin qu'il y paraît. Considérez que les États-Unis ont actuellement 8000 drones. Et s'il en aurait 8 millions? Un petit groupe capable de les contrôler pourrait conquérir le monde. Ou les petits groupes contrôlant différentes parties de la flotte pourraient se battre les uns contre les autres. Ils ne devraient pas être tous aux États-Unis - au moment où les États-Unis auront cette flotte, d'autres pays développeront également la leur.

Btw, une prise de contrôle mondiale me semble irréelle - les chefs militaires peuvent peut-être passer les pilotes humains aux drones, ce n'est pas leur travail. Mais le "contrôle de haut niveau", c'est-à-dire pour déterminer, quoi faire, qui sont les cibles, ces décisions qu'ils ne donneront jamais de leurs mains.

À côté de cela, les robots n'ont pas d'objectif à long terme. Nous, les humains, avons.

Ainsi, je ne considère pas une prise de contrôle de type skynet très réaliste, mais une "erreur" de style chernobyl d'une commande mal interprétée, qui se traduit par le déchaînement imparable de la flotte, ne me semble pas impossible.