«Eugene Goostman» a-t-il vraiment réussi le test de Turing?

On dit qu'Eugene Goostman, un programme informatique développé pour simuler un garçon de 13 ans, a réussi à convaincre 33% des juges qu'il était humain et a ainsi passé le test de Turing.

Le programme informatique, alias un chatbot, faisait semblant d'être un garçon ukrainien de 13 ans pour qui l'anglais était une deuxième langue - quelque chose de très différent en effet.

Pour moi, Eugene ressemble exactement à un chatbot médiocre: répétitif, insensé et jonché de non-séquentiels. Je ne sais pas comment cela a convaincu les juges (qui semblent peu professionnels).

Beaucoup de gens ont critiqué Eugene comme le professeur Stevan Harnad qui a dit "C'est un non-sens" et "Nous n'avons pas réussi le test de Turing. Nous ne sommes même pas proches".

Les opinions divergent, mais j'aimerais vraiment savoir s'il a officiellement réussi le test?

On dit également que:

Deux prix uniques qui n'ont jamais été décernés. 25K est offert pour le premier chatterbot que les juges ne peuvent pas distinguer d'un vrai humain et qui peut convaincre les juges que l'humain est le programme informatique. 100 000 $ est la récompense pour le premier chatterbot que les juges ne peuvent pas distinguer d'un vrai humain dans un test de Turing qui comprend le déchiffrement et la compréhension des entrées textuelles, visuelles et auditives. Une fois cet objectif atteint, le concours annuel prendra fin.

Est-ce que cela signifie qu'Eugene a gagné 25 000 $?

Il n'y a pas de «test de Turing officiel», il n'y a donc pas de concept de «réussir officiellement le test». Turing a décrit une méthodologie que l'on pourrait utiliser pour évaluer les intelligences artificielles. Les organisateurs de l'événement remporté par Eugene Goostman ont mis en œuvre cette méthodologie d'une manière particulière et le programme a satisfait aux critères choisis par les organisateurs. En ce sens, il a réussi le test.

Puisqu'il n'y a pas de "test de Turing officiel", il pourrait être plus approprié de dire qu'Eugene Goostman a réussi un test de Turing ou même un test de style Turing. Il est peu probable que les médias revenir sur ces subtilités, surtout compte tenu de la renommée de Turing et l'idée de « l' épreuve de Turing » dans la conscience publique.

Je pense que les prix dont vous parlez sont le prix Loebner . Selon la page Wikipédia (voir lien précédent), le gagnant pour 2014 est 'Rose' de Bruce Wilcox. Ce programme n'a pas remporté l'un des prix uniques, mais a obtenu 4 000 $ en prix. «Eugene Goostman» a concouru en 2005 et 2008, terminant deuxième à deux reprises.

Le concours «Eugene Goostman» remporté a été organisé par Kevin Warwick de l'Université de Coventry pour marquer 60 ans depuis le décès d'Alan Turing. Je ne connais aucun prix en argent.

Découvrez la vision de Ray Kurzweil sur le concours et le programme en question. Extrait:

Le professeur Warwick affirme que le test était «sans restriction». Cependant, le fait que le chatbot se déclare être un enfant de 13 ans, et pour lequel l'anglais n'est pas une langue maternelle, est effectivement une restriction. De plus, les interactions auraient été limitées à cinq minutes chacune. Il y a une forte probabilité de tromper les juges naïfs en si peu de temps.

J'ai discuté avec le chatbot Eugene Goostman et je n'ai pas été impressionné. Eugene ne suit pas la conversation, se répète mot à mot et répond souvent avec un chatbot non séquencé typique.

J'ai également trouvé que c'était un bon commentaire: WIRED - Cet ordinateur a en fait obtenu un F sur le test de Turing

Ajout d'un lien Wikipédia pour plus de détails sur le test de Turing "original" . Il existe de nombreux tests appelés "test de Turing". Wikipedia mentionne "au moins 3 versions primaires". Le test réussi par Eugeene n'est aucun de ces 3. Le test réussi par Eugeene n'a pas été conçu par Alan Turing, mais c'était un test appelé Turing test, inspiré par Alan Turing, et Eugeene l'a réussi.

La partie mentionnant au moins 3 versions primaires du test de Turing:

Saul Traiger fait valoir qu'il existe au moins trois versions principales du test de Turing, dont deux sont proposées dans «Computing Machinery and Intelligence» et une qu'il décrit comme «l'interprétation standard». Bien qu'il y ait un débat quant à savoir si l '"interprétation standard" est celle décrite par Turing ou, au lieu de cela, basée sur une lecture erronée de son article, ces trois versions ne sont pas considérées comme équivalentes, et leurs forces et leurs faiblesses sont distinctes.

Version 1

Le jeu original de Turing décrit un simple jeu de société impliquant trois joueurs. Le joueur A est un homme, le joueur B est une femme et le joueur C (qui joue le rôle de l'interrogateur) est de l'un ou l'autre sexe. Dans le jeu d'imitation, le joueur C ne peut voir ni le joueur A ni le joueur B et ne peut communiquer avec eux que par le biais de notes écrites. En posant des questions au joueur A et au joueur B, le joueur C essaie de déterminer lequel des deux est l'homme et lequel est la femme. Le rôle du joueur A est d'inciter l'interrogateur à prendre la mauvaise décision, tandis que le joueur B essaie d'aider l'interrogateur à prendre la bonne décision.

Version 2

La deuxième version est apparue plus tard dans le document de Turing de 1950. Semblable au test du jeu d'imitation d'origine, le rôle du joueur A est joué par un ordinateur. Cependant, le rôle du joueur B est joué par un homme plutôt que par une femme. [...] Dans cette version, le joueur A (l'ordinateur) et le joueur B tentent de tromper l'interrogateur pour qu'il prenne une décision incorrecte.

Version 3

Il est communément admis que le but du test de Turing n'est pas spécifiquement de déterminer si un ordinateur est capable de tromper un interrogateur en lui faisant croire qu'il est un humain, mais plutôt si un ordinateur pourrait imiter un humain. Bien qu'il y ait un doute quant à savoir si cette interprétation était voulue par Turing - Sterrett pense qu'elle l'était et confond donc la deuxième version avec celle-ci, tandis que d'autres, comme Traiger, ne le font pas - cela a néanmoins conduit à ce qui peut être considéré comme le " interprétation standard. " Dans cette version, le joueur A est un ordinateur et le joueur B une personne des deux sexes. Le rôle de l'interrogateur n'est pas de déterminer lequel est un homme et lequel est une femme, mais qui est un ordinateur et lequel est un humain. Le problème fondamental de l'interprétation standard est que l'interrogateur ne peut pas différencier quel répondeur est humain et lequel est machine. Il y a des problèmes de durée, mais l'interprétation standard considère généralement cette limitation comme quelque chose qui devrait être raisonnable.

En revanche, le test réussi par Eugeene avait des juges humains discutant avec un chatbot pendant 5 minutes, après quoi ils devaient décider si c'était un bot ou non.

Oui, il a remporté "un" test de Turing qui a suivi le plus fidèlement possible la description originale d'Alan Turing.
Ce n'était cependant pas la version à 25 000 $ qui est le prix Loebner, dont les spécifications diffèrent de la description d'Alan Turing.
Plus important encore, Alan Turing n'a jamais voulu que ce soit un véritable test en premier lieu , donc le résultat n'est pas une preuve d'intelligence, si c'est ce que vous vouliez réellement savoir.