"Humain ou pas" : des millions de personnes viennent de participer à un test de Turing en ligne

Jul 01, 2023

L'intelligence artificielle (IA) a déjà passé de nombreux tests, prouvant qu'ils sont meilleurs que les humains pour réussir les tests CAPTCHA en ligne « Je ne suis pas un robot ». Mais pourront-ils réussir le test de Turing ?

Le test de Turing (que le célèbre mathématicien et informaticien Alan Turing a appelé à l'origine et beaucoup plus modestement The Imitation Game) consiste à séparer un participant humain d'un interlocuteur et à lui demander de déterminer s'il est humain ou IA. Dans la version originale, un évaluateur humain voit la conversation textuelle entre un humain et une IA et doit déterminer lequel est lequel.

Dans des modifications ultérieures de l’expérience de pensée, les expérimentateurs ont directement testé les chatbots, en demandant à l’évaluateur de parler lui-même à l’IA. Dans l’une de ces expériences récentes – menée à la suite d’une explosion de chatbots à grand modèle de langage (LLM) tels que Chat GPT et Google Bard – plus d’un million d’humains ont pu participer.

L'équipe, dans un article préliminaire qui n'a pas encore été évalué par des pairs, a détaillé comment elle a créé un jeu de roulette. Les volontaires pouvaient aller jouer à un jeu en ligne appelé Human or Not, dans lequel leur seule tâche était de déterminer s'ils parlaient à une IA ou à un autre humain. Le jeu leur attribuerait soit un autre joueur, soit une IA.

L’équipe a créé des histoires pour les robots, qui ont été créées à l’aide de plusieurs IA de chat différentes.

"Nous avons créé une gamme diversifiée de robots, chacun avec sa personnalité et son objectif uniques", a écrit l'équipe dans son étude. "Nous étions motivés par le désir de rendre les conversations intéressantes et moins répétitives pour les utilisateurs récurrents, et de masquer les signes révélateurs de la présence de robots, rendant ainsi la détection plus difficile."

L'un de ces personnages inclus dans le journal – Adam – doit essayer de convaincre les autres utilisateurs qu'il est eux du futur. Bien que cela ne ressemble peut-être pas au genre de chose que les humains feraient, cela pourrait être le genre de chose qu'un humain prétendant être une IA ferait, ajoutant à la difficulté et au plaisir du jeu.

Au cours du premier mois, ils ont obtenu plus de 10 millions de suppositions provenant de 1,5 million d'utilisateurs uniques, ce qui en fait un ensemble de données décent à analyser.

"À partir du vaste bassin d'interactions, nous avons identifié plusieurs types de joueurs humains qui excellaient dans différents aspects du jeu : des joueurs capables de reconnaître leurs semblables, des joueurs qui signalaient de manière convaincante leur propre humanité et des joueurs qui se faisaient passer pour des robots de manière magistrale."

Les humains participant à l’expérience ont prêté beaucoup d’attention aux fautes de frappe et à l’argot, estimant qu’ils ne proviendraient généralement pas d’une machine, mais beaucoup d’entre eux ont également été simulés par les chatbots IA. Lorsque les humains essayaient de convaincre leurs partenaires qu’ils étaient humains, ils utilisaient souvent plus d’argot et plus de fautes de frappe, tout en répondant à des questions personnelles et émotionnelles.

"Une approche plus distinctive impliquait l'utilisation d'un langage grossier, l'expression d'opinions controversées et la diffusion de messages auxquels les robots IA ont tendance à éviter de répondre", ont-ils écrit, ajoutant que "l'utilisation d'un langage grossier révélait l'humanité d'un joueur dans 86,7% du temps".

Dans l’ensemble, les humains ont deviné correctement l’identité de leurs partenaires dans seulement 68 % des jeux. Lorsque leur adversaire était un chatbot, ils devinaient correctement dans 60 % des cas, tandis que dans 73 % des cas, ils étaient capables d'identifier correctement qu'ils parlaient à un compagnon humain.

L'équipe reconnaît que le test a ses limites, notamment que la nature du jeu a probablement éveillé les soupçons des participants et affecté leurs stratégies dans les conversations, mais a déclaré qu'il donnait un aperçu des stratégies que les humains utilisent pour identifier si nous parlons à un autre humain ou à un autre. une machine.

L'article est disponible sur le serveur de pré-impression arXiv.