Entre hallucinations et distorsions historiques, ChatGPT et Gemini dérapent 😵‍💫

Click here to read in English

Les intelligences artificielles génératives sont de plus en plus utilisées, mais pouvons-nous leur faire confiance ? Des événements récents montrent que non.

ChatGPT devient fou 😵‍💫

Le 20 février dernier, ChatGPT est littéralement devenu fou. De nombreux utilisateurs de l’outil ont été témoins de comportements étranges de la part de l’IA générative d’OpenAI. Plusieurs témoignages des réponses de ChatGPT ont été recensés sur le réseau social Reddit.

« L’expérience commune de ces dernières heures semble être que les réponses commencent de manière cohérente, comme d’habitude, puis se transforment en non-sens, et parfois en non-sens shakespearien ».

Les utilisateurs ont constaté pendant des heures des réponses incohérentes de la part de l’IA. Entre mélange de langues et génération de contenus qui n’avaient rien à voir avec la commande de l’utilisateur, ChatGPT faisait vraiment n’importe quoi.

Suite à l’avalanche de témoignages, OpenAI a mené l’enquête et a livré ses conclusions.

Le 20 février 2024, une optimisation de l’expérience utilisateur a introduit un bogue dans la façon dont le modèle traite le langage. Les LLM génèrent des réponses en échantillonnant des mots de manière aléatoire, en partie sur la base de probabilités. Leur « langage » consiste en des nombres qui correspondent à des jetons.

Dans ce cas, le bogue se situe à l’étape où le modèle choisit ces nombres.

Gemini n’a pas l’air de s’y connaître en histoire 🤨

Google enchaîne décidément les boulettes avec son Chatbot censé concurrencer ChatGPT, Gemini. Auparavant nommé Bard, il avait déjà fait l’objet d’un bad buzz lors de son lancement (Cliquez ici pour découvrir pourquoi). Mais le plus récent est encore pire.

Depuis début février, il est possible pour les utilisateurs américains de Gemini de générer des images. Si c’est une étape importante pour le chatBot de Google, tout ne s’est pas passé comme prévu. En effet, des utilisateurs ont eu une mauvaise surprise en essayant de générer des personnages historiques. Par exemple, en tapant « soldats allemands en 1943 », des Américains ont eu la mauvaise surprise de voir apparaître des soldats nazis noirs. Sauf que c’est tout bonnement impossible au vu du contexte historique.

© Google. Capture d’écran. Images générées par Gemini – Requête : soldats allemands en 1943.

Mais ce n’est pas tout. Gemini a aussi tendance à générer des vikings noirs, ou encore des femmes parmi les pères fondateurs de l’Amérique. Il n’en fallait pas plus pour embraser la toile américaine. Depuis l’incident, la génération d’images a été tout simplement désactivée. Google s’est exprimé sur le sujet.

Nous nous efforçons d’améliorer immédiatement ce type de représentation. La génération d’images par l’IA de Gemini génère un large éventail de personnes. Et c’est généralement une bonne chose, car des gens du monde entier l’utilisent. Mais dans le cas présent, il n’est pas à la hauteur.

Attention aux IA ⚠️

Bien que malheureux, ces dérapages des IA génératives ont au moins le mérite d’attirer notre attention sur les imperfections de cette technologie. Dans le cas de ChatGPT, une mise à jour a rendu fou le chatbot. Dans le cas de Gemini, c’est la base même de l’IA qui n’est pas bonne.

Comme expliqué dans une précédente Question Aux Griots (disponible en cliquant ici), les IA génératives ne sont pas intelligentes. Il s’agit uniquement de systèmes et d’algorithmes complexes entraînés et configurés à partir de quantités astronomiques de données. Ces données, collectées sur le web, sont bourrées de stéréotypes et de biais. Et ces derniers se retrouvent très souvent dans les résultats générés par ces IA. Dans le cas de Google et Gemini, on imagine que la société de Mountain View a voulu configurer son IA de manière à réduire les stéréotypes envers certaines personnes et communautés. Malheureusement, c’est l’inverse qui s’est produit.

Que ce soit ChatGPT ou Gemini, on a encore une nouvelle fois des preuves que ces outils sont loin d’être parfaits. Leurs erreurs, appelées « hallucinations », doivent être un rappel pour chacun d’entre nous que les IA ne sont pas des entités omniscientes, mais uniquement des machines imparfaites.