Les hallucinations de Chat-GPT
Comment les minimiser ?
Bonjour,
Si vous trouvez cette newsletter utile, vous pouvez vous abonner et la partager. N'hésitez pas à me faire part de vos questions et vos feedbacks. Merci !
Vous êtes sûrement tombés sur des exemples d’hallucination de Chat-GPT. Les hallucinations sont des outputs des LLMS (Large Language Models) : des réponses contradictoires, incorrectes ou fabriquées de A à Z. Ce sont des erreurs, mais la hype qui vient de la Silicone Valley veut qu’on dise ‘hallucinations’.
Les causes :
Les données d’entraînement : la qualité des données et la fiabilité des sources (Scrapper tout Reddit représente un risque sur la qualité de la data).
Les méthodes de génération de texte : peu importe la méthode (reinforcement learning ou maximum likelihood estimation, etc.) chacune a des inconvénients. Les LLMs ont la tâche de prédire le mot suivant selon une fenêtre de contexte. C’est une question de probabilité et non pas de logique ou de vérité.
Les prompts utilisés : la manière dont on formule les questions a un impact sur les réponses. Ce qui a donné le nouveau métier du Prompt Engineer avec des salaires alléchants.
Quelques techniques pour minimiser les ‘hallucinations’ :
Formuler des questions claires et précises en s’appuyant sur des techniques du Prompt Engineering : chain of thought prompting, low temperature, etc. ou embaucher un Prompt Engineer.
Définir le contexte via des multi-prompts (multi-shots prompts) : plusieurs exemples sont donnés en input pour montrer ce qu’on cherche à recevoir comme réponse.
Knowledge Base : fournir des données sur lesquelles il faut se baser pour apporter une réponse.
Les LLMs sont des Modèles de Fondation en intelligence artificielle. Et comme tout domaine naissant, il y a beaucoup plus de questions que de réponses. Les années ou seulement les mois à venir apporteront plus de clarifications.
Merci de m’avoir lu.
N’hésiter pas à me faire un feedback ou me dire ce qui pourrait vous intéresser comme sujet.
A bientôt!
Sofia