Quand l'IA invente la jurisprudence
Le 27 mai 2023, Steven Schwartz, un avocat new-yorkais avec 30 ans d'expérience, a vécu le cauchemar professionnel de sa vie. Le juge a découvert que son mémoire juridique citait six affaires judiciaires qui n'existaient pas.
Ces affaires avaient été inventées par ChatGPT.
L'affaire Mata v. Avianca Airlines
Roberto Mata poursuivait Avianca Airlines pour une blessure. Son avocat, Steven Schwartz, a utilisé ChatGPT pour trouver des précédents juridiques.
Ce que ChatGPT a fourni
L'IA a généré des références apparemment légitimes :
- Varghese v. China Southern Airlines
- Shaboon v. Egyptair
- Petersen v. Iran Air
- Martinez v. Delta Airlines
- Estate of Durden v. KLM
- Miller v. United Airlines
Chaque cas était accompagné de résumés détaillés et de numéros de dossier. Tout avait l'air parfaitement authentique.
Le problème
Aucune de ces affaires n'existait.
ChatGPT avait halluciné — inventé de toutes pièces des affaires dans un format juridique impeccable.
La spirale de l'erreur
1. La confiance aveugle
Schwartz n'a jamais vérifié les sources.
"Je n'avais aucune idée qu'un chatbot pouvait inventer des informations" — Steven Schwartz
2. La double vérification... par ChatGPT
Quand la partie adverse a contesté, Schwartz a demandé à ChatGPT de confirmer. ChatGPT a confirmé — en continuant à mentir.
Le verdict
- Amende de 5 000 dollars
- Excuses personnelles aux six juges mentionnés
- Réputation professionnelle endommagée
"Un avocat qui utilise ces outils doit faire preuve de diligence raisonnable pour s'assurer de leur exactitude." — Juge P. Kevin Castel
Pourquoi ChatGPT hallucine-t-il ?
Les modèles de langage ne "savent" rien. Ils prédisent le prochain mot le plus probable.
Quand on leur demande quelque chose qu'ils ne connaissent pas, ils génèrent la réponse la plus plausible — même si elle est totalement inventée.
Les leçons à retenir
1. Toujours vérifier les sources
ChatGPT peut être un excellent outil de brainstorming, mais jamais une source de vérité.
2. Comprendre les limitations
Les LLM sont des générateurs de texte, pas des bases de données.
3. La responsabilité reste humaine
L'IA est un outil. La responsabilité du travail final reste entièrement humaine.
L'ironie suprême
L'affaire Mata v. Avianca Airlines est maintenant elle-même un précédent juridique fréquemment cité sur l'utilisation de l'IA.
ChatGPT a involontairement créé une vraie affaire importante en inventant de fausses affaires.
Cette affaire nous rappelle que l'IA, aussi impressionnante soit-elle, n'est pas une source de vérité.