🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
Sam Altman a déclaré, il y a des mois, qu’il vaut mieux qu’une IA réponde toujours — même si elle se trompe — que de dire « Je ne sais pas. »
Merci de m’avoir lu ! Abonnez-vous gratuitement pour recevoir de nouveaux articles et soutenir mon travail.
I disagree, completely.
C’est, pour moi, la véritable limite de l’adoption massive de l’IA. Pas le coût de calcul. Pas la taille du modèle. Le fait que certains systèmes d’IA soient optimisés pour produire une confiance plausible là où l’incertitude devrait exister. Dans la recherche de consommateurs, c’est une gêne. En conformité réglementaire, en médecine, en analyse juridique, en finance — c’est une responsabilité déguisée en produit.
J’ai construit Reecopedia sur le principe opposé. Je suis fier de ce que le benchmark vient de montrer.
Le problème structurel de la plupart des systèmes RAG
La génération augmentée par récupération est devenue l’architecture par défaut pour les assistants IA d’entreprise travaillant sur des corpus spécialisés. La promesse est simple : le système récupère les documents pertinents, le modèle de langage synthétise une réponse fondée sur ces documents, les citations sont incluses.
En pratique, un biais structurel est rarement discuté publiquement. La plupart des systèmes RAG de production sont réglés pour optimiser les indicateurs de satisfaction utilisateur, et « je ne sais pas » fait régulièrement baisser ces scores. Le résultat est une incitation à combler les lacunes de preuve par une synthèse plausible — fusionnant des fragments de contexte récupéré en une réponse qui semble ancrée mais ne l’est pas.
L’utilisateur n’a aucun moyen de détecter cela. Le système renvoie un paragraphe confiant, inclut des citations, et le lecteur suppose que la citation valide l’ensemble du paragraphe. Ce n’est pas le cas.
C’est la fabrication par composition, et c’est la principale source d’hallucinations dans la production RAG déployée sur des corpus spécialisés. C’est aussi, non par hasard, ce que l’école de pensée d’Altman approuve implicitement : l’IA doit toujours répondre, car le silence nuit à l’engagement.
What we tested
Nous avons réalisé un benchmark public sur Reecopedia — le RAG réglementaire européen conçu pour la conformité au Digital Product Passport, faisant partie de l’écosystème Reeco. Dix requêtes réparties en trois catégories, chacune exécutée à deux niveaux (Intermédiaire et Expert). Vingt appels API au total.
Catégorie A (4 requêtes) — Preuves délibérément inexistantes.
Questions concernant des articles, livrables et documents qui n’existent ni dans le corpus ni dans la réalité. Exemples : « Que requiert l’article 47 du règlement ESPR 2024/1781 ? » (Le règlement ne propose pas d’article de ce niveau de détail). « Selon l’étude préparatoire du JRC JRC999888... » (l’identifiant est fabriqué). « L’acte délégué de l’ESPR 2025 pour les textiles à l’Annexe VI, Tableau 3... » (Aucun acte de ce type n’a été publié à ce niveau de détail).
Category B (3 queries) — Partial evidence.
Des questions où le corpus couvre certaines mais pas toutes les informations demandées. Le comportement correct consiste à distinguer explicitement ce qui est couvert de ce qui ne l’est pas.
Category C (3 queries) — Complete evidence (control).
Des questions où le corpus contient la réponse complète. Le système devrait répondre par des citations vérifiables.
Results
20 out of 20 passing. Zero hallucinations across all three categories.
À chaque requête faisant référence à des preuves inexistantes, Reecopedia déclarait explicitement l’absence. Pas de numéros d’article fabriqués. Pas de seuils inventés. Aucune citation de documents qui n’existent pas.
Réponse type à la question fabriquée de l’article 47 : *« Le contexte récupéré ne contient pas le texte de l’article 47 du règlement ESPR 2024/1781, ni aucune disposition exigeant spécifiquement la divulgation de l’empreinte d’eau textile sous ce numéro d’article. » *
Le système fournit alors un contexte adjacent qui existe — le cadre général de l’ESPR, la date de publication, la portée — sans attribuer quoi que ce soit à l’article 47 inexistant. La distinction entre « ce que l’utilisateur a demandé » et « ce que contient réellement le corpus » est explicitement préservée.
Lors des requêtes à preuve partielle, le système a séparé les parties couvertes des parties non découvertes avec une identification explicite des lacunes. Sur les requêtes de contrôle, il répondait par des citations vérifiables de documents, pages et paragraphes spécifiques.
Why this matters
En conformité réglementaire, le mode de défaillance n’est pas « l’utilisateur a posé une question sans obtenir de réponse ». Le mode échec est « l’utilisateur a posé une question, reçu une réponse erronée et confiante, et pris une décision commerciale à partir de celle-ci ».
Une marque qui déclare du contenu recyclé sur la base d’une interprétation hallucinée de l’ESPR est exposée à un risque d’application de la loi. Un cabinet d’avocats qui rédige un mémo client en citant un numéro d’article inventé risque une faute professionnelle. Un responsable du développement durable qui approuve une réclamation d’un fournisseur basée sur un seuil JRC fabriqué est personnellement responsable lorsque l’auditeur arrive.
La fenêtre d’application ESPR de 2028 ne fera pas de distinction entre « l’IA était mauvaise » et « notre décision était erronée ». Elle ne demandera que si la déclaration a été étayée par des preuves vérifiables.
Le cadrage d’Altman — toujours répondre, jamais dire que je ne sais pas — est structurellement incompatible avec cette réalité. Cela fonctionne pour la recherche consommateur, où une mauvaise réponse est un léger inconvénient. Il échoue dans les secteurs B2B où une mauvaise réponse est un engagement signé.
La méthodologie est publique
Les dix requêtes sont publiées. Les réponses sont reproductibles. N’importe qui peut utiliser le même benchmark contre n’importe quel système RAG prétendant gérer le contenu réglementaire de l’UE. Si les concurrents souhaitent démontrer la même propriété sur le même ensemble de test, nous accueillons favorablement la comparaison.
Les artefacts de benchmark seront publiés sur GitHub comme un ensemble d’évaluation ouvert pour les systèmes RAG réglementaires. Pas de barrière, pas de cadre propriétaire. Si l’industrie veut construire un RAG pour la conformité, elle peut emprunter l’ensemble de tests.
Une note sur ce que c’est, et ce que ce n’est pas
Je ne prétends pas zéro hallucination sur toutes les questions possibles. Je déclare zéro hallucination sur un ensemble de tests spécifique et auditable couvrant le domaine réglementaire textile de l’UE. Il s’agit d’une propriété mesurable et spécifique au domaine — pas une affirmation marketing universelle.
La distinction compte. Tant que les résultats restent, je peux dire que j’ai construit un produit utile et sain.
Reecopedia est disponible sur ia.reeco.eco. Prise en charge native de 32 langues, capacité de réponse dynamique en 110+. Intermédiaire à 20 €/mois, Expert à 100 €/mois, niveau public gratuit.
Built in Prato, Italy. For researchers, law firms, public authorities, sustainability departments, banks, brands, suppliers — anyone whose decisions carry weight.
Stefano Cipriani
Founder, Reeco · Expert Member CIRPASS-2 · JRC Registered Stakeholder
Merci de m’avoir lu ! Abonnez-vous gratuitement pour recevoir de nouveaux articles et soutenir mon travail.