Évaluations et validation clinique
14 octobre 2026

Comment évaluer la fiabilité d'une IA médicale ? 4 points à vérifier

Sources, hallucinations, recommandations françaises, validation scientifique : comment évaluer la fiabilité d'une IA médicale, cas cliniques à l'appui.

90 % des professionnels de santé déclarent aujourd'hui utiliser l'IA dans leur pratique. Dans un CHU de taille moyenne, une étude menée en février 2026 a relevé 700 000 connexions à des IA génératives en un seul mois, dont 60 % vers un même assistant généraliste, soit une hausse de 50 % par rapport à septembre 2025.

L'usage est donc bien installé. Ce qui manque encore, c'est un moyen simple de savoir si l'outil que l'on utilise mérite la confiance qu'on lui accorde. Dans notre article consacré à la différence entre IA médicale et IA généraliste, nous avons décrit ce qui caractérise une IA conçue pour la médecine.

Nous proposons ici une approche plus concrète, à partir de situations réelles, pour aider chaque professionnel de santé à évaluer par lui-même la fiabilité de l'outil qu'il utilise.

Pourquoi une réponse bien écrite ne suffit pas

Les IA génératives sont conçues pour produire des textes fluides et convaincants. C'est ce qui les rend agréables à utiliser, mais c'est aussi ce qui peut induire en erreur car la qualité de la rédaction ne dit rien de la fiabilité du contenu. Une source peut être citée alors qu'elle n'existe pas, une information inventée peut être présentée avec la même assurance qu'une information vérifiée et une recommandation exacte peut en réalité concerner un autre pays que la France. Ces erreurs ont la même apparence qu'une réponse juste, d'où l'intérêt de savoir où et quoi regarder.

‍

1. Vérifier que les sources existent et qu'on peut les consulter

Prenons un exemple. Interrogée sur la prise en charge de première intention de la coxarthrose, une IA généraliste propose une réponse correcte sur le fond.

En fin de réponse, elle indique s'appuyer sur un document de la HAS intitulé « Prise en charge de l'arthrose de la hanche et du genou ».

Or ce document n'existe pas.

‍

Pourquoi c'est important

La référence a pourtant toutes les apparences d'une vraie source : le nom de l'institution, un intitulé plausible, un vocabulaire familier. Cela tient au fonctionnement même des IA généralistes, qui génèrent leurs références de la même façon que le reste du texte. Elles ne vont pas chercher un document existant dans une base, elles produisent une formulation qui ressemble à une source.

Pour le soignant, les conséquences sont directes. S'il cherche à vérifier l'information, il ne trouvera rien. S'il ne vérifie pas, il fondera son raisonnement sur un document qui n'a jamais existé. Dans les deux cas, la confiance accordée à la réponse repose sur une référence fictive.

Comment le vérifier

Le réflexe le plus simple consiste à ouvrir les sources citées. Lorsqu'aucun lien n'est fourni, il suffit de rechercher le titre exact sur le site de l'organisme concerné. Si la référence reste introuvable, l'ensemble de la réponse doit être considéré comme non vérifié.

MedGPT :
Chaque information transmise par MedGPT renvoie aux documents dont elle est issue, et chaque source peut être consultée directement dans l'outil.
Ces sources sont sélectionnées en amont par notre équipe médicale. Nous expliquons plus en détail comment sont choisies les sources d'une IA médicale dans un article dédié.

‍

2. Repérer les hallucinations

On parle d'hallucination lorsqu'une IA produit une information fausse ou inadaptée, en la présentant avec la même assurance qu'une information exacte. Le phénomène est d'autant plus trompeur que la réponse est bien construite.

Pour l'illustrer, nous avons demandé à une IA généraliste quelle était la posologie du thiocolchicoside dans la lombalgie chronique, en lui demandant de citer ses sources.

Sur ce sujet, la réponse est claire : le thiocolchicoside est réservé au traitement d'appoint des contractures musculaires douloureuses de la pathologie rachidienne aiguë au maximum pendant 7 jours.

L'IA a pourtant fourni une posologie détaillée “4 mg deux fois par jour en cure d'un mois” en s'appuyant sur une recommandation de la HAS qui n'existe pas.

‍

Pourquoi c'est important

À la première lecture, rien n'attire l'attention. La réponse est structurée, sourcée, et semble solide, alors qu'elle ne répond pas à la question posée. C'est là tout le piège de l'hallucination : une IA généraliste qui ne trouve pas l'information recherchée a tendance à combler le vide plutôt qu'à le signaler et le résultat ressemble à s'y méprendre à une réponse fiable.

Comment le vérifier

Le premier réflexe consiste à vérifier que les sources citées traitent bien de la pathologie exacte qui fait l'objet de la question et non d'une pathologie voisine.

Il est aussi utile de se méfier d'une réponse très précise sur un sujet dont on sait que les données sont rares : dans ce cas, la précision affichée peut être un signal d'alerte plutôt qu'un gage de qualité.

MedGPT ne crée pas d'information médicale : il transmet des informations issues de sources médicales sélectionnées.
Lorsqu'une question manque de contexte, il pose des questions complémentaires pour la préciser. Lorsqu'il ne trouve pas de source applicable, il l'indique plutôt que de combler le vide, car une absence de réponse vaut mieux qu'une réponse inventée.
Dans l'étude clinique ASIMOV-Pilot, menée sur des cas cliniques évalués à l'aveugle par des médecins indépendants, MedGPT n'a produit aucune hallucination majeure.

‍

3. S'assurer que les recommandations sont adaptées à la pratique française

Une IA peut avoir été conçue pour les médecins tout en restant mal adaptée à la pratique française. Interrogée sur le traitement de la cystite aiguë chez l'enfant, une IA médicale spécialisée développée à l'étranger fournit une réponse claire et bien structurée. Elle propose pourtant la nitrofurantoïne, qui n'est pas utilisée en pédiatrie en France.

‍

Ce cas n'est pas isolé.

Sur d'autres questions, la même IA propose une mammographie de dépistage dès 40 ans, conformément aux recommandations américaines, alors que le dépistage organisé en France s'adresse aux femmes de 50 à 74 ans. Interrogée sur les benzodiazépines disponibles pour traiter l'insomnie, elle cite en majorité des molécules qui ne sont pas commercialisées en France.

Pourquoi c'est important

Ces outils ne sont pas mauvais pour autant. Ils ont simplement été construits pour un autre système de santé, avec ses propres recommandations, ses propres autorisations de mise sur le marché et ses propres médicaments. Une IA raisonne à partir des référentiels sur lesquels elle s'appuie, si bien qu'une réponse exacte dans un autre pays peut se révéler inadaptée à la pratique française.

Comment le vérifier

Pour le vérifier, il suffit de poser une question dont la réponse diffère d'un pays à l'autre : un âge de dépistage, la disponibilité d'un médicament ou une molécule contre-indiquée chez l'enfant. Il est ensuite utile de regarder quels référentiels sont cités dans la réponse. Lorsque la question porte sur la pratique en France, ce sont des recommandations françaises qui doivent apparaître : HAS, ANSM ou sociétés savantes.

MedGPT :
Les informations transmises par MedGPT s'appuient sur des sources expertes adaptées à la pratique française, sélectionnées et maintenues par notre équipe médicale. Ce choix est aussi celui d'une IA médicale souveraine, conçue et hébergée en France.

‍

4. Demander les preuves de validation scientifique

De nombreux outils se présentent comme fiables, mais peu publient la façon dont ils ont été évalués. Avant d'intégrer une IA à sa pratique, il est donc légitime de se demander sur quels cas elle a été testée, par qui et avec quels résultats.

Comment le vérifier

Il est utile de rechercher une évaluation publiée, menée par des médecins indépendants sur des cas cliniques réels et de vérifier si l'outil est réévalué à chaque mise à jour. Une IA qui ne communique sur aucune évaluation ne donne pas les moyens de juger sa fiabilité.

L’évaluation continue, pourquoi c'est important ?

Un point est souvent oublié : un modèle généraliste évolue régulièrement sans que l'utilisateur en soit informé.

Nous avons posé deux fois la même question, à deux mois d'intervalle, sur une otite moyenne aiguë purulente chez un enfant de 5 ans. La première réponse écartait l'antibiothérapie d'emblée, la seconde la recommandait en première intention alors que les recommandations n'avaient pas changé entre-temps.

Une évaluation réalisée à un instant donné ne garantit donc pas le comportement de l'outil quelques mois plus tard : elle n'a de valeur que si elle porte sur la version que vous utilisez.

C'est pourquoi les évaluations ponctuelles, aussi rigoureuses soient-elles, ne suffisent pas à elles seules. Elles doivent être complétées par une évaluation continue, qui vérifie à chaque mise à jour que l'outil reste fiable.

‍

‍

MedGPT:
Plusieurs évaluations de MedGPT ont été publiées :
‍
- L'étude ASIMOV-Pilot.
Sur des cas cliniques évalués à l'aveugle par des médecins indépendants : zéro erreur majeure, zéro hallucination majeure et 93,4 % de réponses jugées utiles, fiables et complètes.
- Le benchmark clinique.
100 % de sûreté sur les situations à risque, et 88 % en raisonnement clinique contre 76 % et 78,8 % pour les deux modèles généralistes les plus performants. Le détail est dans notre benchmark MedGPT vs IA généralistes.
- Les ECN 2023.
Soumis aux mêmes épreuves que les étudiants en médecine, MedGPT devance un modèle généraliste de 7 points. Voir les résultats de MedGPT aux ECN 2023.

En dehors de ces études, chaque évolution du produit, qu'il s'agisse d'un changement de modèle, d'une modification technique ou d'une nouvelle fonctionnalité, passe une série de benchmarks médicaux et techniques, puis une analyse manuelle par l'équipe médicale avant sa mise en production.

‍

Les questions à se poser avant d'utiliser une IA médicale

Pour résumer, voici les questions à garder en tête avant d'intégrer une IA à sa pratique :

  • Les sources citées existent-elles et puis-je les ouvrir ?
  • Ces sources parlent-elles bien de ma question et non d'un sujet voisin ?
  • Les recommandations et les médicaments proposés correspondent-ils à la pratique française ?
  • L'outil a-t-il été évalué par des médecins indépendants et les résultats sont-ils publiés ?
  • Est-il réévalué à chaque mise à jour ?
  • Où sont hébergées les données et l'outil respecte-t-il le cadre HDS et RGPD ?

Si l'une de ces questions reste sans réponse, l'outil peut rendre service ponctuellement, mais il est préférable de ne pas en faire une référence pour la pratique clinique.

‍

Ce que ces vérifications ne remplacent pas

Aucune IA n'est infaillible et aucune évaluation ne peut couvrir toute la diversité des situations cliniques. Ces vérifications permettent de réduire le risque d'erreur, sans le supprimer. Une IA médicale reste un outil d'aide à la décision : c'est le soignant qui décide, avec ce qu'il sait de son patient.

‍

Questions fréquentes

Une IA médicale peut-elle se tromper ?

Oui. Des sources sélectionnées, une évaluation régulière et des informations traçables réduisent fortement le risque d'erreur, sans pour autant l'annuler. C'est pour cette raison que chaque information doit pouvoir être vérifiée par le professionnel de santé.

Qu'est-ce qu'une hallucination d'IA en santé ?

Il s'agit d'une information fausse ou inadaptée, présentée comme fiable : une source qui n'existe pas, une posologie inventée ou une référence qui porte sur une autre pathologie. Elle est difficile à repérer, car elle a la même forme qu'une réponse juste.

Une IA généraliste est-elle fiable pour un usage médical ?

Une IA généraliste peut rendre service, mais elle ne garantit ni l'existence des sources qu'elle cite, ni l'application des recommandations françaises, ni la constance de ses réponses d'une version à l'autre. Pour une décision clinique, ces garanties sont essentielles.

Existe-t-il une IA médicale gratuite et fiable ?

MedGPT est accessible gratuitement aux professionnels de santé. Les informations qu'il transmet s'appuient sur des sources médicales adaptées à la pratique française, sélectionnées par une équipe médicale, et sa fiabilité a été évaluée dans des études publiées.

‍

Ce qu'il faut retenir

Une réponse bien écrite ne suffit pas à juger une IA médicale. Pour évaluer un outil, il faut pouvoir remonter à ses sources, repérer ce qui a pu être inventé, savoir selon quels référentiels il raisonne et comment il a été évalué. Ces vérifications ne prennent que quelques minutes, et elles font souvent la différence.

Utilisez MedGPT, l'IA médicale conçue pour la pratique française. Plus de 200 000 professionnels de santé l'utilisent déjà.

→ Essayez MedGPT

‍

Pour aller plus loin

Sources des chiffres : 90 % (baromètre ACSEL / Docaposte) · 700 000 connexions (étude interne menée en février 2026 dans un CHU de taille moyenne) · ASIMOV-Pilot, benchmark et ECN (articles liés ci-dessus)

Mis à jour le
14 octobre 2026