MedGPT, l'assistant conversationnel médical développé par Synapse Medicine, a devancé les modèles généralistes du marché lors d'une évaluation basée sur les Épreuves Classantes Nationales (ECN) 2023, l'examen de référence des étudiants en médecine.
Résultat : MedGPT se situe parmi les 5 % meilleurs étudiants. Selon ce protocole, MedGPT obtient un score équivalent à celui d'un étudiant du top 500 (mieux que 95 % des candidats), quand le modèle généraliste testé se situe plutôt au niveau du top 2000 (75 à 80 % des candidats).
Pourquoi avoir choisi l'ECN ?
Chaque année, près de 10 000 étudiants passent l'EDN (Épreuves Dématérialisées Nationales), le concours qui détermine leur futur poste d'interne. Autrefois appelées ECN (Épreuves Classantes Nationales), notamment en 2023, cet article parle d'ECN plutôt que d'EDN, par cohérence avec la période testée.
C'est un test redouté, mais surtout un référentiel objectif, standardisé et reconnu. Il mesure de façon claire et structurée la maîtrise des connaissances médicales. C'est le terrain parfait, exigeant et représentatif, pour comparer les performances de MedGPT à celles des modèles généralistes.
Une étude académique plus large est en préparation pour confirmer et approfondir ces premiers résultats.
Le protocole d'évaluation
L'évaluation a porté sur les annales ECN 2023, limitées aux cas cliniques progressifs et aux questions isolées. La Lecture Critique d'Article et les 27 questions d'imagerie ont été exclues, les modèles n'étant pas encore adaptés à ce type d'exercice. Au total, 223 questions ont été analysées.
La correction utilisée provenait d'une source tierce, indépendante de Synapse Medicine. Le barème officiel n'étant pas communiqué, deux approches ont été utilisées pour le calcul des scores.
1. Approche QRU stricte
Toutes les questions sont corrigées comme des Questions à Réponse Unique, avec un barème binaire plus sévère que celui appliqué aux étudiants : un point si tous les items sont justes, zéro si au moins un item est faux.
MedGPT obtient 80 %, contre 73 % pour le modèle généraliste testé, soit 7 points d'écart en sa faveur.
2. Approche « pseudo-officielle », QRU + QRM, comparée au classement étudiant
Cette approche combine une notation QRU pour les questions à réponse unique et une notation par discordance pour les questions à réponses multiples, sans disposer des modalités spécifiques de notation officielle.
MedGPT obtient 84,3 sur 100, contre 78,9 pour le modèle généraliste testé. Cela permet une mise en perspective avec le classement des étudiants, sous l'hypothèse d'une difficulté identique des questions d'imagerie non évaluées : MedGPT se situe au niveau du top 500 (mieux que 95 % des candidats), le modèle généraliste testé se situe autour du top 2000 (75 à 80 % des candidats).
Une différence basée sur des réponses cliniques adaptées au contexte français
Ce résultat s'explique par deux facteurs clés : un alignement direct sur les référentiels français, et des réponses issues de sources médicales fiables comme la HAS, Thériaque ou l'ANSM, mises à jour en temps réel.
Là où un modèle généraliste peut proposer des recommandations conçues pour un autre système de santé, ou imprecises, MedGPT fournit des réponses adaptées au contexte clinique français.
« Ces résultats montrent qu'une IA pensée pour la médecine française apporte des réponses plus pertinentes et plus sûres qu'un modèle généraliste. » — Louis Létinier, cofondateur et directeur médical de Synapse Medicine
Pourquoi une IA spécialisée pour les professionnels de santé est importante
De plus en plus de professionnels de santé utilisent l'IA générative dans leur pratique, avec un constat récurrent : des hallucinations fréquentes, une absence de traçabilité, et des recommandations parfois hors sujet.
MedGPT a été conçu pour réduire le risque d'erreur, faire gagner du temps sur la synthèse documentaire et redonner confiance dans l'usage de l'IA en santé. Son rôle n'est pas de remplacer le jugement clinique, mais d'offrir un outil sûr, souverain et adapté à la pratique française.
Ce qu'il faut retenir
Ce test montre qu'une IA construite sur les référentiels français peut dépasser un modèle généraliste sur un examen aussi exigeant que l'ECN. C'est une preuve mesurable, pas une conclusion définitive : une étude académique plus large est en préparation pour confirmer et approfondir ces premiers résultats.
Pour aller plus loin
