Évaluation interne · août 2026

100 questions d'officine. Galien.AI obtient 90/100.

Dans cette campagne, Galien.AI obtient 90/100. Les quatre systèmes généralistes testés se situent entre 48 et 53/100 sur les mêmes 100 questions.

Protocole et réponses intégrales accessibles dans le rapport complet. Liste des 100 questions

Meilleur score du panel : 90/1004 % de réponses inventéesRapport complet accessible
Résultats

Galien.AI obtient 90/100

Sur le même corpus, quatre modèles d'IA généralistes testés par API obtiennent entre 48 et 53/100.

Mêmes 100 questions et même grille de notation ; chaque système conserve sa configuration propre.

Les noms affichés désignent les modèles et configurations utilisés pour le test, pas les applications grand public actuelles.

Galien.AI
90/100
Gemini 3.6 Flash
API éditeur Google
53/100
GPT-5.6 Terra
API éditeur OpenAI
52/100
DeepSeek V4 Pro
API OpenRouter · recherche tierce :online
52/100
Claude Sonnet 5
API éditeur Anthropic
48/100

Score = pourcentage de réponses jugées correctes sur 100 questions de pharmacie d'officine, campagne d'août 2026.

Galien.AI devance de 37 points le meilleur système généraliste testé dans cette campagne.

Positionnement

Ce que Galien.AI démontre dans cette campagne

Sur les 100 questions testées, Galien.AI obtient 90 réponses jugées correctes, contre 48 à 53 pour les quatre systèmes généralistes du panel. Il présente également le taux d'invention le plus faible de la campagne : 4 %, contre 10 à 17 %. Ce résultat mesure le système Galien.AI dans son ensemble : ses sources, son routage, ses consignes et sa vérification fonctionnent comme un produit complet. Le rapport documente les configurations et les réponses intégrales.

La précision des valeurs

Le meilleur score du panel, avec le moins de valeurs précises inventées

Le benchmark publie le taux mesuré pour chaque système, avec le détail des cas dans le rapport.

Galien.AI
4 %
de réponses inventées
Gemini 3.6 Flash
17 %
de réponses inventées
GPT-5.6 Terra
10 %
de réponses inventées
DeepSeek V4 Pro
17 %
de réponses inventées
Claude Sonnet 5
17 %
de réponses inventées

Dans cette campagne, Galien.AI présente 4 % de réponses inventées, contre 10 à 17 % pour les quatre systèmes généralistes testés. Une réponse inventée correspond à une valeur précise non étayée par la référence attendue, par exemple un code LPP ou un tarif qui n'existe pas.

Vérification

Galien.AI ne se contente pas de répondre : il signale ce qu'il n'a pas pu confirmer

Le contrôle des affirmations complète les sources affichées dans la réponse.

Ce contrôle ne garantit pas l'absence d'erreur ; il signale au pharmacien les affirmations que le système n'a pas pu rattacher à une source effectivement consultée.

Transparence complète

Les 100 questions, les réponses et les erreurs sont accessibles.

Un score seul ne suffit pas. Le rapport permet d'examiner les réponses attendues, les réponses produites par chaque système et les 10 cas où Galien.AI n'obtient pas la note maximale.

La méthodologie complète est publiée avec le jeu de questions et les réponses intégrales.

Ouvrir le rapport complet (PDF)

Exemples d'officine

Des questions concrètes, au format du comptoir

Le corpus couvre des demandes comme « Ce comprimé peut-il être écrasé ? », « Ce médicament est-il remboursé ? », « Quel code LPP correspond à ce dispositif ? », « Quelle est la condition de délivrance de ce médicament ? » ou « Ce produit appartient-il à un groupe générique ? »

Le comprimé est génériqué, la gélule ne l'est pas

« L'Epitomax, je peux substituer ? »

Ça dépend de la forme. Les comprimés de topiramate comptent plusieurs génériques commercialisés, mais les gélules ont leurs propres groupes, sans aucun générique commercialisé. Une gélule et un comprimé de même dosage ne sont pas le même groupe de substitution.

Type d'erreur relevé dans la campagne : Réponse affirmative sans distinction entre le comprimé et la gélule.

Source : Répertoire des groupes génériques, ANSM

Classé écrasable, mais le laboratoire s'en dédouane

« Le Previscan, je peux l'écraser pour une dame qui avale mal ? »

La liste nationale le classe écrasable, mais le laboratoire Merck a répondu le 07/05/2022 qu'il n'existe aucune donnée de stabilité une fois écrasé, et laisse la décision au soignant. Sur un anticoagulant, cette réserve n'apparaît pas dans la liste seule.

Type d'erreur relevé dans la campagne : Réponse affirmative fondée sur la liste seule, sans mention de la réserve du laboratoire.

Source : Liste nationale OMéDIT Normandie / SFPC, réponse laboratoire Merck

Ni la petite boîte, ni la grande

« L'Aspégic 1000, je prends la boîte de 30 pour en avoir d'avance. »

Mauvaise pioche dans les deux sens : sur l'Aspégic 1000 mg en sachets, seule la boîte de 20 sachets est remboursable, à 65 %, à 2,67 €. Les boîtes de 15 et de 30 sachets sont toutes les deux non remboursables, à prix libre.

Type d'erreur relevé dans la campagne : « Les petites boîtes sont remboursées, la grande non. »

Source : Base de données publique des médicaments, prix et taux par présentation

Deux codes voisins, le tarif du simple au double

« L'entretien hebdomadaire d'un PICC line, je facture quoi ? »

Le forfait PERFADOM22, code 1170419, à 17,86 €, qui vise spécifiquement le PICC line. À ne pas confondre avec PERFADOM21, code 1103392, à 9,16 €, qui vise l'entretien d'une voie centrale sauf PICC line : les libellés se ressemblent, le tarif non.

Type d'erreur relevé dans la campagne : un code inventé, ou le forfait générique d'entretien de voie centrale sans distinguer le PICC.

Source : Liste des produits et prestations remboursables (LPP)

Le dosage demandé n'existe simplement pas

« Le Kardégic 100, il est remboursé à combien ? »

Il n'existe pas de Kardégic 100. La gamme commercialisée comporte les dosages 75, 160 et 300 mg : la question de remboursement ne se pose donc pas telle quelle, elle dépend du dosage réellement prescrit.

Type d'erreur relevé dans la campagne : un taux et un prix pour un produit qui n'existe pas.

Source : Base de données publique des médicaments (BDPM)

Une liste de six produits, deux réponses « non » vérifiées

« Parmi Xarelto, Eliquis, Ozempic, Mounjaro, Shingrix et Prevenar 20, lesquels ont le triangle noir ? »

Deux seulement : Mounjaro, à tous ses dosages, et Prevenar 20. Les quatre autres sont explicitement déclarés non soumis à surveillance renforcée au référentiel : ce n'est pas une donnée manquante, c'est un « non » constaté.

Type d'erreur relevé dans la campagne : une réponse par ancienneté supposée du produit, au lieu du référentiel réel.

Source : Base de données publique des médicaments, surveillance renforcée

Voir les 100 questions et les réponses complètes des 5 systèmes

Méthodologie

Un protocole documenté

Campagne réalisée en août 2026 : jeu gelé le 7 août, Galien.AI mesuré le 11 août et comparateurs mesurés le 12 août. Page éditoriale mise à jour le 20 septembre 2026.

Un corpus de 100 questions

100 questions centrées sur les domaines couverts par Galien.AI : génériques, écrasabilité, remboursement, interactions, LPP et délivrance.

Des appels API séparés

Galien.AI a été évalué dans son circuit de benchmark interne. Les quatre modèles d'IA généralistes ont reçu les questions brutes via API : Anthropic, OpenAI et Google via leurs API éditeur ; DeepSeek via OpenRouter avec sa recherche tierce :online. Les configurations et réponses brutes sont détaillées dans le rapport.

Des réponses attendues sourcées

Chaque réponse attendue est associée à une valeur de référence et à une source documentaire dans le jeu publié. La méthode utilisée pour les établir est accessible dans le rapport.

Une grille identique pour tous

Un juge IA a comparé les réponses à la référence sourcée, en aveugle, sur une grille binaire. Une relecture humaine a vérifié les cas sensibles.

Benchmark conçu, exécuté et publié par Galien.AI.

Chaque système a été évalué avec sa configuration documentée. La même grille de notation a été appliquée aux cinq systèmes. Les refus, les réponses approximatives et les valeurs inventées restent visibles dans les résultats.

Aucun assistant pharmaceutique français n'est nommé ou testé sur cette page. Le rapport reste la destination des détails de protocole et des réponses intégrales.

Consulter le protocole complet, les questions et les réponses intégrales (PDF)

Questions fréquentes

Comment le score a-t-il été obtenu ?
Le corpus complet a été évalué selon le protocole documenté. Chaque réponse a été comparée en aveugle à une réponse attendue sourcée, avec la même grille binaire pour les cinq systèmes. Une relecture humaine a vérifié les cas sensibles ; les détails des traitements techniques figurent dans le rapport PDF.
Pourquoi préciser les versions testées ?
Les performances d'un système dépendent de sa version et de sa configuration. La page indique donc les versions utilisées pendant la campagne d'août 2026. Les résultats décrivent cette mesure datée et ne constituent pas un classement permanent des services concernés.
Les systèmes ont-ils reçu les mêmes questions ?
Oui. Les cinq systèmes ont reçu le même corpus de 100 questions et la même grille de notation. Les modalités d'appel API, les configurations, l'accès éventuel à la recherche web et la méthode de référence sont détaillés dans la section Méthodologie et le rapport PDF.
Le jeu de 100 questions est-il consultable ?
Oui, avec les réponses complètes des cinq systèmes, dans le rapport PDF téléchargeable sur cette page.
Que se passe-t-il quand Galien.AI se trompe ?
Les réponses où Galien.AI n'obtient pas la note maximale sont conservées dans le rapport, avec la réponse attendue et la réponse produite. Le benchmark mesure l'outil dans ce cadre précis et ne garantit pas l'absence d'erreur.
Galien.AI est-il un dispositif médical ?
Non. C'est un outil d'information documentaire : il ne calcule pas de dose et ne valide pas d'ordonnance.

37 points d'écart avec le meilleur système généraliste testé. Voyez maintenant ce que Galien.AI répond à votre question.

Posez une vraie question de comptoir, sans créer de compte. Le moteur public répond en direct et affiche les sources utilisées.

Galien.AI restitue une information documentaire sourcée. La vérification et la décision relèvent du pharmacien.

Benchmark officine : Galien.AI obtient 90/100 · Galien.AI