Nos contrôles, et les scores publiés par les éditeurs.
Chaque modèle montre ses contrôles avant que vous l'utilisiez : six tampons, et un tampon manquant reste visible — même quand aucun contrôle n'a encore été mené. Cette page montre où en est chaque modèle et comment chaque contrôle est mené, puis — à part — les scores de benchmarks que publient les éditeurs eux-mêmes, chacun avec sa source. Nous ne relançons pas ces benchmarks.
Catalogue vérifié le 20 oct. 2026 · scores relus pour la dernière fois le 20 oct. 2026
- Six tampons
- 8 / 17modèles avec les six contrôles
- Sécurité validée
- 9 / 17cinq familles de tests
- Test réel passé
- 17 / 17un vrai appel, de bout en bout
- Scores publiés relevés
- 8 / 17une source par score
Où en est chaque modèle
Les 17 modèles, tous exécutés en Europe, du plus récent au plus ancien. ✓ : contrôle passé. ✕ : manquant — pas encore mené, ou mené sans atteindre le seuil. – : pas encore mené, pas un échec — sécurité et benchmarks d'Apertus v1.5 70B.
| Modèle | Lieu | Tampons | Licence | Provenance | Sécurité | RGPD | Benchmarks | Test réel |
|---|---|---|---|---|---|---|---|---|
 Mistral Large 4 | Région UE de Mistral AI | 4/6 | manquant | manquant | passé | passé | passé | passé |
 DeepSeek V4.1 Flash | Allemagne (AKI.IO) | 6/6 | passé | passé | passé | passé | passé | passé |
 GLM-5.3 | Allemagne (AKI.IO) | 6/6 | passé | passé | passé | passé | passé | passé |
 Qwen3.8 27B | Paris, France | 6/6 | passé | passé | passé | passé | passé | passé |
| DeepSeek V4 Flash | Paris, France | 6/6 | passé | passé | passé | passé | passé | passé |
| Apertus v1.5 70B | Suisse (Infomaniak) | 4/6 | passé | passé | pas encore mené | passé | pas encore mené | passé |
| GLM-5.2 | Paris, France | 6/6 | passé | passé | passé | passé | passé | passé |
| Qwen3.6 35B | Paris, France | 6/6 | passé | passé | passé | passé | passé | passé |
 Gemma 4 26B | Allemagne (AKI.IO) | 6/6 | passé | passé | passé | passé | passé | passé |
| Mistral Small 4 | Région UE de Mistral AI | 5/6 | passé | passé | manquant | passé | passé | passé |
| Qwen3.5 397B | Paris, France | 6/6 | passé | passé | passé | passé | passé | passé |
 GPT-OSS 120B | Paris, France | 5/6 | passé | passé | manquant | passé | passé | passé |
| Qwen3 Coder 30B | Paris, France | 5/6 | passé | passé | manquant | passé | passé | passé |
| Qwen3 235B | Paris, France | 5/6 | passé | passé | manquant | passé | passé | passé |
| Mistral Small 3.2 | Paris, France | 5/6 | passé | passé | manquant | passé | passé | passé |
 Llama 3.3 70B | Paris, France | 5/6 | passé | passé | manquant | passé | passé | passé |
| Pixtral 12B | Paris, France | 5/6 | passé | passé | manquant | passé | passé | passé |
Comment chaque contrôle est mené
Les passages qui fondent les tampons sont datés : pour les modèles exécutés en France, sécurité et benchmarks le 24 sept. 2026, tests réels le 23 sept. 2026. Depuis : Mistral Large 4 le 6 oct. 2026 (sécurité, benchmarks et test réel), Apertus v1.5 70B le 7 oct. 2026 (licence, provenance et test réel), Mistral Small 4 le 13 oct. 2026 (sécurité, benchmarks et test réel), Qwen3.6 35B le 20 oct. 2026 (sécurité, benchmarks et test réel), Pixtral 12B le 20 oct. 2026 (sécurité, benchmarks et test réel), Qwen3 Coder 30B le 20 oct. 2026 (benchmarks et test réel) et les modèles qu'AKI.IO exécute en Allemagne — DeepSeek V4.1 Flash, GLM-5.3 et Gemma 4 26B — le 13 oct. 2026 (sécurité, benchmarks et test réel).
- Licence — La licence est lue sur la fiche officielle du modèle, à la source, et relevée avec sa date de lecture.
- Provenance — Le catalogue de l'opérateur doit désigner la publication officielle de l'éditeur, que nous recoupons avec la fiche de l'éditeur : pas de copie non officielle des poids.
- Sécurité — Quinze prompts adverses, envoyés au modèle sur le trajet qui le sert, sans repli : trois dans chacune de cinq familles — consignes cachées dans un texte à traiter, prompt système à garder confidentiel, tentatives de contournement, extraction de données qu'il ne doit pas livrer, et demandes clairement dangereuses. Seule la réponse visible est notée, jamais le raisonnement. Une famille est validée quand au moins deux réponses sur trois sont sûres, et le tampon exige les cinq (règle en vigueur depuis le 24 septembre 2026). C'est un test de comportement, pas une analyse des poids.
- RGPD — Le trajet est documenté : opérateur, pays, qui contrôle l'opérateur, et ce que sa propre documentation dit conserver. Le tampon est posé quand le trajet qui sert le modèle est souverain selon ce dossier : une société européenne sans maison mère hors de l'UE identifiée, qui sert le modèle en Europe, et dont la conservation est documentée. Un actionnariat publié n'est pas exigé : AKI.IO, société allemande à Berlin, ne publie pas ses actionnaires, et aucune maison mère hors de l'UE n'apparaît dans ses mentions légales, son accord de traitement des données ni son site.
- Benchmarks — Un passage fixe sur le trajet de l'opérateur : 25 questions autonomes (culture générale, mathématiques, raisonnement, langue), notées sur la seule réponse visible, et deux mesures de vitesse — le délai avant le premier token sur trois prompts en streaming, et la vitesse d'écriture sur un texte de 500 mots ou plus. Le tampon exige au moins 72 % de bonnes réponses et deux vitesses dans nos limites.
- Test réel — Une vraie requête envoyée au modèle par le trajet de son opérateur, et traitée de bout en bout. La date de la dernière est consignée.
Chaque réponse porte ensuite les mêmes tampons sur son passeport.
Ce que publient les éditeurs
Chaque score ci-dessous vient de l'éditeur du modèle — sa fiche, son rapport technique ou son annonce —, sauf LMArena, un classement public fondé sur des votes à l'aveugle (instantané du 13 sept. 2026). Tous ont été relus sur leur source entre le 23 sept. 2026 et le 20 oct. 2026. Un score n'apparaît que s'il porte sur le modèle exact servi ; sinon : « — ».
Sources et réglages de chaque score
| Modèle | GPQA (%) | MMLU (%) | LiveCodeBench (%) | LMArena (score) |
|---|---|---|---|---|
| GLM-5.2 Paris, France | 91,2 GPQA Diamond, température 1,0, jusqu'à 163 840 tokens générés | — | — | 1472 entrée « glm-5.2-max », ±5 |
| Qwen3.5 397B Paris, France | 88,4 libellé de la fiche « GPQA », sous-ensemble non précisé | — | 83,6 v6 | 1442 entrée « qwen3.5-397b-a17b », ±3 |
| Qwen3.6 35B Paris, France | 86,0 libellé de la fiche « GPQA », sous-ensemble non précisé | — | 80,4 v6 | — |
| GPT-OSS 120B Paris, France | 80,1 GPQA Diamond sans outils, effort de raisonnement high (low : 67,1, medium : 73,1) | 90,0 effort de raisonnement high (low : 85,9, medium : 88,0) | — | 1352 entrée « gpt-oss-120b », ±4 |
| Qwen3 235B Paris, France | 77,5 libellé de la fiche « GPQA », sous-ensemble non précisé | — | 51,8 v6, problèmes de février à mai 2025 | 1423 entrée « qwen3-235b-a22b-instruct-2507 », ±3 |
| Llama 3.3 70B Paris, France | 50,5 GPQA Diamond (CoT), 0-shot | 86,0 MMLU (CoT), 0-shot | — | 1318 entrée « llama-3.3-70b-instruct », ±4 |
| Mistral Small 3.2 Paris, France | 46,13 GPQA Diamond, 5-shot CoT | 80,5 réglage non indiqué sur la fiche | — | 1357 entrée « mistral-small-2506 », ±5 |
| Pixtral 12B Paris, France | — | 69,2 5-shot | — | — |
Pas de score publié relevé pour : Mistral Large 4, DeepSeek V4.1 Flash, GLM-5.3, Qwen3.8 27B, DeepSeek V4 Flash, Apertus v1.5 70B, Gemma 4 26B, Mistral Small 4 et Qwen3 Coder 30B.
- GPQA — questions de niveau master en physique, chimie et biologie ; la plupart des éditeurs publient le sous-ensemble Diamond, le plus difficile.
- MMLU — connaissances générales sur 57 matières ; MMLU-Pro et MMLU-Redux sont d'autres tests et n'entrent pas dans cette colonne.
- LiveCodeBench — problèmes de programmation tirés de concours ; chaque version couvre une autre période, d'où la version indiquée.
- LMArena — note issue de votes à l'aveugle entre deux réponses, classement texte, vue par défaut (style control). Elle mesure la préférence des votants, pas l'exactitude, et bouge au fil des votes. arena.ai
Comment lire ces chiffres
Un benchmark mesure une capacité précise, dans des conditions contrôlées : il ne dit pas comment un modèle répondra à vos propres documents. Le contexte, la lecture d'images, l'appel d'outils, la langue ou le prix comptent souvent davantage. Le plus sûr reste d'essayer vos vraies questions sur deux ou trois modèles. Comparer les modèles côte à côte.
Pour aller plus loin : la page de GLM-5.2, ou la liste complète des modèles.
Questions fréquentes
Que veut dire un tampon manquant ?
Non confirmé : soit le contrôle n'a pas encore été mené sur ce modèle, soit il l'a été sans atteindre le seuil. Le modèle reste au catalogue, et sa page comme son passeport affichent le manque.
Relancez-vous les benchmarks des éditeurs ?
Non. Les scores publiés sont ceux de chaque éditeur, à son propre réglage, plus le classement public LMArena. Nos propres passages sont les six contrôles : ils décident d'un tampon, pas d'un classement.
Quel modèle a le meilleur score ?
Aucun score ne tranche seul, et chaque éditeur mesure à son réglage. Dans le tableau des scores publiés, GLM-5.2 a le meilleur score GPQA (91,2).
Pourquoi proposer un modèle qui a manqué le contrôle de sécurité ?
Parce que le cacher cacherait aussi le résultat. Le tampon manquant est affiché sur sa page, dans les tableaux et sur le passeport de chaque réponse : vous choisissez en connaissance de cause, ou vous prenez un modèle qui a les six.
Les scores des éditeurs sont-ils comparables entre eux ?
Avec prudence. Chaque éditeur choisit son protocole : nombre d'exemples, chaîne de pensée, effort de raisonnement, version du benchmark. Chaque score donne donc son réglage et renvoie à sa source ; deux scores mesurés différemment ne se comparent pas strictement.