Résultats

Toutes les notes sont données à la main, de 0 à 3, sans savoir quel modèle a répondu, puis ramenées en pourcentage. Les fourchettes indiquent la marge d'incertitude à 95 %.

Classement général

#ModèleAideScoreScore et fourchette à 95 %chrF++Réponses
1Gemini FlashAPI (en ligne)Few-shot91,9 %49,341
2Gemini FlashAPI (en ligne)Seul90,2 %48,841
3Gemini FlashAPI (en ligne)RAG87,8 %50,541
4Gemini Flash-LiteAPI (en ligne)Few-shot75,6 %43,241
5Gemini Flash-LiteAPI (en ligne)RAG72,4 %42,441
6Mistral Large 4API (en ligne)Few-shot71,5 %41,141
7Mistral Large 4API (en ligne)RAG65,0 %41,541
8Ministral 3 8BPoids ouverts, exécuté localementFine-tuning44,7 %33,041
9Gemini Flash-LiteAPI (en ligne)Seul38,2 %31,241
10Mistral Large 4API (en ligne)Seul36,6 %29,241
11Qwen3.5 4BPoids ouverts, exécuté localementRAG30,1 %28,741
12Qwen3.5 4BPoids ouverts, exécuté localementFine-tuning27,6 %28,241
13Qwen3.5 4BPoids ouverts, exécuté localementFew-shot24,4 %28,541
14Ministral 3 8BPoids ouverts, exécuté localementRAG24,4 %21,841
15Ministral 3 8BPoids ouverts, exécuté localementFew-shot23,6 %25,241
16Ministral 3 8BPoids ouverts, exécuté localementSeul0,8 %2,741
17Qwen3.5 4BPoids ouverts, exécuté localementSeul0,0 %9,241

Jeu de test 1.0.4 · empreinte SHA-256 2004fad2988a… · résultats exportés le 16 novembre 2026

Ce que chaque aide apporte

Chaque ligne est un modèle, chaque colonne une façon de l'aider. Le gain est mesuré test par test par rapport au modèle seul.

ModèleSeulFew-shotRAGFine-tuning
Gemini FlashAPI (en ligne)90,2 %91,9 %+1,6 pts87,8 %−2,4 ptsimpossible
Gemini Flash-LiteAPI (en ligne)38,2 %75,6 %+37,4 pts72,4 %+34,1 ptsimpossible
Mistral Large 4API (en ligne)36,6 %71,5 %+35,0 pts65,0 %+28,5 ptsimpossible
Ministral 3 8BPoids ouverts, exécuté localement0,8 %23,6 %+22,8 pts24,4 %+23,6 pts44,7 %+43,9 pts
Qwen3.5 4BPoids ouverts, exécuté localement0,0 %24,4 %+24,4 pts30,1 %+30,1 pts27,6 %+27,6 pts

Le fine-tuning n'est possible que sur les modèles dont les poids sont publics : Gemini et Mistral Large 4 ne le permettent pas.

Du modèle seul au modèle aidé

Le point gris est le modèle seul ; chaque marque colorée, le même modèle avec une aide.

SeulFew-shotRAGFine-tuning
Gemini Flash
Seul · 90,2 %Few-shot · 91,9 %RAG · 87,8 %
Gemini Flash-Lite
Seul · 38,2 %Few-shot · 75,6 %RAG · 72,4 %
Mistral Large 4
Seul · 36,6 %Few-shot · 71,5 %RAG · 65,0 %
Ministral 3 8B
Seul · 0,8 %Few-shot · 23,6 %RAG · 24,4 %Fine-tuning · 44,7 %
Qwen3.5 4B
Seul · 0,0 %Few-shot · 24,4 %RAG · 30,1 %Fine-tuning · 27,6 %
0 %25 %50 %75 %100 %

Par catégorie

Le benchmark est centré sur la traduction ; les autres catégories, avec 2 à 4 tests chacune, sont de premiers indicateurs. Le nombre de tests figure sous chaque titre : à lire comme une tendance, pas comme un classement.

ModèleTraduction français → kabyle25 testsTraduction kabyle → français4 testsCompréhension3 testsCulture3 testsÉcriture2 testsConversation4 tests
Gemini FlashFew-shot9710010010010033
Gemini FlashSeul961001001006742
Gemini FlashRAG921001008910033
Gemini Flash-LiteFew-shot85100221005025
Gemini Flash-LiteRAG8083338910017
Mistral Large 4Few-shot768310078830
Mistral Large 4RAG698367671000
Ministral 3 8BFine-tuning605044000
Gemini Flash-LiteSeul292578785042
Mistral Large 4Seul259233568317
Qwen3.5 4BRAG33421105025
Qwen3.5 4BFine-tuning3642111100
Qwen3.5 4BFew-shot2833332200
Ministral 3 8BRAG2742033330
Ministral 3 8BFew-shot255803300
Ministral 3 8BSeul0000170
Qwen3.5 4BSeul000000

La note automatique confirme-t-elle la note humaine ?

Corrélation de rang de Spearman de 0,70 entre la note humaine et chrF++ sur 576 réponses : un accord fort. La métrique automatique classe les réponses dans le même sens que l'autrice, mais ne remplace pas sa note : elle ne comprend pas le sens.

ρ = 0,70Spearman · 576 réponses