Classement général
| # | Modèle | Aide | Score | Score et fourchette à 95 % | chrF++ | Réponses |
|---|---|---|---|---|---|---|
| 1 | Gemini FlashAPI (en ligne) | Few-shot | 91,9 % | 49,3 | 41 | |
| 2 | Gemini FlashAPI (en ligne) | Seul | 90,2 % | 48,8 | 41 | |
| 3 | Gemini FlashAPI (en ligne) | RAG | 87,8 % | 50,5 | 41 | |
| 4 | Gemini Flash-LiteAPI (en ligne) | Few-shot | 75,6 % | 43,2 | 41 | |
| 5 | Gemini Flash-LiteAPI (en ligne) | RAG | 72,4 % | 42,4 | 41 | |
| 6 | Mistral Large 4API (en ligne) | Few-shot | 71,5 % | 41,1 | 41 | |
| 7 | Mistral Large 4API (en ligne) | RAG | 65,0 % | 41,5 | 41 | |
| 8 | Ministral 3 8BPoids ouverts, exécuté localement | Fine-tuning | 44,7 % | 33,0 | 41 | |
| 9 | Gemini Flash-LiteAPI (en ligne) | Seul | 38,2 % | 31,2 | 41 | |
| 10 | Mistral Large 4API (en ligne) | Seul | 36,6 % | 29,2 | 41 | |
| 11 | Qwen3.5 4BPoids ouverts, exécuté localement | RAG | 30,1 % | 28,7 | 41 | |
| 12 | Qwen3.5 4BPoids ouverts, exécuté localement | Fine-tuning | 27,6 % | 28,2 | 41 | |
| 13 | Qwen3.5 4BPoids ouverts, exécuté localement | Few-shot | 24,4 % | 28,5 | 41 | |
| 14 | Ministral 3 8BPoids ouverts, exécuté localement | RAG | 24,4 % | 21,8 | 41 | |
| 15 | Ministral 3 8BPoids ouverts, exécuté localement | Few-shot | 23,6 % | 25,2 | 41 | |
| 16 | Ministral 3 8BPoids ouverts, exécuté localement | Seul | 0,8 % | 2,7 | 41 | |
| 17 | Qwen3.5 4BPoids ouverts, exécuté localement | Seul | 0,0 % | 9,2 | 41 |
Ce que chaque aide apporte
Chaque ligne est un modèle, chaque colonne une façon de l'aider. Le gain est mesuré test par test par rapport au modèle seul.
| Modèle | Seul | Few-shot | RAG | Fine-tuning |
|---|---|---|---|---|
| Gemini FlashAPI (en ligne) | 90,2 % | 91,9 %+1,6 pts | 87,8 %−2,4 pts | impossible |
| Gemini Flash-LiteAPI (en ligne) | 38,2 % | 75,6 %+37,4 pts | 72,4 %+34,1 pts | impossible |
| Mistral Large 4API (en ligne) | 36,6 % | 71,5 %+35,0 pts | 65,0 %+28,5 pts | impossible |
| Ministral 3 8BPoids ouverts, exécuté localement | 0,8 % | 23,6 %+22,8 pts | 24,4 %+23,6 pts | 44,7 %+43,9 pts |
| Qwen3.5 4BPoids ouverts, exécuté localement | 0,0 % | 24,4 %+24,4 pts | 30,1 %+30,1 pts | 27,6 %+27,6 pts |
Le fine-tuning n'est possible que sur les modèles dont les poids sont publics : Gemini et Mistral Large 4 ne le permettent pas.
Du modèle seul au modèle aidé
Le point gris est le modèle seul ; chaque marque colorée, le même modèle avec une aide.
Par catégorie
Le benchmark est centré sur la traduction ; les autres catégories, avec 2 à 4 tests chacune, sont de premiers indicateurs. Le nombre de tests figure sous chaque titre : à lire comme une tendance, pas comme un classement.
| Modèle | Traduction français → kabyle25 tests | Traduction kabyle → français4 tests | Compréhension3 tests | Culture3 tests | Écriture2 tests | Conversation4 tests |
|---|---|---|---|---|---|---|
| Gemini FlashFew-shot | 97 | 100 | 100 | 100 | 100 | 33 |
| Gemini FlashSeul | 96 | 100 | 100 | 100 | 67 | 42 |
| Gemini FlashRAG | 92 | 100 | 100 | 89 | 100 | 33 |
| Gemini Flash-LiteFew-shot | 85 | 100 | 22 | 100 | 50 | 25 |
| Gemini Flash-LiteRAG | 80 | 83 | 33 | 89 | 100 | 17 |
| Mistral Large 4Few-shot | 76 | 83 | 100 | 78 | 83 | 0 |
| Mistral Large 4RAG | 69 | 83 | 67 | 67 | 100 | 0 |
| Ministral 3 8BFine-tuning | 60 | 50 | 44 | 0 | 0 | 0 |
| Gemini Flash-LiteSeul | 29 | 25 | 78 | 78 | 50 | 42 |
| Mistral Large 4Seul | 25 | 92 | 33 | 56 | 83 | 17 |
| Qwen3.5 4BRAG | 33 | 42 | 11 | 0 | 50 | 25 |
| Qwen3.5 4BFine-tuning | 36 | 42 | 11 | 11 | 0 | 0 |
| Qwen3.5 4BFew-shot | 28 | 33 | 33 | 22 | 0 | 0 |
| Ministral 3 8BRAG | 27 | 42 | 0 | 33 | 33 | 0 |
| Ministral 3 8BFew-shot | 25 | 58 | 0 | 33 | 0 | 0 |
| Ministral 3 8BSeul | 0 | 0 | 0 | 0 | 17 | 0 |
| Qwen3.5 4BSeul | 0 | 0 | 0 | 0 | 0 | 0 |
La note automatique confirme-t-elle la note humaine ?
Corrélation de rang de Spearman de 0,70 entre la note humaine et chrF++ sur 576 réponses : un accord fort. La métrique automatique classe les réponses dans le même sens que l'autrice, mais ne remplace pas sa note : elle ne comprend pas le sens.