Le jeu de test
Tous les textes kabyles du jeu de test (références, textes de compréhension, consignes en kabyle) sont écrits à la main par l'autrice du benchmark, locutrice native du kabyle. Aucun n'est généré par une IA.
Le jeu compte 52 tests : 41 publics, utilisés pour ces résultats, et 11 gardés privés pour de futures évaluations à l'abri de toute fuite dans les données d'entraînement.
Le jeu est volontairement centré sur la traduction français → kabyle (25 tests sur 41), la tâche la plus facile à évaluer objectivement. Les cinq autres catégories servent de premiers indicateurs et seront renforcées dans la prochaine version.
| Catégorie | Ce qui est demandé | Tests |
|---|---|---|
| Traduction français → kabyle | Traduire une phrase du français vers le kabyle. | 25 |
| Traduction kabyle → français | Traduire une phrase du kabyle vers le français. | 4 |
| Compréhension | Lire un court texte kabyle et répondre à une question dessus. | 3 |
| Culture | Répondre à une question sur la culture et les traditions kabyles. | 3 |
| Écriture | Écrire en kabyle, en alphabet latin ou en tifinagh. | 2 |
| Conversation | Répondre naturellement à une réplique, comme dans une discussion. | 4 |
Le protocole
Même consigne pour tous
Chaque modèle reçoit exactement la même consigne, sans message système, avec une température de 0. Chaque réponse est enregistrée avec ses paramètres exacts.
Notation à l'aveugle
Les réponses sont tirées au hasard, tous modèles confondus. L'autrice note sans savoir quel modèle a répondu ; le modèle n'est révélé qu'après la note.
Aucune fuite
Les exemples, l'index RAG et les données d'entraînement sont vérifiés automatiquement : aucune phrase du jeu de test n'y figure.
L'échelle de notation
Les trois aides testées
Few-shot
On ajoute à la consigne 5 paires de phrases kabyle–français, choisies parmi les plus proches de la question dans le corpus Tatoeba.
RAG (recherche augmentée)
Au moment de répondre, le modèle reçoit les 8 passages les plus proches de la question, trouvés par recherche sémantique (bge-m3) dans un corpus kabyle–français.
Fine-tuning (QLoRA)
On ré-entraîne légèrement le modèle sur des dizaines de milliers de paires kabyle–français, sur un GPU gratuit. Possible seulement pour les modèles aux poids publics.
Les modèles testés
| Modèle | Éditeur | Accès | Taille | Configurations |
|---|---|---|---|---|
| Gemini Flash | API (en ligne) | non publiée | ||
| Gemini Flash-Lite | API (en ligne) | non publiée | ||
| Mistral Large 4 | Mistral AI | API (en ligne) | non publiée | |
| Ministral 3 8B | Mistral AI | Poids ouverts, exécuté localement | 8 milliards | |
| Qwen3.5 4B | Alibaba (Qwen) | Poids ouverts, exécuté localement | 4 milliards |
Glossaire
- Score humain
- Note moyenne donnée à la main (0 à 3), ramenée sur 100 : 2,4 / 3 donne 80 %. C'est la mesure principale.
- Fourchette à 95 %
- Avec 41 tests, un score est approximatif. La fourchette donne la zone où se trouve très probablement le vrai niveau du modèle (bootstrap). Si deux fourchettes se chevauchent largement, l'écart n'est pas significatif.
- Gain (en points)
- Différence entre le score du modèle aidé et celui du modèle seul, mesurée sur les mêmes tests. +38 points : de 37 % à 75 %.
- chrF++
- Note automatique (0 à 100) qui compare la réponse à la référence lettre par lettre et mot par mot. Utile pour confirmer, mais elle ne comprend pas le sens : une bonne traduction formulée autrement est pénalisée.
- Modèle seul (base)
- Le modèle tel quel, avec la simple consigne.
- Poids ouverts
- Modèle téléchargeable, qu'on peut faire tourner sur sa propre machine et ré-entraîner. Ici : Qwen3.5 4B et Ministral 3 8B.
Limites
- Une seule annotatrice : les notes reflètent une variété de kabyle et des choix d'orthographe. Plusieurs références par test limitent ce biais sans le supprimer.
- Le kabyle varie d'une région à l'autre de la Kabylie : vocabulaire, tournures, prononciation. L'autrice a accepté autant que possible les formes des différentes régions, mais elle ne connaît pas forcément toutes les variantes : une réponse correcte dans un autre parler a pu être sous-notée.
- 41 tests publics : les fourchettes sont larges, et les petits écarts entre modèles ne sont pas significatifs. Les scores par catégorie (2 à 4 tests hors traduction) sont indicatifs.
- Les 11 tests privés n'ont pas été utilisés ici : les offres gratuites des API peuvent réutiliser les requêtes, seuls les tests publics leur ont été envoyés.
- Pour Gemini Flash, le modèle seul a été interrogé via gemini-flash-latest, mais few-shot et RAG via gemini-3.6-flash, la version « latest » étant saturée pendant des jours. Leurs écarts avec le modèle seul mêlent donc l'effet de l'aide et celui de la version.
Tout est ouvert
Code, jeu de test public, données préparées, notebooks d'entraînement et résultats bruts sont publiés sur GitHub : chaque chiffre de ce site peut être vérifié et refait.