Méthode

Comment le benchmark a été construit, ce que veulent dire les chiffres, et ce qu'ils ne disent pas.

Le jeu de test

Tous les textes kabyles du jeu de test (références, textes de compréhension, consignes en kabyle) sont écrits à la main par l'autrice du benchmark, locutrice native du kabyle. Aucun n'est généré par une IA.

Le jeu compte 52 tests : 41 publics, utilisés pour ces résultats, et 11 gardés privés pour de futures évaluations à l'abri de toute fuite dans les données d'entraînement.

Le jeu est volontairement centré sur la traduction français → kabyle (25 tests sur 41), la tâche la plus facile à évaluer objectivement. Les cinq autres catégories servent de premiers indicateurs et seront renforcées dans la prochaine version.

CatégorieCe qui est demandéTests
Traduction français → kabyleTraduire une phrase du français vers le kabyle.25
Traduction kabyle → françaisTraduire une phrase du kabyle vers le français.4
CompréhensionLire un court texte kabyle et répondre à une question dessus.3
CultureRépondre à une question sur la culture et les traditions kabyles.3
ÉcritureÉcrire en kabyle, en alphabet latin ou en tifinagh.2
ConversationRépondre naturellement à une réplique, comme dans une discussion.4

Le protocole

  1. Même consigne pour tous

    Chaque modèle reçoit exactement la même consigne, sans message système, avec une température de 0. Chaque réponse est enregistrée avec ses paramètres exacts.

  2. Notation à l'aveugle

    Les réponses sont tirées au hasard, tous modèles confondus. L'autrice note sans savoir quel modèle a répondu ; le modèle n'est révélé qu'après la note.

  3. Aucune fuite

    Les exemples, l'index RAG et les données d'entraînement sont vérifiés automatiquement : aucune phrase du jeu de test n'y figure.

L'échelle de notation

0Faux ou autre langue
1Partiellement correct
2Correct, erreurs mineures
3Correct et naturel

Les trois aides testées

Few-shot

On ajoute à la consigne 5 paires de phrases kabyle–français, choisies parmi les plus proches de la question dans le corpus Tatoeba.

RAG (recherche augmentée)

Au moment de répondre, le modèle reçoit les 8 passages les plus proches de la question, trouvés par recherche sémantique (bge-m3) dans un corpus kabyle–français.

Fine-tuning (QLoRA)

On ré-entraîne légèrement le modèle sur des dizaines de milliers de paires kabyle–français, sur un GPU gratuit. Possible seulement pour les modèles aux poids publics.

Les modèles testés

ModèleÉditeurAccèsTailleConfigurations
Gemini FlashGoogleAPI (en ligne)non publiéeSeulFew-shotRAG
Gemini Flash-LiteGoogleAPI (en ligne)non publiéeSeulFew-shotRAG
Mistral Large 4Mistral AIAPI (en ligne)non publiéeSeulFew-shotRAG
Ministral 3 8BMistral AIPoids ouverts, exécuté localement8 milliardsSeulFew-shotRAGFine-tuning
Qwen3.5 4BAlibaba (Qwen)Poids ouverts, exécuté localement4 milliardsSeulFew-shotRAGFine-tuning

Glossaire

Score humain
Note moyenne donnée à la main (0 à 3), ramenée sur 100 : 2,4 / 3 donne 80 %. C'est la mesure principale.
Fourchette à 95 %
Avec 41 tests, un score est approximatif. La fourchette donne la zone où se trouve très probablement le vrai niveau du modèle (bootstrap). Si deux fourchettes se chevauchent largement, l'écart n'est pas significatif.
Gain (en points)
Différence entre le score du modèle aidé et celui du modèle seul, mesurée sur les mêmes tests. +38 points : de 37 % à 75 %.
chrF++
Note automatique (0 à 100) qui compare la réponse à la référence lettre par lettre et mot par mot. Utile pour confirmer, mais elle ne comprend pas le sens : une bonne traduction formulée autrement est pénalisée.
Modèle seul (base)
Le modèle tel quel, avec la simple consigne.
Poids ouverts
Modèle téléchargeable, qu'on peut faire tourner sur sa propre machine et ré-entraîner. Ici : Qwen3.5 4B et Ministral 3 8B.

Limites

  • Une seule annotatrice : les notes reflètent une variété de kabyle et des choix d'orthographe. Plusieurs références par test limitent ce biais sans le supprimer.
  • Le kabyle varie d'une région à l'autre de la Kabylie : vocabulaire, tournures, prononciation. L'autrice a accepté autant que possible les formes des différentes régions, mais elle ne connaît pas forcément toutes les variantes : une réponse correcte dans un autre parler a pu être sous-notée.
  • 41 tests publics : les fourchettes sont larges, et les petits écarts entre modèles ne sont pas significatifs. Les scores par catégorie (2 à 4 tests hors traduction) sont indicatifs.
  • Les 11 tests privés n'ont pas été utilisés ici : les offres gratuites des API peuvent réutiliser les requêtes, seuls les tests publics leur ont été envoyés.
  • Pour Gemini Flash, le modèle seul a été interrogé via gemini-flash-latest, mais few-shot et RAG via gemini-3.6-flash, la version « latest » étant saturée pendant des jours. Leurs écarts avec le modèle seul mêlent donc l'effet de l'aide et celui de la version.

Tout est ouvert

Code, jeu de test public, données préparées, notebooks d'entraînement et résultats bruts sont publiés sur GitHub : chaque chiffre de ce site peut être vérifié et refait.

Voir le code sur GitHub →