ⵣ Azul !

Les IA parlent‑elles kabyle ?

17 configurations de modèles de langage, 41 tests écrits par l'autrice, locutrice native du kabyle, 697 réponses notées à l'aveugle. Ce que les modèles savent vraiment du kabyle, et ce qu'on peut leur apprendre.

Jeu de test 1.0.4 · 16 novembre 2026

Classement généralScore
  1. 1Gemini FlashFew-shot91,9 %
  2. 2Gemini FlashSeul90,2 %
  3. 3Gemini FlashRAG87,8 %
  4. 4Gemini Flash-LiteFew-shot75,6 %
  5. 5Gemini Flash-LiteRAG72,4 %
  6. 6Mistral Large 4Few-shot71,5 %
Classement complet (17) →
90,2 %meilleur score, sans aucune aideGemini Flash
+43,9 ptsplus forte progression, par fine-tuningMinistral 3 8B
697réponses notées à la main, à l'aveugle17 configurations
41tests, en 6 catégoriesécrits par l'autrice, locutrice native

Synthèse

Ce qu'il faut retenir

  1. Un seul modèle sait déjà le kabyle

    Gemini Flash atteint 90,2 % sans aucune aide. Aucun autre modèle n'en approche, même avec les meilleures aides. Et les aides ne l'améliorent pas de façon significative : Few-shot +1,6 pts, RAG −2,4 pts.

  2. Pour les grands modèles, 5 exemples suffisent

    Montrer quelques phrases traduites dans la consigne (few-shot) fait gagner 35 à 37 points à Gemini Flash-Lite et Mistral Large 4. C'est l'aide la plus simple et la plus efficace pour eux.

  3. Les petits modèles partent de zéro

    Ministral 3 8B et Qwen3.5 4B obtiennent 0,8 % et 0,0 % : ils répondent dans une autre langue, ou inventent des mots qui ressemblent à du kabyle.

  4. Le fine-tuning transforme un petit modèle

    Entraîné sur des paires kabyle–français, Ministral 3 8B passe de 0,8 % à 44,7 %. Il dépasse alors des modèles bien plus grands utilisés sans aide : Gemini Flash-Lite et Mistral Large 4.

  5. La conversation reste le point faible

    Traduire est à la portée des meilleurs modèles. Tenir une conversation naturelle en kabyle ne l'est pour aucun : c'est la catégorie la plus basse partout.

Taqbaylit

Pourquoi le kabyle ?

Le kabyle (taqbaylit) est une langue berbère parlée par plusieurs millions de personnes en Kabylie, dans le nord de l'Algérie, et par une importante diaspora, notamment en France. Il s'écrit surtout en alphabet latin, avec des lettres propres comme ɛ, ɣ, ḥ ou ṭ, et aussi en tifinagh (ⵜⵉⴼⵉⵏⴰⵖ).

C'est une langue peu dotée : peu de textes numériques, peu d'outils, une orthographe qui varie. Les modèles de langage, entraînés surtout sur l'anglais, la confondent souvent avec l'arabe, le français ou d'autres langues berbères.

Données ouvertes

Tout est ouvert

Code, jeu de test public, données préparées, notebooks d'entraînement et résultats bruts sont publiés sur GitHub : chaque chiffre de ce site peut être vérifié et refait.