Fine-tuning LoRA du modèle facebook/nllb-200-distilled-600M pour la traduction vers le Pulaar Fouta-Toro (code NLLB : fuv_Latn), langue peule peu dotée parlée en Mauritanie et au Sénégal.

Auteurs : Hamath Kane · Abou Sy (corpus quotidien)

Ce que ce modèle fait bien

Traduction du Coran (arabe → Pulaar, français → Pulaar) : entraîné sur 11 472 paires de versets, c'est l'usage le plus fiable.
Phrases courantes simples : salutations, questions basiques, formules religieuses courantes.

"Je viens."                    → Mi arii.
"Je ne comprends pas."         → Mi faamataa.
"Comment t'appelles-tu ?"      → Hol innde ma ?
"C'est bon."                   → Ɗuum ina moƴƴi.
"Au nom d'Allah..."            → E innde Alla jurmotooɗo

Limites — À lire avant d'utiliser

Ce modèle est expérimental sur le vocabulaire quotidien.

Erreurs observées :

Peut insérer des mots en anglais ("hello" dans une réponse fr→pul)
Traductions incorrectes sur des expressions communes ("Merci beaucoup" → E jaagorɗe keewɗe au lieu de A jaaraama no feewi)
Invente des mots pour le vocabulaire spécialisé absent du corpus (faune, médical)
Les mots isolés (sans contexte de phrase) donnent de mauvais résultats

Cause : le corpus quotidien (~860 paires) reste minoritaire face au corpus coranique (11 472 paires), même avec sur-échantillonnage ×3. Un volume de 3 000–5 000 paires quotidiennes est nécessaire pour fiabiliser cet axe.

v5 en développement avec davantage de phrases conversationnelles.

Résultats d'évaluation

Benchmark coranique (1 000 paires, test_full.jsonl)

Axe	BLEU	chrF++	vs v2
ar → Pulaar	13.63	37.61	+1.20
fr → Pulaar	14.56	40.78	+1.32

Benchmark quotidien (50 paires réservées, non vues en train)

Axe	BLEU	chrF++
fr → Pulaar	7.74	11.87

Le score quotidien bas reflète en partie la difficulté du benchmark (mots isolés rares). Les phrases conversationnelles courantes fonctionnent mieux que ce score ne le suggère. Voir les limites ci-dessus pour le détail des erreurs réelles.

Données d'entraînement

Corpus	Paires	Source
Coran ar+fr → Pulaar	11 472	Traduction de référence Pulaar Fouta-Toro
Quotidien fr → Pulaar (×3)	2 427 (809 × 3)	Abou Sy — dataset_quotidien_v4
Total	13 899

Test quotidien : 50 paires réservées (anti-fuite), exclues du train.

Architecture

Modèle de base : facebook/nllb-200-distilled-600M
Méthode : LoRA (PEFT) — continual fine-tuning depuis v2
Paramètres LoRA : r=16, alpha=32, dropout=0.05, modules q_proj + v_proj
Hyperparamètres : LR=1e-4, 3 epochs, batch effectif 64, fp16

Utilisation

python

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from peft import PeftModel
import torch

MODEL_BASE = "facebook/nllb-200-distilled-600M"
LORA_REPO  = "kawkumputer/pulaar-ai-nllb-600m-v4"

tokenizer  = AutoTokenizer.from_pretrained(MODEL_BASE)
base_model = AutoModelForSeq2SeqLM.from_pretrained(MODEL_BASE, torch_dtype=torch.float16)
model      = PeftModel.from_pretrained(base_model, LORA_REPO)
model.eval()

def translate(text, src_lang="fra_Latn", tgt_lang="fuv_Latn"):
    tokenizer.src_lang = src_lang
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=128)
    forced_bos = tokenizer.convert_tokens_to_ids(tgt_lang)
    with torch.no_grad():
        output = model.generate(
            **inputs,
            forced_bos_token_id=forced_bos,
            num_beams=4,
            max_new_tokens=128,
            repetition_penalty=1.3,
            no_repeat_ngram_size=3,
        )
    return tokenizer.decode(output[0], skip_special_tokens=True)

# Exemples
print(translate("Au nom d'Allah, le Tout Miséricordieux"))   # fr → pul
print(translate("بِسْمِ ٱللَّهِ", src_lang="arb_Arab"))      # ar → pul

Codes de langue NLLB : fra_Latn (français), arb_Arab (arabe), fuv_Latn (Pulaar).

Licence

CC BY-NC 4.0 — Usage non commercial. Corpus coranique : traduction Pulaar Fouta-Toro (domaine public). Corpus quotidien : © Abou Sy, partagé avec accord pour ce projet.