Modèle de langue conversationnel centré sur le Fongbe (fon), cœur de l'assistant vocal MƐCE. Version fusionnée (poids QLoRA mergés dans le modèle de base), chargeable directement avec transformers.

Détails

Base : Qwen 3.5 9B (multilingue), tokenizer étendu de +82 tokens Fongbe (caractères ɔ, ɛ, ɖ + sous-mots) → byte-fallback ramené de 49,24 % à 0 %.
Méthode : QLoRA (NF4, r=64, α=128, dropout 0,05), embeddings dégelées (embed_tokens, lm_head), calcul bf16. ~116 M paramètres entraînables (1,28 %).
Entraînement : 3 époques, 2× RTX 5090 (DDP), ~140 K exemples (cf. dataset associé). Loss eval finale 0,378, mean token accuracy 90,0 %.
Capacités : conversation en Fongbe, français préservé, traduction FR/EN↔FON.

Usage

python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tok = AutoTokenizer.from_pretrained("CapitaineVigs/mece-tunepigier-9b")
model = AutoModelForCausalLM.from_pretrained(
    "CapitaineVigs/mece-tunepigier-9b", torch_dtype=torch.bfloat16, device_map="auto")

messages = [
    {"role": "system", "content": "Hwi wɛ nyí MƐ CE, alɔgɔ́nútɔ́ gbɛtɔ́ lɛ tɔn. A nɔ na xósin ɖò Fɔngbè mɛ hwebǐnu."},
    {"role": "user", "content": "A fɔn ganji a ?"},
]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(prompt, return_tensors="pt").to(model.device), max_new_tokens=256)
print(tok.decode(out[0], skip_special_tokens=True))

Note d'inférence : forcer l'EOS sur <|im_end|> et bannir les single-byte tokens non-ASCII évite les artefacts (séquelle corrigée en phase 4c). Cf. app/llm.py du projet.

Limites

STT/TTS non inclus (modèles tiers intégrés dans l'app). Corpus encore en partie biblique~; pas de benchmark conversationnel Fongbe standardisé.

Licence

à reporter explicitement ici.

Citation

HOUNSOU Vignikin Gerès, MƐCE : assistant vocal Fongbe basé sur un grand modèle de langue fine-tuné, École PIGIER Bénin, 2026.

CapitainVigs/mece-tunepigier-9b

MƐCE — Tune_Pigier (Qwen 3.5 9B fine-tuné Fongbe, modèle fusionné)

Détails

Usage

Limites

Licence

Citation

CapitainVigs/
mece-tunepigier-9b