Views
No views yet
peft) entraîné sur 147 419 paires
anglais–tachelhit, à partir de facebook/nllb-200-distilled-600M.| Métrique | Baseline | MiLoRA (fine-tuné) |
|---|---|---|
| BLEU | 0,57 | 15,49 |
| chrF++ | 11,77 | 39,03 |
| CER ↓ | 73,16 | 47,88 |
results.csv / results.json / significance.json pour le détail complet
des métriques, et les fichiers .png pour les visualisations (courbes de loss,
analyse SVD, distribution des scores).1import torch
2from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
3from peft import PeftModel
4
5base_model_id = "facebook/nllb-200-distilled-600M"
6adapter_repo_id = "sahabiahmedreda/tash_tfngh_milora"
7src_lang, tgt_lang = "eng_Latn", "tzm_Tfng"
8
9tokenizer = AutoTokenizer.from_pretrained(adapter_repo_id, src_lang=src_lang, tgt_lang=tgt_lang)
10forced_bos_token_id = tokenizer.convert_tokens_to_ids(tgt_lang)
11
12base_model = AutoModelForSeq2SeqLM.from_pretrained(base_model_id, torch_dtype=torch.float16, device_map="auto")
13model = PeftModel.from_pretrained(base_model, adapter_repo_id)
14model.eval()
15
16inputs = tokenizer("Hello, how are you?", return_tensors="pt").to(model.device)
17outputs = model.generate(**inputs, forced_bos_token_id=forced_bos_token_id, max_new_tokens=64,
18 no_repeat_ngram_size=3, repetition_penalty=1.3)
19print(tokenizer.decode(outputs[0], skip_special_tokens=True))tzm_Tfng est utilisé comme proxy — NLLB-200 n'a pas de code dédié pour le Tachelhit.