Views
No views yet
sus), langue de
Guinée. Fine-tuning de NLLB-200-distilled-600M
avec ajout d'un nouveau token de langue sus_Latn (le soussou n'étant pas couvert
par NLLB de base).fr↔sus, en↔sus.| Direction | chrF++ |
|---|---|
| fr → sus | 48.9 |
| en → sus | 44.4 |
| sus → fr | 41.2 |
| sus → en | 38.9 |
1import torch
2from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
3
4tok = AutoTokenizer.from_pretrained("2ADT-Consulting/nllb-susu-v1")
5model = AutoModelForSeq2SeqLM.from_pretrained("2ADT-Consulting/nllb-susu-v1")
6
7def translate(text, src_lang, tgt_lang):
8 tok.src_lang = src_lang
9 inputs = tok(text, return_tensors="pt")
10 gen = model.generate(
11 **inputs,
12 forced_bos_token_id=tok.convert_tokens_to_ids(tgt_lang),
13 max_length=128, num_beams=4, no_repeat_ngram_size=3,
14 )
15 return tok.batch_decode(gen, skip_special_tokens=True)[0]
16
17# codes : sus_Latn (soussou), fra_Latn (français), eng_Latn (anglais)
18print(translate("Je vais au marché.", "fra_Latn", "sus_Latn"))
19print(translate("A fɔlɛ ra, Ala naxa koore nun bɔxi daa.", "sus_Latn", "fra_Latn"))2ADT-Consulting/nllb-susu-v2) qui ajoute un lexique du
quotidien, des dialogues, et la compréhension de l'écriture « à la française ».