Views
No views yet
vi: / en: source-language prefix; the model may echo a target prefix
which should be stripped:1import ctranslate2, sentencepiece as spm, re
2
3translator = ctranslate2.Translator("model_dir", compute_type="int8")
4sp = spm.SentencePieceProcessor("model_dir/spiece.model")
5
6tokens = sp.encode("vi: Cuộc sống của một nhân viên ngân hàng rất khó khăn.", out_type=str) + ["</s>"]
7result = translator.translate_batch([tokens], beam_size=1)
8text = sp.decode(result[0].hypotheses[0])
9print(re.sub(r"^(?:\S{1,3}\s+)?(en|vi)\s*:\s*", "", text))