Views
No views yet
mbert645e-63210050.65230.65160.65310.01271from transformers import AutoTokenizer, AutoModelForTokenClassification
2import torch
3
4model_name = "visolex/mbert-hsd-span"
5tok = AutoTokenizer.from_pretrained(model_name)
6model = AutoModelForTokenClassification.from_pretrained(model_name)
7text = "Ví dụ câu tiếng Việt có nội dung thù ghét ..."
8enc = tok(text, return_tensors="pt", truncation=True, max_length=256, is_split_into_words=False)
9with torch.no_grad():
10 logits = model(**enc).logits
11 pred_ids = logits.argmax(-1)[0].tolist()
12# TODO: chuyển pred_ids -> spans theo scheme nhãn của bạn (BIO/BILOU/char-offset)