You can deploy this model and start earning money today!

minhmnq/
byt5-vietnamese-restoration

Name: byt5-vietnamese-restoration
Availability: InStock

safetensors

byt5

punctuation-restoration

diacritic-restoration

vietnamese

text-generation

mit

Views

No views yet

ByT5 Vietnamese Diacritic & Punctuation Restoration

Mô hình học sâu cấp độ byte (Byte-Level ByT5) được tinh chỉnh chuyên biệt cho bài toán khôi phục dấu thanh điệu và phục hồi khoảng trắng (phân đoạn từ) tiếng Việt.

Điểm nổi bật

Phục hồi 100% mất khoảng trắng: Phục hồi chính xác các chuỗi dính liền không dấu (homnaytroidep -> hôm nay trời đẹp).
Khóa bảo toàn nội dung gốc (BaseContentMatch ≈ 100%): Đảm bảo không sinh từ ảo giác.
Tích hợp Hybrid Lexical Trigram Reranking: Khử nhập nhằng từ đồng âm.

Cách sử dụng

python

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch

repo = "minhmnq/byt5-vietnamese-restoration"
device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSeq2SeqLM.from_pretrained(repo).to(device)
model.eval()

text = "toidanghocxulyngonngutunhien"
inputs = tokenizer(text, return_tensors="pt").to(device)
output = model.generate(**inputs, max_new_tokens=256, num_beams=4)
print(tokenizer.decode(output[0], skip_special_tokens=True))
# Kết quả: tôi đang học xử lý ngôn ngữ tự nhiên