Tày-Qwen-LoRA v1

Thông tin huấn luyện

• Model nền: unsloth/Qwen3-4B-Instruct-2507
• Phương pháp: LoRA (r=16, alpha=16), thư viện Unsloth + TRL SFTTrainer
• Dữ liệu: ~113.000 mẫu song ngữ Tày-Việt, đa nguồn (giáo trình, từ điển học thuật, tin tức VOV4, tự sinh có kiểm chứng) — xem chi tiết quy trình xây dựng dữ liệu tại [repo GitHub liên kết].
• Checkpoint được chọn: step-1500 (val loss thấp nhất quan sát được: 0.7242), không phải checkpoint cuối cùng của lần train — chọn theo tiêu chí early stopping dựa trên đường val loss.

Đây là v1 — hạn chế đã biết, hướng phát triển tiếp

• Dữ liệu train còn thiên lệch về dịch từ/câu đơn lẻ (~39%) và Q&A trích xuất sự kiện (~60%), hội thoại tự nhiên đa lượt còn ít (~0.7%).
• Chưa được người bản ngữ tiếng Tày xác minh đầy đủ — một số câu trả lời (ví dụ từ hiếm gặp) có dấu hiệu chưa chắc chắn khi test thủ công, cần kiểm chứng thêm trước khi dùng cho mục đích quan trọng.
• Hướng phát triển v2: mở rộng dữ liệu hội thoại tự nhiên, xác minh chất lượng bởi người biết tiếng Tày, đánh giá định lượng đầy đủ bằng chrF trên toàn bộ eval set.

Cách dùng