Đây là LoRA Adapter được fine-tune để trích xuất thông tin từ hóa đơn, phiếu thu, đơn thuốc và chuẩn đoán bệnh tiếng Việt.
Adapter được huấn luyện dựa trên mô hình gốc unsloth/Qwen3-VL-2B-Instruct-bnb-4bit nhằm tối ưu khả năng hiểu tài liệu và trả về dữ liệu có cấu trúc.

📌 Thông tin mô hình

Loại mô hình: LoRA (Low-Rank Adaptation)
Pipeline: Image-to-Text
Mục đích: Trích xuất dữ liệu có cấu trúc (JSON) từ hình ảnh tài liệu y tế và tài chính.
Ngôn ngữ: Tối ưu cho tiếng Việt

🚀 Ưu điểm của LoRA

✅ Kích thước nhỏ — chỉ vài trăm MB thay vì vài GB
✅ Load nhanh, giảm yêu cầu VRAM
✅ Không làm thay đổi trọng số base model
✅ Dễ dàng tiếp tục fine-tune trên dataset riêng
✅ Phù hợp cho production hoặc triển khai on-premise

🔧 Hướng dẫn sử dụng

Để sử dụng Adapter này, bạn cần tải base model trước, sau đó nạp LoRA bằng thư viện peft.

python

from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
from peft import PeftModel
import torch

base_model_id = "unsloth/Qwen3-VL-2B-Instruct-bnb-4bit"
adapter_id = "minhduc168/Qwen3-VL-2B-Instruct-Vietnamese-LoRA"

# 1️⃣ Load base model
model = Qwen2VLForConditionalGeneration.from_pretrained(
    base_model_id,
    device_map="auto"
)

# 2️⃣ Load LoRA adapter
model = PeftModel.from_pretrained(model, adapter_id)

# 3️⃣ Load processor
processor = AutoProcessor.from_pretrained(base_model_id)

model.eval()
print("Model và LoRA adapter đã sẵn sàng!")

⚠️ Lưu ý quan trọng

Bắt buộc phải tải đúng Base Model để adapter hoạt động.

Cài đặt thư viện cần thiết:

pip install peft transformers bitsandbytes

📊 Dataset

Bao gồm:

Hóa đơn bán lẻ
Phiếu thu
Đơn thuốc
Chứng từ tiếng Việt
Chuẩn đoán bệnh

Định dạng instruction-following giúp model trích xuất dữ liệu có cấu trúc chính xác hơn.

Format mẫu

📌 Example 1 – BILL_OCR

json

{
  "id": "bill_f18b567055ed4c5d85143770499b2f65",
  "image": "bill_001.jpg",
  "conversations": [
    {
      "from": "human",
      "value": "<image>\n[BILL_OCR] Trích xuất danh sách dịch vụ và thông tin liên quan từ bảng trong ảnh.\nKhông suy đoán hoặc bổ sung thông tin không có trong ảnh."
    },
    {
      "from": "gpt",
      "value": "[
        {
            "stt": 1,
            "ten_dich_vu": "STTOMET 1000mg + 50mg",
            "so_luong": "56",
            "don_vi_tinh": "Viên",
            "don_gia": "5.390",
            "thanh_tien": "301.840"
        },
        {
            "stt": 2,
            "ten_dich_vu": "JARDIANCE DUO 12.5mg + 1000mg",
            "so_luong": "56",
            "don_vi_tinh": "Viên",
            "don_gia": "17.976",
            "thanh_tien": "1.006.656"
        },
        {
            "stt": 3,
            "ten_dich_vu": "Atovze* 20mg+10mg",
            "so_luong": "56",
            "don_vi_tinh": "Viên",
            "don_gia": "6.409",
            "thanh_tien": "358.921"
        },
        {
            "stt": 4,
            "ten_dich_vu": "SADAPRON 300mg",
            "so_luong": "28",
            "don_vi_tinh": "Viên",
            "don_gia": "2.750",
            "thanh_tien": "77.000"
        }
    ]"
    }
  ]
}

📌 Example 2 – DIAGNOSIS_EXTRACT

json

{
  "id": "diag_db2888ccc0de4c4b8e9d39c3e08c104a",
  "image": "diag_001.jpg",
  "conversations": [
    {
      "from": "human",
      "value": "<image>\n[DIAGNOSIS_EXTRACT] Hãy trích xuất và cho biết chẩn đoán trong hình này."
    },
    {
      "from": "gpt",
      "value": "Răng 28: [K07 4] Răng mọc lệch"
    }
  ]
}

🎯 Use Cases

Trích xuất thông tin hóa đơn tự động
Structured OCR
Document AI tiếng Việt
Medical / pharmacy bill parsing
Fintech document processing

📌 Khi nào nên dùng LoRA này?

👉 Khi bạn muốn:

Giảm chi phí GPU
Tăng tốc inference
Tùy chỉnh model theo domain tiếng Việt
Triển khai linh hoạt mà không cần merge model

🔗 Phiên bản khác

Nếu bạn muốn sử dụng phiên bản đã merge trọng số hoặc GGUF để chạy local, tham khảo tại:minhduc168/Qwen3-VL-2B-Instruct-unsloth-bnb-4bit-Vietnamese-bill-diagnosis

License

Apache-2.0

💬 Liên hệ

Nếu có câu hỏi về dataset hoặc quá trình training, vui lòng mở Discussion tại repository này!

minhduc168/Qwen3-VL-2B-Instruct-unsloth-bnb-4bit-Vietnamese-bill-diagnosis-LoRA

Qwen3-VL-2B-Instruct Vietnamese Bill Diagnosis (LoRA Adapter)