Đây là LoRA Adapter được tinh chỉnh để trích xuất thông tin từ hóa đơn đơn thuốc và phiếu thu tiếng Việt. Adapter này được huấn luyện trên nền mô hình gốc LiquidAI/LFM2.5-VL-1.6B.

Thông tin mô hình

Loại mô hình: LoRA (Low-Rank Adaptation)
Mục đích: Trích xuất dữ liệu có cấu trúc (JSON) từ hình ảnh tài liệu y tế và tài chính.
Dữ liệu huấn luyện: minhduc168/dataset-qwen-vlm-extract-bill

Ưu điểm của LoRA

Kích thước nhẹ (chỉ vài trăm MB thay vì vài GB).
Có thể dễ dàng tích hợp vào mô hình gốc mà không cần thay đổi trọng số gốc.
Phù hợp cho việc triển khai linh hoạt hoặc tiếp tục tinh chỉnh trên tập dữ liệu riêng.

Hướng dẫn sử dụng

Để sử dụng Adapter này, bạn cần tải mô hình gốc và sau đó nạp trọng số LoRA bằng thư viện peft.

python

from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
from peft import PeftModel
import torch

model_id = "LiquidAI/LFM2.5-VL-1.6B"
adapter_id = "minhduc168/LFM2.5-VL-1.6B-Vietnamese-LoRA"

# 1. Tải mô hình gốc
model = Qwen2VLForConditionalGeneration.from_pretrained(
    model_id, 
    torch_dtype=torch.bfloat16, 
    device_map="auto"
)

# 2. Nạp LoRA Adapter
model = PeftModel.from_pretrained(model, adapter_id)

# 3. Tải Processor
processor = AutoProcessor.from_pretrained(model_id)

model.eval()
print("Model và Adapter đã sẵn sàng!")

Các lưu ý

Base Model: Đảm bảo cài đặt thư viện peft: pip install peft
Phiên bản nén: Nếu muốn sử dụng bản đã gộp sẵn trọng số hoặc bản GGUF để tiết kiệm tài nguyên, vui lòng tham khảo tại: minhduc168/LFM2.5-VL-1.6B-Vietnamese.

Liên hệ

Nếu có bất kỳ câu hỏi nào về bộ dataset hoặc quá trình training, vui lòng mở một Discussion tại repo này!