Repo này là sản phẩm demo cho ứng dụng của LoRA (Low-Rank Adapter) vào LLM (Lagre Languagle Model).

Mục tiêu:

• Chứng minh LoRA đã làm thay đổi weight của model gốc, từ đó giải thích thêm về ứng dụng của LoRA

Kết quả đạt được:

• Fine-tune thành công LoRA về format text của model gốc chuyển thành format text theo style story telling. Dataset có thể tìm kiếm tại đây

Thông tin và thông số fine-tune parameter: