Đây là bộ trọng số LoRA Đại Nền Móng (Stage 1 Checkpoint) trong chuỗi dự án tối ưu hóa mô hình lập trình viên tiếng Việt, được đào tạo tiếp nối từ khoin68/Qwen2.5-Coder-7B-Vietnamese-LoRA (v1.0).

Mô hình đã hấp thụ trọn vẹn 100.000 mẫu dữ liệu SFT tuyển chọn thông qua 1.500 bước huấn luyện liên tục trên cụm máy chủ đám mây Kaggle GPU T4:

🛠️ 40.000 mẫu Tool Calling & Function Calling: Huấn luyện khả năng nhận diện và xuất cú pháp gọi hàm JSON chuẩn mực.
💻 30.000 mẫu Lập trình & Phân tích mã nguồn: Đa ngôn ngữ (Python, JS/TS, C++, Go, Java, Rust, SQL...) kèm giải thích chi tiết.
🇻🇳 30.000 mẫu Tiếng Việt Đời Sống & Tư Duy: Nạp kho hội thoại đời thường và tư duy suy luận logic sâu sắc.

📊 2. CHI TIẾT THÀNH PHẦN 100.000 MẪU DỮ LIỆU

Phân loại	Tên Dataset nguồn	Số lượng	Trọng tâm năng lực
Tool Calling	`glaiveai/glaive-function-calling-v2`	40.000 mẫu	Kỹ năng gọi hàm JSON qua thẻ `<tool_call>`
Code Chuyên Sâu	`m-a-p/CodeFeedback-Filtered-Instruction`	30.000 mẫu	Giải thuật, Clean Code, Debug và Refactoring
Tiếng Việt Đời Sống	`nguyenphuthien/vietnamese_ultrachat_200k`	20.000 mẫu	Hội thoại giao tiếp tự nhiên bản xứ
Tư Duy Logic	`5CD-AI/Vietnamese-alpaca-gpt4-gg-translated`	10.000 mẫu	Nghe hiểu mệnh lệnh và phân tích logic GPT-4
TỔNG CỘNG	5 Bộ Dataset mở hàng đầu	100.000 mẫu	Nền móng toàn diện 100%

⚙️ 3. THÔNG SỐ HUẤN LUYỆN (HYPERPARAMETERS)

Base Model: unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit (kế thừa trọng số v1.0).
Framework: Unsloth (OpenAI Triton Kernels) + Hugging Face TRL (SFTTrainer).
LoRA Rank ($r$): 32 | LoRA Alpha ($\alpha$): 32 | Dropout: 0.0.
Target Modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"].
Trainable Parameters: 80,740,352 / 7,696,356,864 (1.05% tổng tham số).
Total Steps: 1,500 steps (~3.6 giờ tính toán liên tục trên Kaggle Tesla T4).
Learning Rate: 1e-4 (Cosine Decay Scheduler).
Batch Size: Per Device = 2, Gradient Accumulation = 4 (Effective Batch = 8).

💻 4. HƯỚNG DẪN SỬ DỤNG TRONG PYTHON

Nạp Model để Huấn luyện tiếp nối (Stage 2 SFT) hoặc Chạy suy luận:

python

import torch
from unsloth import FastLanguageModel

# 1. Nạp Model nền móng 100K mẫu
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "khoin68/Qwen2.5-Coder-7B-Stage1-100K-LoRA",
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = True,
)

# 2. Bật chế độ suy luận nhanh
FastLanguageModel.for_inference(model)

# 3. Gửi câu hỏi kiểm tra khả năng gọi tool
messages = [
    {"role": "system", "content": "Bạn là trợ lý AI thông minh hỗ trợ gọi hàm hệ thống qua thẻ <tool_call>."},
    {"role": "user", "content": "Kiểm tra danh sách các file trong thư mục src/ và đọc nội dung file config.json giúp tôi."}
]

inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to("cuda")
outputs = model.generate(input_ids=inputs, max_new_tokens=256, temperature=0.3)
print(tokenizer.batch_decode(outputs)[0])

📜 5. BẢN QUYỀN & LỜI CẢM ƠN Phát triển và huấn luyện bởi: @khoin68. Mô hình gốc: Qwen2.5-Coder-7B (Alibaba Cloud). Công nghệ tăng tốc: Unsloth AI.