Mô hình này là phiên bản fine-tune của Google Gemma 4 E2B sử dụng thư viện Unsloth trên tập dữ liệu sạch gồm 98,274 Persona người Việt được chuẩn hóa và dọn sạch nhiễu từ nguồn dữ liệu gốc của NVIDIA. Mô hình được thiết kế chuyên biệt để làm nền tảng cho các Bot AI Agent, hỗ trợ đóng vai đa dạng các nhân vật người Việt thuộc mọi lứa tuổi, vùng miền, trình độ học vấn và ngành nghề để tư vấn, hỗ trợ và tương tác tự nhiên.

1. Lộ trình xử lý dữ liệu & Huấn luyện (Data Pipeline & Training)

Quy trình phát triển mô hình được thực hiện khép kín qua các giai đoạn lọc nhiễu dữ liệu thô, định dạng hội thoại, huấn luyện LoRA tối ưu và nén lượng tử GGUF:

mermaid

graph TD
    A[Dataset Gốc NVIDIA: 100,000 Bản Ghi] --> B[Giai Đoạn 1: Audit Chất Lượng & Dọn Dẹp Nhiễu]
    B --> C[Giai Đoạn 2: Lọc & Giữ Lại 98,274 Bản Ghi Sạch]
    C --> D[Giai Đoạn 3: Chuyển Đổi Sang Gemma 4 Chat Template]
    D --> E[Giai Đoạn 4: Huấn Luyện LoRA Với Unsloth]
    E --> F[Giai Đoạn 5: Lượng Tử Hóa GGUF Đa Dạng]

Giai đoạn 1: Nguồn dữ liệu và Tiền xử lý

Nguồn dữ liệu gốc: nvidia/Nemotron-Personas-Vietnam gồm 100,000 bản ghi mô tả chân dung (persona) người Việt.
Audit chất lượng & Lọc nhiễu: Tiến hành quét và loại bỏ các bản ghi bị lỗi định dạng ký tự, lỗi dịch thuật máy hoặc thiếu thông tin nhân khẩu học quan trọng.
Kết quả dọn dẹp: Giữ lại 98,274 bản ghi chất lượng cao nhất, loại bỏ hoàn toàn các thực thể văn bản không phù hợp với văn phong địa phương.

Giai đoạn 2: Định dạng cấu trúc hội thoại (Chat Template)

Dữ liệu được cấu trúc lại theo định dạng hội thoại chuẩn của Gemma 4 (gỡ bỏ đầu <bos> để tránh trùng lặp token khi nạp vào Unsloth):

User Prompt: Cung cấp thông tin chi tiết về nhân vật cần đóng vai (Giới tính, tuổi, học vấn, nghề nghiệp, nơi sống, tình trạng hôn nhân).
Assistant Response: Đóng vai nhân vật tương ứng, tự giới thiệu và chia sẻ sâu về công việc, chuyên môn kỹ năng, sở thích cá nhân, gu ẩm thực và bối cảnh gia đình bằng tiếng Việt tự nhiên.

Giai đoạn 3: Cấu hình huấn luyện (Training Configuration)

Base Model: google/gemma-4-E2B-it (Mô hình đa phương tiện thế hệ mới của Google).
Phương pháp: Parameter-Efficient Fine-Tuning (PEFT) sử dụng LoRA.
- LoRA Rank ($r$): 16
- LoRA Alpha ($\alpha$): 32
- LoRA Dropout: 0 (Tối ưu hiệu năng)
- Frozen Modules: Bộ mã hóa hình ảnh (Vision Encoder) và âm thanh (Audio Encoder) được đóng băng (finetune_vision_layers = False) để bảo toàn nguyên vẹn năng lực xử lý đa phương tiện zero-shot gốc của Google.
Tham số huấn luyện:
- Epoch: 1 đầy đủ
- Learning Rate: 2e-4 (Cosine decay scheduler)
- Effective Batch Size: 8 (Cấu hình song song DDP trên 2 GPU T4: Batch Size 2, Gradient Accumulation 2)
- Context Length: 2048 tokens
- Optimizer: AdamW 8-bit

2. Khuyến nghị lựa chọn phiên bản GGUF tối ưu

Chúng tôi cung cấp đa dạng các định dạng quantization (nén mô hình) tối ưu cho từng loại cấu hình phần cứng khác nhau, đặc biệt là thiết bị Edge (di động, nhúng) và máy tính có VRAM thấp:

File GGUF	Số bit	Kích thước	Khuyến nghị phần cứng & Thiết bị	Mức độ suy hao chất lượng
`gemma-4-e2b-it.Q2_K.gguf`	2-bit	~0.85 GB	Máy có RAM cực kỳ hạn chế (điện thoại cũ, Raspberry Pi, thiết bị IoT).	Cao (Dùng khi cực kỳ thiếu bộ nhớ)
`gemma-4-e2b-it.Q3_K_M.gguf`	3-bit	~1.10 GB	Thiết bị di động đời cũ, RAM ≤ 4GB.	Trung bình
`gemma-4-e2b-it.Q4_K_M.gguf`	4-bit	~1.30 GB	[Khuyên dùng cho Edge] Điện thoại thông minh, máy tính bảng, máy tính cá nhân không có GPU rời.	Rất thấp (Độ cân bằng size/quality tốt nhất)
`gemma-4-e2b-it.Q5_K_M.gguf`	5-bit	~1.55 GB	[Khuyên dùng cho PC] Card đồ họa VRAM 4–6GB hoặc CPU RAM ≥ 8GB.	Cực kỳ thấp (Sweet spot cho chất lượng cao)
`gemma-4-e2b-it.Q6_K.gguf`	6-bit	~1.85 GB	Thiết bị có GPU rời VRAM ≥ 6GB hoặc CPU RAM ≥ 16GB.	Không đáng kể
`gemma-4-e2b-it.Q8_0.gguf`	8-bit	~2.35 GB	Gần như lossless hoàn toàn so với mô hình gốc 16-bit.	Lossless

Lưu ý: Để sử dụng các tính năng nhận diện hình ảnh và âm thanh (any-to-any) trên định dạng GGUF, bạn cần kết hợp sử dụng tệp projector đa phương tiện đi kèm là gemma-4-e2b-it.F16-mmproj.gguf.

3. Hướng dẫn sử dụng chi tiết

Phương án A: Chạy với Ollama (Khuyên dùng)

Bước 1: Cài đặt Ollama tại ollama.com.

Bước 2: Tải phiên bản GGUF mong muốn (ví dụ: gemma-4-e2b-it.Q4_K_M.gguf) và tệp projector đa phương tiện gemma-4-e2b-it.F16-mmproj.gguf về cùng một thư mục.

Bước 3: Tạo một tệp cấu hình tên là Modelfile trong cùng thư mục đó với nội dung sau:

dockerfile

FROM ./gemma-4-e2b-it.Q4_K_M.gguf
ADAPTER ./gemma-4-e2b-it.F16-mmproj.gguf

# Thiết lập các tham số sinh văn bản
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER stop "<|turn>"
PARAMETER stop "<turn|>"

# Định dạng Template hội thoại chuẩn của Gemma 4
TEMPLATE """<|turn>user
{{ .Prompt }}<turn|>
<|turn>model
"""

# Cấu hình System Prompt mặc định
SYSTEM """Bạn là một AI Agent chuyên nghiệp, đóng vai Persona người Việt để hỗ trợ người dùng."""

Bước 4: Tạo và chạy mô hình trong terminal:

bash

# Tạo mô hình trong hệ thống Ollama
ollama create gemma4-personas -f Modelfile

# Khởi chạy hội thoại trực tiếp
ollama run gemma4-personas

Phương án B: Sử dụng dòng lệnh với Llama.cpp

Bạn có thể chạy mô hình trực tiếp qua llama.cpp bằng lệnh sau (hỗ trợ cả hình ảnh/âm thanh thông qua --mmproj):

bash

./llama-cli -m gemma-4-e2b-it.Q4_K_M.gguf \
  --mmproj gemma-4-e2b-it.F16-mmproj.gguf \
  -p "<|turn>user\nHãy đóng vai một giáo viên 35 tuổi sống tại Hà Nội để tự giới thiệu về bản thân.<turn|>\n<|turn>model\n" \
  -n 512 \
  --temp 0.7

Phương án C: Sử dụng thư viện Python `llama-cpp-python`

Để nạp phiên bản GGUF trong Python sử dụng thư viện llama-cpp-python:

python

from llama_cpp import Llama

# Khởi tạo mô hình
llm = Llama(
    model_path="gemma-4-e2b-it.Q4_K_M.gguf",
    n_ctx=2048,
    n_threads=4  # Số luồng CPU sử dụng
)

# Tạo Prompt hội thoại chuẩn Gemma 4
prompt = (
    "<|turn>user\n"
    "Hãy đóng vai một kỹ sư phần mềm 28 tuổi sống tại Thành phố Hồ Chí Minh để tự giới thiệu về bản thân.<turn|>\n"
    "<|turn>model\n"
)

# Chạy mô hình
response = llm(prompt, max_tokens=512, stop=["<|turn>", "<turn|>"])
print(response["choices"][0]["text"])

LeNgocTu/gemma-4-E2B-vietnam-personas-gguf

Gemma 4 E2B Vietnam Personas GGUF

Trợ lý đóng vai Persona người Việt phục vụ làm Bot AI Agent hỗ trợ đa dạng