Catareeya QAT เป็นโมเดลภาษาขนาดใหญ่ (LLM) ที่ถูก fine-tune จาก Gemma 4 12B ด้วย Quantization-Aware Training (QAT) โดยมีบุคลิกเป็น "แคท อารียา" — พนักงานขายวัย 28 ปี ที่มีนิสัยร่าเริง เป็นกันเอง และเชี่ยวชาญด้านการขายสินค้า

โมเดลนี้ถูก train ด้วย LoRA (Low-Rank Adaptation) บน DGX Spark (NVIDIA GB10) ด้วย synthetic training data 500+ บทสนทนา เพื่อให้มีน้ำเสียงและสไตล์การพูดแบบเป็นกันเอง เหมาะสำหรับการเป็น chatbot ขายสินค้าภาษาไทย

✨ จุดเด่นของ QAT Version

ความเร็วสูง: 47 tokens/second ด้วย MTP (Multi-Token Prediction)
MTP Acceptance Rate: 80% (draft model ทำงานได้เต็มประสิทธิภาพ)
ขนาดกะทัดรัด: Q4_K_M quantization (~6.9 GB)
คุณภาพดี: QAT training ช่วยรักษาคุณภาพของโมเดลเดิม

🎭 บุคลิกของแคท (Personality)

ลักษณะ	รายละเอียด
ชื่อ	แคท อารียา (Cat Areeya)
อายุ	28 ปี
บทบาท	พนักงานขาย (Claw Agent)
น้ำเสียง	เป็นกันเอง, ร่าเริง, อบอุ่น
ภาษา	ใช้ "ค่ะ/คะ", มี emoji บ้าง 😊, พูดเหมือนเพื่อนแนะนำเพื่อน
สไตล์การขาย	ถามความต้องการ → แนะนำสินค้า → บอกโปรโมชั่น → ปิดการขาย

🚀 การใช้งาน (Usage)

ใช้กับ llama.cpp + MTP (แนะนำ)

bash

# ดาวน์โหลด GGUF file
huggingface-cli download tokenine/catareeya-gemma-4-12b-qat \
  catareeya-qat-Q4_K_M.gguf \
  --local-dir ./models

# รันด้วย llama-server + MTP
./llama-server \
  -m ./models/catareeya-qat-Q4_K_M.gguf \
  --model-draft MTP/mtp-gemma-4-12B-it-Q8_0.gguf \
  --spec-type draft-mtp \
  --spec-draft-n-max 4 \
  -ngl 999 \
  -fa on \
  --host 0.0.0.0

ตัวอย่างการสนทนา

User: สวัสดีค่ะ มีอะไรแนะนำบ้าง?

Catareeya:

สวัสดีค่าา! แคทเองนะคะ ยินดีที่ได้รู้จักค่ะ! 😊 วันนี้มีอะไรให้แคทช่วยดูแลบ้างคะ?

มีสินค้าหลายตัวเลยค่ะ แต่แคทอยากรู้ก่อนนิดนึงค่ะว่า ลูกค้าสนใจดูแลส่วนไหนเป็นพิเศษไหมคะ? หรือมีปัญหาผิวแบบไหนที่อยากแก้? บอกแคทได้เลยนะ แคทจะได้แนะนำได้ตรงจุดค่ะ! ✨

📊 ผลลัพธ์การ Training (Training Results)

QAT Fine-tuning Results

Metric	ค่า
Training Time	~28 นาที
Total Steps	171/171 (100%)
Train Loss	0.928 (เฉลี่ย)
Eval Loss	0.022
Token Accuracy	99.2%
Epochs	3

MTP Performance

Metric	ค่า
Generation Speed	47 tokens/second
MTP Acceptance Rate	80.4%
Draft Length	4.22 tokens

📦 ไฟล์ที่มี (Available Files)

ไฟล์	ขนาด	หมายเหตุ
`catareeya-qat-Q4_K_M.gguf`	6.9 GB	Quantized GGUF (แนะนำสำหรับ inference)
`catareeya-qat-f16.gguf`	23 GB	Full precision GGUF
`catareeya-gemma-4-12b-qat-standard/`	251 MB	LoRA adapter
`catareeya-gemma-4-12b-qat-standard-merged/`	23 GB	Merged model (safetensors)

🏗️ สถาปัตยกรรม (Architecture)

รายการ	รายละเอียด
Base Model	google/gemma-4-12B-it
Fine-tuning Method	LoRA + QAT (Quantization-Aware Training)
LoRA Rank	16
LoRA Alpha	32
Trainable Parameters	65.6M (0.55% ของทั้งหมด)
Training Data	500 synthetic conversations
Hardware	DGX Spark (NVIDIA GB10, 128GB unified memory)
Training Time	~28 นาที

⚠️ ข้อจำกัด (Limitations)

Training Data: ถูก train ด้วย synthetic data เท่านั้น อาจไม่ครอบคลุมทุกสถานการณ์จริง
Domain: เน้นขายสินค้าทั่วไปเป็นหลัก อาจต้อง fine-tune เพิ่มสำหรับ domain เฉพาะ
Language: เก่งภาษาไทยและอังกฤษ แต่อาจมีข้อผิดพลาดในภาษาถิ่นหรือสแลง
Real-time: ไม่มีความรู้เรื่องสินค้าจริง (ต้องเพิ่ม RAG หรือ product catalog)

🙏 Acknowledgements

Base Model: Google Gemma 4 by Google DeepMind
Fine-tuning Framework: Unsloth, HuggingFace Transformers, PEFT, TRL
Hardware: NVIDIA DGX Spark
Inspiration: Catareeya Demo

📄 License

โมเดลนี้เผยแพร่ภายใต้ Apache 2.0 License (เช่นเดียวกับ Gemma 4)

สร้างด้วย ❤️ โดย Tokenine Team

🐱 แคท อารียา — ผู้เชี่ยวชาญขายสินค้า