โมเดล GGUF (quantized) fine-tune จาก unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit บน dataset บทสนทนา customer support จาก Twitter (4 แบรนด์: AmazonHelp, AppleSupport, sprintcare, VerizonSupport) แปลงเป็น GGUF สำหรับรันบน llama.cpp, Ollama, LM Studio และเครื่องมือที่รองรับ GGUF อื่นๆ

รูปแบบอื่นของโมเดลนี้:

โมเดลเต็มแบบ merge แล้ว (16-bit): oldradio2511/llama3.1-8b-customer-support-merged
LoRA adapter อย่างเดียว: oldradio2511/llama3.1-8b-customer-support-lora

วิธีใช้งาน

Ollama:

ollama run hf.co/oldradio2511/llama3.1-8b-customer-support-gguf

llama.cpp:

./llama-cli -hf oldradio2511/llama3.1-8b-customer-support-gguf -p "My package hasn't arrived yet, what should I do?"

ข้อจำกัด

โมเดลอาจ "แต่ง" ลิงก์หรือรายละเอียดที่ไม่มีอยู่จริง (hallucination) — ควรมี guardrail กรองก่อนใช้งานจริงกับลูกค้า
เทรนด้วยข้อมูลผสม 4 แบรนด์ ผ่าน system prompt ระบุชื่อแบรนด์ — คุณภาพการแยกโทนของแต่ละแบรนด์ขึ้นกับความชัดเจนของ system prompt ที่ใช้ตอน inference
Quantization ทำให้คุณภาพคำตอบลดลงเล็กน้อยเทียบกับเวอร์ชัน merged 16-bit เต็ม

License

โมเดลนี้ fine-tune ต่อจาก Meta Llama 3.1 จึงอยู่ภายใต้ Llama 3.1 Community License การใช้งาน/แจกจ่ายต่อต้องปฏิบัติตามเงื่อนไขของสัญญานี้ รวมถึง:

แสดงข้อความ "Built with Llama" (แสดงไว้ด้านบนของ README นี้แล้ว)
แนบไฟล์ NOTICE และ LICENSE มาพร้อม repo นี้
ปฏิบัติตาม Acceptable Use Policy ของ Meta

สัญญาฉบับเต็ม: https://llama.com/llama3_1/license/