Views
No views yet
scb10x/llama3.2-typhoon2-3b สำหรับงาน Text Generation เพื่อให้ตอบคำถามเกี่ยวกับกฎหมายไทยได้อย่างแม่นยำ โดยรวมการค้นหาแบบ Dense (Chroma) และ Sparse (BM25) เพื่อเพิ่มความถูกต้องของข้อมูล1from transformers import AutoModelForCausalLM, AutoTokenizer
2from peft import PeftModel
3import torch
4
5device = "cuda" if torch.cuda.is_available() else "cpu"
6
7# โหลด base model
8base_model = AutoModelForCausalLM.from_pretrained(
9 "scb10x/llama3.2-typhoon2-3b",
10 torch_dtype=torch.float16,
11 device_map="auto"
12)
13
14# โหลด LoRA adapter
15model = PeftModel.from_pretrained(base_model, "username/thai-legal-lora")
16tokenizer = AutoTokenizer.from_pretrained("username/thai-legal-lora")
17tokenizer.pad_token = tokenizer.eos_token
18
19# ตัวอย่างใช้งาน
20prompt = "บริษัทมหาชนจำกัดต้องมีผู้ถือหุ้นกี่คน?"
21inputs = tokenizer(prompt, return_tensors="pt").to(device)
22outputs = model.generate(**inputs, max_new_tokens=200)
23print(tokenizer.decode(outputs[0], skip_special_tokens=True))