Views
No views yet
1from transformers import AutoTokenizer, AutoModelForCausalLM
2from peft import PeftModel
3import torch
4
5# Load base model
6base_model_id = "google/gemma-3-1b-it"
7base_model = AutoModelForCausalLM.from_pretrained(
8 base_model_id,
9 device_map="auto",
10 torch_dtype=torch.float16
11)
12
13# Load tokenizer
14tokenizer = AutoTokenizer.from_pretrained(base_model_id)
15
16# Load LoRA adapter
17model = PeftModel.from_pretrained(base_model, "zoeythanayot/gemma-1b-thai-lora-CoT")
18
19# Merge adapter weights (optional)
20model = model.merge_and_unload()1# Example medical question in Thai
2input_text = """Question: โรคเบาหวานคืออะไร?
3Complex_CoT: โรคเบาหวาน (Diabetes mellitus) เป็นกลุ่มของโรคเมตาบอลิกที่มีลักษณะเฉพาะคือภาวะน้ำตาลในเลือดสูง (hyperglycemia) ซึ่งเกิดจากความผิดปกติของการหลั่งอินซูลิน (insulin secretion), การทำงานของอินซูลิน (insulin action) หรือทั้งสองอย่าง
4Response: """
5
6# Tokenize input
7input_ids = tokenizer(input_text, return_tensors="pt").to(model.device)
8
9# Generate response
10with torch.no_grad():
11 outputs = model.generate(
12 **input_ids,
13 max_new_tokens=256,
14 do_sample=True,
15 temperature=0.7,
16 pad_token_id=tokenizer.eos_token_id
17 )
18
19# Decode output
20response = tokenizer.decode(outputs[0], skip_special_tokens=True)
21print(response)1@misc{gemma1b-thai-medical-cot,
2 title={Gemma-1B Thai Medical Chain-of-Thought},
3 author={Your Name},
4 year={2024},
5 publisher={Hugging Face},
6 howpublished={\url{https://huggingface.co/zoeythanayot/gemma-1b-thai-CoT}}
7}