Views
No views yet
1from transformers import AutoModelForCausalLM, AutoTokenizer
2from peft import PeftModel
3
4# ベースモデルの読み込み
5base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B")
6tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.2-1B")
7
8# LoRAアダプターの読み込み
9model = PeftModel.from_pretrained(base_model, "eyepyon/rcllama32-1b-finetuned")
10
11# 推論
12input_text = "### コンテキスト:\n[コンテキスト]\n\n### 質問:\n[質問]\n\n### 回答:\n"
13inputs = tokenizer(input_text, return_tensors="pt")
14outputs = model.generate(**inputs, max_length=200)
15print(tokenizer.decode(outputs[0], skip_special_tokens=True))