Views
No views yet
gemma-2-2b-itをベースに、関西弁での対話を可能にするためにLoRA(Low-Rank Adaptation)を使用してファインチューニングされています。標準語での質問に対して、自然な関西弁で応答することができます。pip install transformers peft torch1from transformers import AutoTokenizer, AutoModelForCausalLM
2from peft import PeftModel
3
4# ベースモデルとトークナイザーのロード
5base_model_id = "google/gemma-2-2b-it"
6model = AutoModelForCausalLM.from_pretrained(
7 base_model_id,
8 device_map="auto",
9 torch_dtype="auto"
10)
11tokenizer = AutoTokenizer.from_pretrained(base_model_id)
12
13# LoRAアダプターのロード
14model = PeftModel.from_pretrained(model, "hpscript/kansai_gemma_lora")
15
16# テキスト生成
17prompt = "今日はいい天気ですね。"
18inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
19outputs = model.generate(
20 **inputs,
21 max_new_tokens=100,
22 temperature=0.7,
23 top_p=0.9,
24 do_sample=True
25)
26response = tokenizer.decode(outputs[0], skip_special_tokens=True)
27print(response)1# チャットテンプレートを使用
2messages = [
3 {"role": "user", "content": "おはようございます！今日の予定は？"}
4]
5
6input_ids = tokenizer.apply_chat_template(
7 messages,
8 add_generation_prompt=True,
9 return_tensors="pt"
10).to(model.device)
11
12outputs = model.generate(
13 input_ids,
14 max_new_tokens=256,
15 temperature=0.7,
16 top_p=0.9,
17 do_sample=True
18)
19
20response = tokenizer.decode(outputs[0], skip_special_tokens=True)
21print(response)1@misc{kansai_gemma_lora,
2 author = {[Your Name]},
3 title = {Kansai Gemma LoRA: A Gemma 2 2B model fine-tuned for Kansai dialect},
4 year = {2025},
5 publisher = {HuggingFace},
6 howpublished = {\url{https://huggingface.co/YOUR_USERNAME/kansai_gemma_lora}}
7}