Qwen2.5-14B-Instruct をベースに、QLoRA で学習した日本語防災AIモデルです。
妖怪キャラクター（河童・大ナマズ・土蜘蛛・火車・雪女・ヒノカグツチ）が、
地域のハザード情報をもとに親しみやすく防災知識を伝えます。
1./llama-cli -m youkai-hazard-14b-v1-q4_k_m.gguf \
2 -p "<|im_start|>system\nあなたは妖怪ハザードマップAIです。<|im_end|>\n<|im_start|>user\n東京都江東区豊洲の災害リスクを教えて<|im_end|>\n<|im_start|>assistant\n" \
3 -n 1024
1python -m vllm.entrypoints.openai.api_server \
2 --model Qwen/Qwen2.5-14B-Instruct \
3 --enable-lora \
4 --lora-modules youkai-hazard=./lora \
5 --port 8001
1from transformers import AutoModelForCausalLM, AutoTokenizer
2from peft import PeftModel
3
4base_model = AutoModelForCausalLM.from_pretrained(
5 "Qwen/Qwen2.5-14B-Instruct",
6 torch_dtype="auto",
7 device_map="auto",
8)
9model = PeftModel.from_pretrained(base_model, "./lora")
10tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-14B-Instruct")
