Views
No views yet
KenshiKawaguchi/AISystem2-fh-Llama-3.1-2507は、ベースモデルであるcyberagent/Llama-3.1-70B-Japanese-Instruct-2407に対して、正確にがんの家族歴情報を抽出・判定できるように微調整したモデルのLoRAアダプタです。cyberagent/Llama-3.1-70B-Japanese-Instruct-2407も指定するようにしてください。1import torch
2from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
3from peft import PeftModel
4
5base_model_id = "cyberagent/Llama-3.1-70B-Japanese-Instruct-2407"
6lora_adapter_id = "AiSystem2/llama3-fh-lora-2507"
7tokenizer = AutoTokenizer.from_pretrained(lora_adapter_id, use_fast=False)
8tokenizer.pad_token = tokenizer.eos_token
9base_model = AutoModelForCausalLM.from_pretrained(base_model_id, device_map="auto", trust_remote_code=True)
10model = PeftModel.from_pretrained(base_mlora_adapter_id).eval()
11
12messages = [
13 {"role": "system","content": "あなたは電子カルテから血縁家族のがん歴を抽出する専門家です。"},
14 {"role": "user", "content": "<カルテ本文をここに>"},
15]
16
17input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
18generated_ids = model.generate(input_ids, max_new_tokens=128, do_sample=False, temperature=0.0)[0]
19print(tokenizer.decode(generated_ids[input_ids.shape[-1] :], skip_special_tokens=True))