Views
No views yet
merged_16bit)fp161from unsloth import FastLanguageModel
2from transformers import TextStreamer
3
4merged_model = ""
5
6max_seq_length = 1280
7dtype = None
8load_in_4bit = True
9
10model, tokenizer = FastLanguageModel.from_pretrained(
11 "Tierney/DeepSeek-Qwen-14B-R1-Medical-Doctor",
12 max_seq_length=max_seq_length,
13 dtype=dtype,
14 load_in_4bit=load_in_4bit,
15)
16tokenizer.pad_token = "<|endoftext|>"1prompt_style = """以下是描述任务的说明，并附有提供进一步背景的输入。
2请写一个恰当的回应，完成该任务。
3在回答之前，请仔细思考问题，并创建一个逐步的思维链，以确保逻辑清晰且准确。
4
5### 任务描述:
6您是一位在临床推理、诊断和治疗计划方面具有高级知识的医学专家。
7请回答以下医学问题。
8
9### 问题:
10{}
11
12### 回答:
13{}"""
14question = f"患者姓名：{name}，年龄：{age}，医疗情况：{medical}，检查情况：{instra}，请根据这些信息给出诊断和建议。"
15prompt = prompt_style.format(question, "")
16
17input_text = "请问阿司匹林的主要适应症是什么？"
18FastLanguageModel.for_inference(model)
19inputs = tokenizer([prompt], return_tensors="pt").to("cuda")
20
21text_streamer = TextStreamer(tokenizer)
22outputs = model.generate(**inputs, streamer=text_streamer, max_new_tokens=1024)
23answer = tokenizer.decode(outputs[0], skip_special_tokens=True).split("### 回答:")[-1].strip()
24transformers + peft + unslothmerged_16bit (FP16 精度)