Views
No views yet
!pip install --no-deps xformers accelerate bitsandbytes
!pip install -q -U transformers1from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
2import torch
3import os
4MODEL_PATH = "Neurai/NeuraMedicalGemma7b"
5quantization_config = BitsAndBytesConfig(
6 load_in_4bit = True,
7 bnb_4bit_quant_type="nf4",
8 bnb_4bit_compute_dtype=torch.bfloat16,
9 bnb_4bit_use_double_quant=True,
10)
11
12model = AutoModelForCausalLM.from_pretrained(
13 MODEL_PATH,
14 device_map = "auto",
15 trust_remote_code = True,
16 quantization_config=quantization_config,
17)
18
19tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
20
21input_prompt = """
22### Instruction:{}
23### Input:{}
24### Response:{}"""
25
26input_text = input_prompt.format(
27 "انگشت شصت دستم با درد باز میشود عکس ام آر آی هم گرفتم اثری از شکستگی نیست تشخیص تو چیه؟",
28 "",
29 ""
30 )
31
32inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")
33outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
34response = tokenizer.batch_decode(outputs)[0] بر اساس علائم و نتایج تصویربرداری،
به نظر میرسد که شما ممکن است از سندرم تونل کارپال رنج ببرید.
این وضعیت زمانی رخ می دهد که عصب مدیان در مچ دست شما فشرده یا فشرده می شود.
در مورد شما، ممکن است که ضربه به انگشت شست شما باعث این فشردگی شده باشد. <eos>