Views
No views yet
ollama run hf.co/vnhkhwa/gemma-4-medkit-vietnameseModelfile với tên mô hình Panda-Med-4:1ollama create Panda-Med-4 -f Modelfile
2ollama run Panda-Med-41from transformers import AutoTokenizer, AutoModelForCausalLM
2
3model_id = "vnhkhwa/gemma-4-medkit-vietnamese"
4
5tokenizer = AutoTokenizer.from_pretrained(model_id)
6model = AutoModelForCausalLM.from_pretrained(
7 model_id,
8 device_map="auto"
9)
10
11prompt = "<start_of_turn>user\nCon em 3 tuổi sốt 38.5 độ, có cần đi viện không ạ?<end_of_turn>\n<start_of_turn>model\n"
12inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
13
14outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.3)
15print(tokenizer.decode(outputs[0], skip_special_tokens=True))