Views
No views yet
1import os
2from llama_cpp import Llama
3
4def load_model(path):
5 try:
6 print(f"🔄 Model yükleniyor: {os.path.basename(path)}")
7 model = Llama(model_path=path, n_ctx=4096, n_threads=8, verbose=False, n_gpu_layers=0)
8 print("✅ Model yüklendi")
9 return model
10 except Exception as e:
11 print(f"❌ Yükleme hatası: {e}")
12 return None
13
14def run_inference(model, prompt):
15 try:
16 result = model(prompt=prompt, max_tokens=300, temperature=0.5, stop=["<|im_end|>"], echo=False)
17 return result['choices'][0]['text'].strip()
18 except Exception as e:
19 print(f"❌ Inference hatası: {e}")
20 return None
21
22def main():
23 print("🚀 GGUF Model Chat - Çıkmak için 'q' yaz")
24 path = input("Model dosya yolu (varsayılan: model.gguf): ").strip() or "model.gguf"
25
26 if not os.path.exists(path):
27 print(f"❌ Dosya bulunamadı: {path}")
28 return
29
30 model = load_model(path)
31 if not model:
32 return
33
34 while True:
35 user_input = input("\n👤 Siz: ").strip()
36 if user_input.lower() in ['q', 'quit', 'çık', 'exit']:
37 break
38 if not user_input:
39 continue
40
41 prompt = f"""<|im_start|>system
42Sen tıbbi aciliyet değerlendirmesi yapan bir asistansın.
43<|im_end|>
44<|im_start|>user
45{user_input}
46<|im_end|>
47<|im_start|>assistant
48"""
49
50 print("🔄 Düşünüyor...")
51 response = run_inference(model, prompt)
52 print(f"🤖 Asistan: {response}" if response else "❌ Yanıt alınamadı")
53
54if __name__ == "__main__":
55 try:
56 main()
57 except ImportError:
58 print("❌ llama-cpp-python eksik! Yüklemek için:\n")
59 print("pip install llama-cpp-python")
60
61
62# Kurulum komutları:
63"""
64# CPU versiyonu:
65pip install llama-cpp-python
66
67# CUDA GPU desteği:
68pip install llama-cpp-python[cuda]
69
70# Mac Metal desteği:
71pip install llama-cpp-python[metal]
72
73# Manuel derleme ile:
74CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python
75"""1@misc{medical_emergency_llama3,
2 title={Tıbbi Aciliyet Değerlendirme Modeli - Llama-3 Turkish Medical},
3 author={[Doguser Yarar]},
4 year={2025},
5 publisher={Hugging Face},
6 howpublished={\url{https://huggingface.co/dousery/turkish-medical-triage-llama3-gguf}}
7}