Views
No views yet
|
این ریپو شامل نسخههای کوانتیزه شده GGUF از مدل Pars-Medical-o1-Llama-FFT است.
برای اجرای محلی با Ollama، LM Studio یا llama.cpp مناسب است.
|
This repo contains GGUF quantized versions of Pars-Medical-o1-Llama-FFT.
Perfect for local inference with Ollama, LM Studio, or llama.cpp.
|
🔗 Looking for full model? See Pars-Medical-o1-Llama-FFT (BF16, 6.4GB)
Quantized on NVIDIA A100 80GB SXM using llama.cpp
| File | Size | VRAM | Quality | Best For |
|---|---|---|---|---|
Pars-Medical-o1-Llama-FFT-Q4_K_M.gguf | ~2.0 GB | ~4 GB | ⭐⭐⭐ Good | 💻 Most users, CPU/low VRAM |
Pars-Medical-o1-Llama-FFT-Q5_K_M.gguf | ~2.5 GB | ~5 GB | ⭐⭐⭐⭐ Better | ⚖️ Balanced quality/speed |
Pars-Medical-o1-Llama-FFT-Q8_0.gguf | ~3.5 GB | ~6 GB | ⭐⭐⭐⭐⭐ Best | 🎯 High quality inference |
1# Direct from HuggingFace
2ollama run hf.co/HexQuant/Pars-Medical-o1-Llama-FFT-GGUF
3
4# Or with specific quantization
5ollama run hf.co/HexQuant/Pars-Medical-o1-Llama-FFT-GGUF:Q4_K_MHexQuant/Pars-Medical-o1-Llama-FFT-GGUF1# Download the model
2wget https://huggingface.co/HexQuant/Pars-Medical-o1-Llama-FFT-GGUF/resolve/main/Pars-Medical-o1-Llama-FFT-Q4_K_M.gguf
3
4# Run inference
5./llama-cli \
6 -m Pars-Medical-o1-Llama-FFT-Q4_K_M.gguf \
7 -p "What are the symptoms of diabetes?" \
8 -n 512 \
9 --temp 0.71from llama_cpp import Llama
2
3# Load model directly from HuggingFace
4llm = Llama.from_pretrained(
5 repo_id="HexQuant/Pars-Medical-o1-Llama-FFT-GGUF",
6 filename="Pars-Medical-o1-Llama-FFT-Q4_K_M.gguf",
7 n_ctx=4096,
8 n_gpu_layers=-1, # Use all GPU layers
9)
10
11# Chat
12response = llm.create_chat_completion(
13 messages=[
14 {"role": "user", "content": "علائم دیابت نوع ۲ چیست؟"}
15 ],
16 temperature=0.7,
17 max_tokens=512,
18)
19
20print(response["choices"][0]["message"]["content"])علائم کمکاری تیروئید چیست؟
<think>بیایید علائم کمکاری تیروئید را بررسی کنیم:
- کاهش متابولیسم بدن
- تأثیر بر سیستمهای مختلف
</think>علائم اصلی کمکاری تیروئید:
- خستگی مزمن - احساس کسالت دائمی
- افزایش وزن - با وجود رژیم غذایی طبیعی
- عدم تحمل سرما - احساس سردی بیشتر
- یبوست - کاهش حرکات روده
- خشکی پوست - پوست خشک و زبر
- ریزش مو - نازک شدن موها
What are the warning signs of a heart attack?
<think>Let me outline the classic and atypical presentations of myocardial infarction.</think>Warning Signs of Heart Attack:Classic Symptoms:
- Chest pain/pressure (may radiate to arm, jaw, back)
- Shortness of breath
- Cold sweats
- Nausea/vomiting
Atypical Symptoms (more common in women):
- Unusual fatigue
- Indigestion-like discomfort
- Dizziness
⚠️ If you experience these symptoms, call emergency services immediately!
| Parameter | Value |
|---|---|
| Original Model | Pars-Medical-o1-Llama-FFT |
| Base Architecture | Llama-3.2-3B-Instruct |
| Parameters | 3.2B |
| Context Length | 4096 tokens |
| Quantization Tool | llama.cpp |
| Quantization Hardware | NVIDIA A100 80GB SXM |
| Languages | English, Persian (Farsi) |
|
⚠️ این مدل صرفاً برای اهداف آموزشی و تحقیقاتی است.
❌ جایگزین مشاوره پزشکی حرفهای نیست.
✅ همیشه با پزشک متخصص مشورت کنید.
|
⚠️ This model is for educational and research purposes only.
❌ Not a substitute for professional medical advice.
✅ Always consult with a qualified healthcare provider.
|
| Resource | Link |
|---|---|
| 🤗 Main Model (BF16) | Pars-Medical-o1-Llama-FFT |
| 📦 This Repo (GGUF) | Pars-Medical-o1-Llama-FFT-GGUF |
| 🦙 Ollama | ollama.ai |
| 💻 LM Studio | lmstudio.ai |
| 🔧 llama.cpp | GitHub |