You can deploy this model and start earning money today!

ikerion/
mistral-7b-magyar-portas-for-gguf

Name: mistral-7b-magyar-portas-for-gguf
Availability: InStock

template

mistral

safetensors

Views

No views yet

Mistral 7B Magyar Portás - GGUF Konvertáláshoz 🇭🇺

Ez a repository a GGUF konvertálásra előkészített SafeTensors modellt tartalmazza.

🎯 Cél

Jetson Nano kompatibilis Q4_0 GGUF modell létrehozása online konvertálóval.

📊 Modell Információk

Base: mistralai/Mistral-7B-Instruct-v0.2
Fine-tuning: Magyar parancs kategorizálás
Pontosság: ~90% (PARANCS: 100%, ERIK: 90%)
Formátum: SafeTensors (8 shard)
Méret: 13.49 GB

🌐 GGUF Konvertálás Lépései

1. Online Konvertáló Használata

🔗 Ajánlott: https://huggingface.co/spaces/ggml-org/gguf-my-repo

Lépések:

Másold be ezt a repository URL-t: ikerion/mistral-7b-magyar-portas-for-gguf
Válaszd: Q4_0 kvantálást
Indítsd el a konvertálást
Várd meg (~15-20 perc)
Töltsd le a model-q4_0.gguf fájlt

2. Alternatív Konvertálók

llama.cpp saját build
Ollama import funkció
gguf-py Python csomag

🤖 Jetson Nano Használat

Miután megvan a Q4_0 GGUF fájl:

bash

# 1. Modelfile létrehozása
cat > Modelfile << 'EOF'
FROM ./model-q4_0.gguf

TEMPLATE """<s>[INST] {{ .System }} [/INST]
{{ .Prompt }} [/INST]
"""

SYSTEM """Az a feladatod, hogy az alábbi magyar szöveget két kategóriába osztályozd:

PARANCS: Ha a szöveg olyan parancsot tartalmaz, amelyhez létezik egy előre meghatározott, futtatható Python script (pl. lámpakapcsolás, időjárás lekérdezés stb.). Ebben az esetben a destination legyen "RASPBERRY", a value pedig a megfelelő script fájlneve .py kiterjesztéssel.

ERIK: Ha a szöveg általános beszélgetés, kérdés, mese, vagy olyan parancs, amelyhez nincs előre definiált script. Ebben az esetben a destination legyen "ERIK", a value pedig a teljes bemeneti szöveg változtatás nélkül.

Nagyon fontos szabályok:
- Soha ne válaszolj a szövegre!
- Ne magyarázz!
- Ne kérdezz vissza!
- Mindig kizárólag a kért JSON formátumban adj választ!"""

PARAMETER num_ctx 2048
PARAMETER temperature 0.1
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.1
PARAMETER num_thread 4
EOF

# 2. Ollama modell létrehozása
ollama create mistral-magyar-jetson -f Modelfile

# 3. Használat
ollama run mistral-magyar-jetson "Kapcsold fel a konyhai lámpát!"

🧪 Várható Teljesítmény

PARANCS kategória: 100% pontosság
- "Kapcsold fel a konyhai lámpát!" → konyha_lampa_plafon_be.py
- "Hány óra van?" → pontosido.py
- "Főzz kávét!" → fozz_kavet.py
ERIK kategória: 90% pontosság
- "Mesélj egy mesét!" → ERIK
- "Rendelj pizzát!" → ERIK

📋 JSON Fix

Ha a válasz ext": ... formátumban jön, add hozzá: {"t az elejére.

🔗 Kapcsolódó Modellek

LoRA verzió: ikerion/mistral-7b-magyar-portas-final
Base modell: mistralai/Mistral-7B-Instruct-v0.2

🇭🇺 Magyar AI Portás | 🤖 Jetson Nano Ready | ⚡ Q4_0 Optimalizált

ikerion/mistral-7b-magyar-portas-for-gguf