mistral-sk-7b-alpaca-slovak-it is a Slovak instruction-following assistant built on top of slovak-nlp/mistral-sk-7b (itself derived from mistralai/Mistral-7B-v0.1). It was fine-tuned with LoRA on the saillab/alpaca-slovak-cleaned dataset — 41,601 Slovak Alpaca-style instructions — and the LoRA adapter was merged back into the base model weights.

Quantization Details

Parameter	Value
Source model	`mrshu/mistral-sk-7b-alpaca-slovak-it`
Output format	GGUF
Quant type	Q4_K_M
Tool	Unsloth Studio
Model size	~4.1 GB (vs ~14 GB in bfloat16)

Q4_K_M is the recommended balance between size and quality — it applies 4-bit quantization with K-means clustering on key layers.

Hardware Requirements

Configuration	Estimated memory
CPU-only inference	~6–8 GB RAM
CPU + partial GPU offload	~4 GB RAM + GPU
Full GPU (VRAM)	~5–6 GB VRAM

Usage

llama.cpp

bash

./llama-cli \
  -m mistral-sk-7b-alpaca-slovak-it-Q4_K_M.gguf \
  --chat-template mistral \
  -p "Si užitočný asistent. Odpovedaj po slovensky." \
  -i

Ollama

bash

# Create a Modelfile
cat > Modelfile <<'MODELEOF'
FROM ./mistral-sk-7b-alpaca-slovak-it-Q4_K_M.gguf

SYSTEM "Si užitočný asistent. Riaď sa jazykom a požadovaným formátom používateľa. Ak používateľ nežiada iný jazyk, odpovedaj po slovensky."
MODELEOF

ollama create mistral-sk-7b-sk -f Modelfile
ollama run mistral-sk-7b-sk

Python (llama-cpp-python)

python

from llama_cpp import Llama

llm = Llama(
    model_path="mistral-sk-7b-alpaca-slovak-it-Q4_K_M.gguf",
    n_ctx=4096,
    n_gpu_layers=-1,  # set to 0 for CPU-only
)

messages = [
    {
        "role": "system",
        "content": (
            "Si užitočný asistent. Riaď sa jazykom a požadovaným formátom "
            "používateľa. Ak používateľ nežiada iný jazyk, odpovedaj po slovensky."
        ),
    },
    {"role": "user", "content": "Stručne vysvetli, čo je kvantizácia."},
]

response = llm.create_chat_completion(
    messages=messages,
    max_tokens=512,
    temperature=0.7,
    top_p=0.95,
)

print(response["choices"][0]["message"]["content"])

Prompt Format

The model uses the Mistral chat template:

<s>[INST] <<SYS>>
Si užitočný asistent. Riaď sa jazykom a požadovaným formátom používateľa.
Ak používateľ nežiada iný jazyk, odpovedaj po slovensky.
<</SYS>>

Your question here [/INST] Model response </s>

Most tools (llama.cpp, Ollama, LM Studio) apply the template automatically.

Limitations

The model was trained on translated instructions — responses may contain translation artifacts or unnatural phrasing.
It has not been safety-aligned or red-teamed — not suitable for production deployment without additional safeguards.
Slovak is the primary language; strict English-only or multilingual requests may not be followed reliably.
Structured outputs (JSON, tables, citations) should be validated outside the model.
Not intended as a sole source for medical, legal, financial, or other high-stakes decisions.

License

Apache 2.0 — same as the source model.

Related Repositories

Link	Description
`mrshu/mistral-sk-7b-alpaca-slovak-it`	Source model (bfloat16, safetensors)
`slovak-nlp/mistral-sk-7b`	Slovak base model
`saillab/alpaca-slovak-cleaned`	Training dataset
Unsloth Studio	Quantization tool

Dvin771/mistral-sk-7b-alpaca-slovak-it

mistral-sk-7b-alpaca-slovak-it · GGUF Q4_K_M

About the Base Model