Field	Value
Base model	`Qwen/Qwen2.5-0.5B-Instruct`
Method	SFT (5 epochs) + GRPO (300 steps, verifiable rewards)
Quantization	Q4_K_M (llama.cpp / GGUF)
File	`modelo_toon_sft_merged.Q4_K_M.gguf` (~380 MB)
Tools	`toggle_flashlight`, `take_picture`, `get_gps_location`, `get_battery_status`
Language	Brazilian Portuguese (PT-BR) prompts

Training results (RunPod, RTX 4090)

Metric	Value
SFT loss	0.29 → ~0
GRPO syntax reward (mean)	0.59 (0 failures at -1.0)
GRPO execution reward (mean)	1.89 / 2.0 max

GRPO-only training does not converge on this task without the SFT warmup.

TOON output format

tool_call[1]{name,arg}:
  toggle_flashlight,on

Inline form (tool_call[1]{name,arg}: toggle_flashlight,on) is also valid.

When no tool is needed, the model replies in short prose with no tool_call block.

System prompt (required at inference)

Você é um assistente operacional em um ambiente industrial. Para acionar hardware, responda APENAS com a sintaxe TOON abaixo. Não use JSON. Se nenhuma ferramenta for necessária, responda em texto curto.
Ferramentas disponíveis:
  toggle_flashlight[on|off] - Liga ou desliga a lanterna do dispositivo.
  take_picture - Tira uma foto com a câmera traseira e salva no armazenamento.
  get_gps_location - Obtém a localização GPS atual do dispositivo.
  get_battery_status - Consulta o status da bateria do dispositivo (consulta, não ação).
Formato da chamada (uma chamada por resposta):
Exemplo:
tool_call[1]{name,arg}:
  toggle_flashlight,on

Use temperature=0.0.

Usage (llama.cpp)

bash

hf download pealmeida/qwen2.5-0.5b-toon-sft-grpo-gguf modelo_toon_sft_merged.Q4_K_M.gguf --local-dir .

llama-server -m modelo_toon_sft_merged.Q4_K_M.gguf -c 1024 --port 8080 -t 4

Example test prompt

User: Nao consigo enxergar os cabos, acenda a luz por favor.

Expected: tool_call[1]{name,arg}: toggle_flashlight,on

Author

Pedro Almeida