Este repositório foi preparado para uso local com Ollama, llama.cpp e serviços compatíveis, incluindo o fluxo de publicação/consumo via Odisseus.

Arquivos

Arquivo	Uso recomendado
`gaia-ptbr-4b-q4_k_m.gguf`	Recomendado para uso geral com Ollama/Odisseus. Melhor equilíbrio entre tamanho, velocidade e qualidade.
`gaia-ptbr-4b-q5_k_m.gguf`	Melhor qualidade que Q4, consumindo mais RAM/VRAM.
`gaia-ptbr-4b-f16.gguf`	Versão F16, útil para referência, novas quantizações ou ambientes com mais memória.
`Modelfile`	Exemplo pronto para criar o modelo no Ollama usando a quantização Q4_K_M.

Uso com Ollama

Baixe/clone este repositório ou baixe o arquivo GGUF desejado. Para criar o modelo usando o Modelfile incluído:

bash

git clone https://huggingface.co/mrbitsdcf/Gemma-3-Gaia-PT-BR-4b-it-GGUF
cd Gemma-3-Gaia-PT-BR-4b-it-GGUF
ollama create gaia-ptbr -f Modelfile
ollama run gaia-ptbr

O Modelfile usa por padrão:

FROM ./gaia-ptbr-4b-q4_k_m.gguf

Para usar outra quantização, altere a linha FROM para o arquivo desejado, por exemplo:

FROM ./gaia-ptbr-4b-q5_k_m.gguf

Uso com llama.cpp

Exemplo com llama-server:

llama-server -m gaia-ptbr-4b-q4_k_m.gguf -c 8192

Exemplo de chamada OpenAI-compatible:

bash

curl http://localhost:8080/v1/chat/completions   -H "Content-Type: application/json"   -d '{
    "model": "gaia-ptbr",
    "messages": [
      {"role": "system", "content": "Você é um assistente em português brasileiro."},
      {"role": "user", "content": "Explique o que é um modelo GGUF em uma frase."}
    ]
  }'

Contexto e características

Metadados observados no GGUF:

Arquitetura: gemma3
Tamanho aproximado: 3.9B
Idioma: Português (pt)
Licença: gemma
Context length no GGUF: 131072

O Modelfile limita num_ctx a 8192 por padrão para uso local mais previsível. Ajuste conforme a memória disponível no servidor.

Origem

Modelo original:

CEIA-UFG/Gemma-3-Gaia-PT-BR-4b-it

Modelo base:

google/gemma-3-4b-pt

Licença

Este repositório segue a licença Gemma declarada no modelo original/base. Consulte os termos da licença Gemma antes de uso, redistribuição ou uso comercial.

Observação

Este repositório contém arquivos GGUF para inferência local. Ele não é o checkpoint Transformers original.