Modelo Gemma 4 4B instruction-tuned ajustado com LoRA/QLoRA via Unsloth e exportado em GGUF para uso com runtimes compatíveis com llama.cpp, incluindo LLamaSharp.

Arquivos

*.Q4_K_M.gguf ou *q4_k_m*.gguf: quantizacao recomendada para uso local leve.
*.Q8_0.gguf ou *q8_0*.gguf: qualidade maior, arquivo maior.
*.F16.gguf ou *f16*.gguf: diagnostico/fidelidade, arquivo grande.

Uso Com LLamaSharp

Baixe um arquivo .gguf deste repositório e valide com o CLI do projeto:

bash

dotnet run --project src/LlamaSharpModel.Cli -- \
  --model models/gemma4-4b-gguf/model-q4_k_m.gguf \
  --prompt "Explique o objetivo do projeto em uma frase."

O prompt usa a template Gemma sem inserir <bos> manualmente:

text

<start_of_turn>user
...<end_of_turn>
<start_of_turn>model

Treino E Exportacao

Este artefato deve ser produzido a partir do projeto llamasharp-model:

bash

cd training
uv sync --extra train
uv run llamasharp-model-prepare-data --config ../configs/train.gemma4-4b.yaml
uv run llamasharp-model-train --config ../configs/train.gemma4-4b.yaml
uv run llamasharp-model-export-gguf --config ../configs/train.gemma4-4b.yaml --quant q4_k_m

Limitacoes

Confirme a disponibilidade real do modelo base google/gemma-4-4b-it no seu ambiente antes de treinar.
Confirme que a versão do backend llama.cpp usada pelo LLamaSharp suporta a arquitetura Gemma 4.
O treino Unsloth normalmente requer Linux/Windows com GPU.

Licenca E Atribuicao

Este modelo deriva de google/gemma-4-4b-it. O uso e redistribuicao devem respeitar os termos da licença Gemma e quaisquer restrições dos dados usados no fine-tuning.

HomeroKzam/gemma-4-4b-it-llamasharp-gguf

Gemma 4 4B IT LLamaSharp GGUF

Arquivos

Uso Com LLamaSharp

Treino E Exportacao

Limitacoes

Licenca E Atribuicao

HomeroKzam/
gemma-4-4b-it-llamasharp-gguf