gemma-4-E2B-it GGUF
Quantized GGUF versions of google/gemma-4-E2B-it.
Files
- F16: gemma-4-E2B-it-f16.gguf (unquantized GGUF reference)
- Q2_K: gemma-4-E2B-it-Q2_K.gguf
- Q3_K_S: gemma-4-E2B-it-Q3_K_S.gguf
- Q3_K_M: gemma-4-E2B-it-Q3_K_M.gguf
- Q3_K_L: gemma-4-E2B-it-Q3_K_L.gguf
- Q4_0: gemma-4-E2B-it-Q4_0.gguf
- Q4_1: gemma-4-E2B-it-Q4_1.gguf
- Q4_K_S: gemma-4-E2B-it-Q4_K_S.gguf
- Q4_K_M: gemma-4-E2B-it-Q4_K_M.gguf
- Q5_0: gemma-4-E2B-it-Q5_0.gguf
- Q5_1: gemma-4-E2B-it-Q5_1.gguf
- Q5_K_S: gemma-4-E2B-it-Q5_K_S.gguf
- Q5_K_M: gemma-4-E2B-it-Q5_K_M.gguf
- Q6_K: gemma-4-E2B-it-Q6_K.gguf
- Q8_0: gemma-4-E2B-it-Q8_0.gguf
Usage with llama.cpp
bash llama-cli -hf Jessylg27/gemma-4-E2B-it-GGUF -m gemma-4-E2B-it-Q4_K_M.gguf -p "Bonjour, explique-moi ton role."
Usage with Ollama
Create a Modelfile:
txt FROM ./gemma-4-E2B-it-Q4_K_M.gguf
Then:
bash ollama create gemma-4-e2b-it-gguf -f Modelfile ollama run gemma-4-e2b-it-gguf
Original model
