gemma-4-E2B GGUF
Quantized GGUF versions of google/gemma-4-E2B.
Files
- F16: gemma-4-E2B-f16.gguf (unquantized GGUF reference)
- Q2_K: gemma-4-E2B-Q2_K.gguf
- Q3_K_S: gemma-4-E2B-Q3_K_S.gguf
- Q3_K_M: gemma-4-E2B-Q3_K_M.gguf
- Q3_K_L: gemma-4-E2B-Q3_K_L.gguf
- Q4_0: gemma-4-E2B-Q4_0.gguf
- Q4_1: gemma-4-E2B-Q4_1.gguf
- Q4_K_S: gemma-4-E2B-Q4_K_S.gguf
- Q4_K_M: gemma-4-E2B-Q4_K_M.gguf
- Q5_0: gemma-4-E2B-Q5_0.gguf
- Q5_1: gemma-4-E2B-Q5_1.gguf
- Q5_K_S: gemma-4-E2B-Q5_K_S.gguf
- Q5_K_M: gemma-4-E2B-Q5_K_M.gguf
- Q6_K: gemma-4-E2B-Q6_K.gguf
- Q8_0: gemma-4-E2B-Q8_0.gguf
Usage with llama.cpp
bash llama-cli -hf Jessylg27/gemma-4-E2B-GGUF -m gemma-4-E2B-Q4_K_M.gguf -p "Bonjour, explique-moi ton role."
Usage with Ollama
Create a Modelfile:
txt FROM ./gemma-4-E2B-Q4_K_M.gguf
Then:
bash ollama create gemma-4-e2b-gguf -f Modelfile ollama run gemma-4-e2b-gguf
Original model
