Views
No views yet
gemma-3-270m-it · Fine-Tuned · GGUF
<tool_call> / <tool_response> format| Filename | Quant | Size | Use Case |
|---|---|---|---|
gemma-3-270m-it.Q4_K_M.gguf | Q4_K_M | ~170 MB | 🟢 Best for mobile / edge — great balance of speed & quality |
gemma-3-270m-it.Q8_0.gguf | Q8_0 | ~290 MB | 🔵 Higher quality, still very fast on CPU |
gemma-3-270m-it.F16.gguf | F16 | ~540 MB | 🟣 Full precision — maximum quality |
1# Text-only inference
2llama-cli -hf naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF --jinja
3
4# Multimodal (if applicable)
5llama-mtmd-cli -hf naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF --jinja1# Create from the included Modelfile
2ollama create vmax -f Modelfile
3
4# Or directly from Hugging Face
5echo 'FROM hf.co/naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF:Q4_K_M' > Modelfile
6echo 'SYSTEM "তুমি vMAX, নাইমুল ইসলাম নাহিদের নিজস্ব এআই বন্ধু ও অ্যাসিস্ট্যান্ট। তোমার কথাবার্তায় কোনো কৃত্রিম রোবোটিক ভাব নেই, বরং খাঁটি বাংলাদেশি ঘরোয়া ও আন্তরিক মেজাজ থাকে।"' >> Modelfile
7ollama create vmax -f Modelfile
8
9# Run
10ollama run vmax "তুমি কে?"1from llama_cpp import Llama
2
3llm = Llama.from_pretrained(
4 repo_id="naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF",
5 filename="gemma-3-270m-it.Q4_K_M.gguf",
6)
7
8response = llm.create_chat_completion(
9 messages=[
10 {"role": "system", "content": "তুমি vMAX, নাইমুল ইসলাম নাহিদের নিজস্ব এআই বন্ধু ও অ্যাসিস্ট্যান্ট।"},
11 {"role": "user", "content": "বাংলাদেশের সবচেয়ে সুন্দর জায়গা কোনটি?"},
12 ],
13)
14print(response["choices"][0]["message"]["content"])<tool_call>
{"name": "get_weather", "arguments": {"city": "Dhaka"}}
</tool_call><tool_response>
{"name": "get_weather", "result": {"temp": "34°C", "condition": "Sunny"}}
</tool_response>| Parameter | Value |
|---|---|
| Base Model | google/gemma-3-270m-it |
| Method | LoRA (rank 16, alpha 32) |
| Target Modules | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| Dataset | 2,249 curated Bangla examples (1,945 chat + 304 function-calling) |
| Epochs | 5 |
| Effective Batch Size | 8 (2 × 4 grad accumulation) |
| Learning Rate | 5e-5 (cosine schedule, 10% warmup) |
| Precision | FP16 / 4-bit QLoRA |
| Max Sequence Length | 2,048 tokens |
| Hardware | NVIDIA T4 (Kaggle) |
| Framework | Unsloth + TRL + PEFT |
User: আজকে এত গরম পড়েছে যে মাথা কাজ করছে না!vMAX: আরে ভাইরে ভাই, গরমের তীব্রতায় সবারই একই হাল! বেশি করে ডাবের পানি বা স্যালাইন খান, রোদ সরাসরি এড়িয়ে চলুন আর দরকার ছাড়া দুপুরের দিকে বাইরে বের হবেন না। পারলে ফ্যানের নিচে একটু বিশ্রাম নিন!
User: Nginx Reverse Proxy কনফিগারেশন SSL এবং WebSocket সাপোর্ট সহ তৈরি করে দাও।vMAX: নিচে Nginx Reverse Proxy কনফিগারেশন SSL এবং WebSocket সাপোর্ট সহ-এর সম্পূর্ণ কনফিগারেশন দেওয়া হলো... (provides full nginx config block)
User: বন্ধু টাকা ধার নিয়ে আর ফেরত দিচ্ছে না, কীভাবে চেয়ে নেওয়া যায়?vMAX: খুবই স্পর্শকাতর পরিস্থিতি! আপনি সরাসরি রেগে না গিয়ে স্বাভাবিকভাবে নক দিয়ে বলতে পারেন — 'দোস্ত, কেমন আছিস? তোকে একটা কথা মনে করিয়ে দিতে চাচ্ছিলাম...'