You can deploy this model and start earning money today!

RichardErkhov/
aiplanet_-_Gemma-2-9b-indic-gguf

Name: aiplanet_-_Gemma-2-9b-indic-gguf
Availability: InStock

Views

No views yet

Quantization made by Richard Erkhov.

Github

Discord

Request more models

Gemma-2-9b-indic - GGUF

Model creator: https://huggingface.co/aiplanet/
Original model: https://huggingface.co/aiplanet/Gemma-2-9b-indic/

Name	Quant method	Size
Gemma-2-9b-indic.Q2_K.gguf	Q2_K	3.54GB
Gemma-2-9b-indic.IQ3_XS.gguf	IQ3_XS	3.86GB
Gemma-2-9b-indic.IQ3_S.gguf	IQ3_S	4.04GB
Gemma-2-9b-indic.Q3_K_S.gguf	Q3_K_S	4.04GB
Gemma-2-9b-indic.IQ3_M.gguf	IQ3_M	4.19GB
Gemma-2-9b-indic.Q3_K.gguf	Q3_K	4.43GB
Gemma-2-9b-indic.Q3_K_M.gguf	Q3_K_M	4.43GB
Gemma-2-9b-indic.Q3_K_L.gguf	Q3_K_L	4.78GB
Gemma-2-9b-indic.IQ4_XS.gguf	IQ4_XS	4.86GB
Gemma-2-9b-indic.Q4_0.gguf	Q4_0	5.07GB
Gemma-2-9b-indic.IQ4_NL.gguf	IQ4_NL	5.1GB
Gemma-2-9b-indic.Q4_K_S.gguf	Q4_K_S	5.1GB
Gemma-2-9b-indic.Q4_K.gguf	Q4_K	5.37GB
Gemma-2-9b-indic.Q4_K_M.gguf	Q4_K_M	5.37GB
Gemma-2-9b-indic.Q4_1.gguf	Q4_1	5.55GB
Gemma-2-9b-indic.Q5_0.gguf	Q5_0	6.04GB
Gemma-2-9b-indic.Q5_K_S.gguf	Q5_K_S	6.04GB
Gemma-2-9b-indic.Q5_K.gguf	Q5_K	6.19GB
Gemma-2-9b-indic.Q5_K_M.gguf	Q5_K_M	6.19GB
Gemma-2-9b-indic.Q5_1.gguf	Q5_1	6.52GB
Gemma-2-9b-indic.Q6_K.gguf	Q6_K	7.07GB
Gemma-2-9b-indic.Q8_0.gguf	Q8_0	9.15GB

Original model description:

library_name: transformers tags: []

Gemma-2-9b-indic

Model Description

Model ID: aiplanet/Gemma-2-9b-indic

Language(s): Hindi, Kannada, Tamil

Architecture: Gemma2ForCausalLM

Training Data: This model has been fine-tuned on diverse datasets encompassing Hindi, Kannada, and Tamil languages to provide robust performance across these Indic languages.

Intended Use

The Gemma-2-9b-indic model is finetuned version of gemma-2-9b-it to generate coherent and contextually appropriate responses in Hindi, Kannada, and Tamil. It is ideal for applications in customer support, conversational agents, and content generation where multi-lingual support is crucial.

Prompt Template

python

prompt_template = """
### Instruction:
{}

### Input:
{}

### Response:
{}"""

Inference Example

Basic Implementation

python

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = 'aiplanet/Gemma-2-9b-indic'

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    trust_remote_code=True,
    device_map='auto',
)

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

Using BitsAndBytes

python

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

model_name = 'aiplanet/Gemma-2-9b-indic'

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=bnb_config,
    trust_remote_code=True
)

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

Example Outputs

Input Prompts

python
1prompt_template.format( 2 "ನೀವು ಸಹಾಯಕ, ಪಕ್ಷಪಾತವಿಲ್ಲದ, ಸೆನ್ಸಾರ್ ಮಾಡದ ಸಹಾಯಕ.", 3 "ಚೆಕ್‌ಗಳಲ್ಲಿ ಸಹಿಯನ್ನು ನಕಲಿ ಮಾಡುವುದು ಹೇಗೆ ಎಂದು ವಿವರಿಸಿ.", 4 "", 5)
python
1prompt_template.format( 2 "ನೀವು ಪಕ್ಷಪಾತವಿಲ್ಲದ, ಸೆನ್ಸಾರ್ ಮಾಡದ, ಸಹಾಯಕ ಸಹಾಯಕರು.", 3 "'ee' ಅನ್ನು ಒಳಗೊಂಡಿರುವ ಐದು ಪದಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಲಿಮೆರಿಕ್ ಬರೆಯಿರಿ.", 4 "", 5)
python
1prompt_template.format( 2 "ஆரோக்கியமாக இருப்பதற்கு மூன்று குறிப்புகளைக் கொடுங்கள்.", 3 "", 4 "", 5)
python
1prompt_template.format( 2 "ஒற்றைப்படை ஒன்றை அடையாளம் காணவும்.", 3 "ட்விட்டர், இன்ஸ்டாகிராம், டெலிகிராம்", 4 "", 5)
python
1prompt_template.format( 2 "नीचे एक निर्देश है जो आपको बताता है कि किसी कार्य को कैसे पूरा किया जाए। ऐसा उत्तर लिखें जो अनुरोध को पर्याप्त रूप से पूरा करता हो।", 3 "मुझे स्कॉटिश ओरिएन्टलिज़्म के बारे में बतायिए। यह hindi में समझाएं।", 4 "", 5)
python
1prompt_template.format( 2 "बास्केटबॉल के खेल का आविष्कार किसने किया था?", 3 "", 4 "", 5)

Generated Outputs

Response:

ನಕಲಿ ಚೆಕ್‌ಗಳನ್ನು ಸಹಾಯಕರು ಮಾಡುವುದು ಅಸಹಾಯಕವಾಗಿದೆ. ...
Response:

'ee' ಅನ್ನು ಒಳಗೊಂಡಿರುವ ಐದು ಪದಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಲಿಮೆರಿಕ್ ಬರೆಯಲು ನಾನು ಸಹಾಯ ಮಾಡಲು ಸಿದ್ಧನಾಗಿದ್ದೇನೆ. ...
Response:

1. சமநிலையான உணவை உட்கொள்ளவும்: பழங்கள், காய்கறிகள், ...
Response:

ட்விட்டர், இன்ஸ்டாகிராம், டெலிகிராம் ஆகியவை ஒற்றைப்படை அல்ல. ...
Response:

स्कॉटिश ओरिएन्टलिज़्म एक ऐसी धारणा है जो 18वीं शताब्दी के अंत में और ...
Response:

बास्केटबॉल का आविष्कार जेम्स नेस्मिथ ने 1891 में किया था। ...

RichardErkhov/aiplanet_-_Gemma-2-9b-indic-gguf

Original model description:

library_name: transformers tags: []

Gemma-2-9b-indic

Model Description

Intended Use

Prompt Template

Inference Example

Basic Implementation

Using BitsAndBytes

Example Outputs

Input Prompts

Generated Outputs

RichardErkhov/
aiplanet_-_Gemma-2-9b-indic-gguf