The model is finetuned using unsloth library and we provide inference code using the same for faster inference. Alternatively you can use HuggingFace Library for inference.
The model is finetuned only on native telugu SFT data from above datasets and we will update the model with transliteration in upcoming days.
1from unsloth import FastLanguageModel
2import torch
3max_seq_length = 2048
4dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
5load_in_4bit = False
6model, tokenizer = FastLanguageModel.from_pretrained(
7 model_name = "Telugu-LLM-Labs/Telugu-gemma-7b-finetuned-sft",
8 max_seq_length = max_seq_length,
9 dtype = dtype,
10 load_in_4bit = load_in_4bit,
11 device_map="auto"
12)
13FastLanguageModel.for_inference(model) # Enable native 2x faster inference
1415input_prompt = """
16### Instruction:
17{}
1819### Input:
20{}
2122### Response:
23{}"""
2425input_text = input_prompt.format(
26 "కింది వచనాన్ని రెండు పాయింట్లలో సంగ్రహించండి.", # instruction
27 "Google వార్తలు అనేది Google ద్వారా అభివృద్ధి చేయబడిన వార్తా అగ్రిగేటర్ సేవ. ఇది వేలకొద్దీ ప్రచురణకర్తలు మరియు మ్యాగజైన్ల నుండి నిర్వహించబడిన కథనాలకు నిరంతర లింక్లను అందిస్తుంది. Google వార్తలు Android, iOS మరియు వెబ్లో యాప్గా అందుబాటులో ఉన్నాయి. గూగుల్ సెప్టెంబరు 2002లో బీటా వెర్షన్ను మరియు జనవరి 2006లో అధికారిక యాప్ను విడుదల చేసింది.", # input
28 "", # output - leave this blank for generation!
29 )
3031inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")
3233outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
34response = tokenizer.batch_decode(outputs)
Inference with HuggingFace
python3
1from peft import AutoPeftModelForCausalLM
2from transformers import AutoTokenizer
34model = AutoPeftModelForCausalLM.from_pretrained(
5 "Telugu-LLM-Labs/Telugu-gemma-7b-finetuned-sft",
6 load_in_4bit = False,
7 token = hf_token
8)
9tokenizer = AutoTokenizer.from_pretrained("Telugu-LLM-Labs/Telugu-gemma-7b-finetuned-sft")
1011input_prompt = """
12### Instruction:
13{}
1415### Input:
16{}
1718### Response:
19{}"""
2021input_text = input_prompt.format(
22 "కింది వచనాన్ని రెండు పాయింట్లలో సంగ్రహించండి.", # instruction
23 "Google వార్తలు అనేది Google ద్వారా అభివృద్ధి చేయబడిన వార్తా అగ్రిగేటర్ సేవ. ఇది వేలకొద్దీ ప్రచురణకర్తలు మరియు మ్యాగజైన్ల నుండి నిర్వహించబడిన కథనాలకు నిరంతర లింక్లను అందిస్తుంది. Google వార్తలు Android, iOS మరియు వెబ్లో యాప్గా అందుబాటులో ఉన్నాయి. గూగుల్ సెప్టెంబరు 2002లో బీటా వెర్షన్ను మరియు జనవరి 2006లో అధికారిక యాప్ను విడుదల చేసింది.", # input
24 "", # output - leave this blank for generation!
25 )
2627inputs = tokenizer([input_text], return_tensors = "pt").to("cuda")
2829outputs = model.generate(**inputs, max_new_tokens = 300, use_cache = True)
30response = tokenizer.batch_decode(outputs)[0]
Sample Questions and Responses
Reasoning
Instruction:
(5+4)*(2+1)? నాకు దశల వారీ వివరణ ఇవ్వండి.
Response:
పారెంథసిస్ లోపల వ్యక్తీకరణలను పరిష్కరించండి: (5+4) మరియు (2+1).
పరిష్కారాలను గుణించండి: (5+4) * (2+1).
ఫలితాన్ని లెక్కించండి: 9 * 3.
తుది సమాధానాన్ని పొందడానికి 9ని 3 తో గుణించండి: 27.
Content Generation
Instruction:
కాకి మీద చాలా చిన్న కథ రాయండి
Response:
ఒకప్పుడు ఒక పల్లెటూరులో అందమైన, పచ్చని పొలాల మధ్య ఒక పెద్ద కాకి ఉండేది. అక్కడి పిల్లలు తరచూ ఆకాశంలోకి ఎగురుతూ, పైకి ఎగురుతూ కనిపించేవారు.
ఒక రోజు, పల్లెటూరులోని ఒక పిల్లవాడు అక్కడికి వచ్చి, కాకిని చూసి ఆశ్చర్యపోయాడు. "కాకి, మీరు అందమైన పక్షి, మీరు ఎక్కడ నుండి వచ్చారు?" అని అడిగాడు.
కాకి కిటికీలోకి దూకింది, తన పక్కనే పడుకుంది మరియు "నాకు ఇక్కడ ఎవరికీ తెలియదు. నాకు ఇక్కడ కూడా ఇష్టం."
కాకికి పిల్లవాడు ఆశ్చర్యపోయాడు మరియు "నాకు ఇక్కడ కూడా ఇష్టం. మీరు అందమైన పక్షి, మీరు ఇక్కడికి వచ్చినందుకు నాకు సంతోషంగా ఉంది."
కాకి కిటికీలోకి దూకింది మరియు పిల్లవాడు వెంటనే పాట వింటాడు. "నాకు ఇక్కడ ఇష్టం. నాకు ఇక్కడికి వచ్చినందుకు ధన్యవాదాలు."
అప్పటి నుండి, పిల్లవాడు తరచూ కాకిని చూడవచ్చు, అది పచ్చని పొలాల పైన ఎగురుతుంది. కానీ అది ఎక్కడి నుంచి వచ్చిందో ఎప్పుడూ అర్థం కాలేదు.
Question Answering with Context
Instruction:
స్నోఫ్లేక్ సీఈవో ఎవరు?
Input:
స్నోఫ్లేక్ (NYSE: SNOW), డేటా క్లౌడ్ కంపెనీ, ఫ్రాంక్ స్లూట్మన్ చీఫ్ ఎగ్జిక్యూటివ్ ఆఫీసర్గా పదవీ విరమణ చేయాలని నిర్ణయించుకున్నారని మరియు శ్రీధర్ రామస్వామి చీఫ్ ఎగ్జిక్యూటివ్ ఆఫీసర్గా మరియు డైరెక్టర్ల బోర్డు సభ్యునిగా వెంటనే అమలులోకి వచ్చినట్లు ఈరోజు ప్రకటించింది. శ్రీధర్ రామస్వామి గతంలో స్నోఫ్లేక్లో AI సీనియర్ వైస్ ప్రెసిడెంట్గా ఉన్నారు.
Share the strategy to grow audience on Twitter in 3 short points?
Response:
కంటెంట్ సృష్టి మరియు పంపిణీని పెంపొందించండి: మీరు మీ ప్రేక్షకులకు విలువను అందించే అధిక-నాణ్యత, సంబంధిత మరియు ఆకర్షణీయమైన కంటెంట్ను సృష్టించడం ద్వారా ప్రారంభించండి. మీరు మీ కంటెంట్ను పంచుకునే విధానం గురించి కూడా చాలా అవగాహన పొందాలి. మీరు మీ కంటెంట్ను పంచుకోవడానికి అనుకూలమైన పద్ధతులలో ట్విట్టర్ లైవ్, వీడియోలు, ఇన్ఫోగ్రాఫిక్స్ మరియు మరెన్నో ఉన్నాయి.
ఇతరులతో నిమగ్నం అవ్వండి: ఇతరులతో నిమగ్నం కావడం అంటే వ్యాఖ్యలు మరియు సందేశాలకు ప్రతిస్పందించడం, ఇతర ట్విట్టర్ వినియోగదారులతో సహకరించడం మరియు మీ పరిధిని పెంచడానికి ఇతర ప్రసిద్ధ ట్విట్టర్ ఖాతాలను పంచుకోవడం. ఇది సంభావ్య అనుచరులను ఆకర్షించడానికి మరియు మీ ప్రస్తుత అనుచరులను నిలుపుకోవటానికి సహాయపడుతుంది.
మీ ప్రేక్షకులను విశ్లేషించండి: మీ ట్విట్టర్ ఖాతాను పర్యవేక్షించడానికి మరియు మీ పోస్ట్ ల పనితీరును ట్రాక్ చేయడానికి ట్విట్టర్ యొక్క విశ్లేషణ సాధనాలను ఉపయోగించండి. ఇది మీ కంటెంట్ను మెరుగుపరచడానికి మరియు మీ ప్రేక్షకులను మరింత సమర్థవంతంగా లక్ష్యంగా చేసుకోవడానికి మీకు సహాయపడుతుంది. మీ పోస్ట్ ల పనితీరును పర్యవేక్షించడం ద్వారా మరియు అత్యంత పనితీరు కనబరిచిన కంటెంట్ ను పునరుత్పత్తి చేయడం ద్వారా, మీరు మీ ఆన్ లైన్ ఉనికిని పెంచుకోవచ్చు మరియు మీ ప్రేక్షకులను పెంచుకోవచ్చు.
Developers:
The model is a collaborative effort by Ravi Theja and Ramsri Goutham. Feel free to DM either of us if you have any questions.
