Feature	V1	V2	V3	V4 (Current)
Base Model	Gemma 2B	Qwen3 14B	Qwen3 14B	Qwen3 14B
Val Loss	2.60	0.493	0.208	0.678
Training Focus	Mixed	Mixed	Poetry only	Poetry + Songs + Stories
Poetry Quality	Basic	Good	Excellent	Excellent
Songs	Poor	Good	Okay	Excellent
Stories	Poor	Okay	Okay	Much Better
Conversations	Good	Good	Good	Good
Overall Balance	Poor	Okay	Specialist	Best Balanced

Note: Val loss for V4 is measured on a broader, mixed validation set (poetry + songs + stories + general), so it is not directly comparable to V3's poetry-only val loss. V4 is the most well-rounded version.

V4 is our best all-round model!

Capabilities

Capability	Quality
Telugu Poems (కవితలు)	EXCELLENT
Classical Padyalu (పద్యాలు)	EXCELLENT
Telugu Songs with proper structure	EXCELLENT
Devotional Songs (భక్తి పాటలు)	EXCELLENT
Folk Songs (జానపద పాటలు)	EXCELLENT
Telugu Stories with narrative	GOOD
Telugu Conversations	GOOD
Mother Songs (అమ్మ పాటలు)	EXCELLENT

Sample Outputs from V4

Folk Song (జానపద పాట)

పల్లవి: పల్లె జీవితం పెద్ద ప్రేమ, నీటి మీద కుల్లు పాటే గానం. పిల్లల నవ్వు పల్లవి లాంటిది, మామిడి వృక్షం చెట్టు కాలం.

చరణం 1: పల్లె గుడి చూడాలంటే మనస్సు పాటు, కోడి నిద్ర గుండె కూడా పాటు.

Devotional (భక్తి పాట)

పల్లవి: వెంకటేశ్వరా నీ పేరు విన్న నాకు ఊపిరి తీసుకోలేకపోతుంది నీ భక్తుల మనసులో నిలిచిన నీ పేరు అమృతమువలే నా మనసును నింపుతుంది

Mother Song (అమ్మ పాట)

అమ్మా అమ్మా నీ పేరు నా జీవితంలో మెల్లగా నా గుండెలో నిలబడింది నీ చూపుల్లో ప్రేమ నా జీవితాన్ని మార్చింది

కోరస్: అమ్మా నిన్ను నేను ప్రేమిస్తాను నీ ప్రేమ నా జీవితం

Training Data

Real Classical Telugu Literature (Wikisource)

వేమన పద్యాలు, సుమతి శతకం, కాళహస్తీశ్వర శతకం
అన్నమాచార్య కీర్తనలు, త్యాగరాజ కీర్తనలు, రామదాసు కీర్తనలు
పోతన భాగవతం, మనుచరిత్ర, ఆముక్తమాల్యద

Curated Generated Data (V4 addition)

50 high-quality Telugu songs with proper structure
50 high-quality Telugu stories with narrative and moral
100 classical padyalu and 100 modern kavithalu

General Telugu Data

Telugu instruction datasets sample
Telugu conversations and instructions

Training Details

Detail	Value
Base Model	Qwen3-14B (4-bit quantized)
Training Framework	MLX LoRA
Hardware	Apple M4 Mac Mini (24GB)
V4 Iterations	3,000 (resumed from V3)
V4 Train Loss	0.593
V4 Val Loss	0.678 (broader mixed validation set)
V4 Training Data	4,323 curated examples
Num Layers	16
Learning Rate	5e-6
Batch Size	2

How to Use

pip install mlx-lm

from mlx_lm import load, generate from mlx_lm.sample_utils import make_sampler

model, tokenizer = load( "mlx-community/Qwen3-14B-4bit", adapter_path="mohantvj/naadini-telugu" )

messages = [ { "role": "system", "content": "You are naadini, a Telugu creative writing assistant. Write in Telugu script. /no_think" }, { "role": "user", "content": "varsham gurinchi oka andhamaina kavita raayandi /no_think" } ]

text = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=False ) text = text + "

sampler = make_sampler(temp=0.7, top_p=0.9, min_p=0.1) response = generate( model, tokenizer, prompt=text, max_tokens=400, sampler=sampler, verbose=True ) print(response)

Requirements

Apple Silicon Mac (M1/M2/M3/M4)
16GB+ RAM recommended (24GB ideal)
Python 3.9+
mlx-lm library

Creator

Made with love by Thonangi Venkata Jagan Mohan

For Telugu community - telugu vaarandhariki ankitam

HuggingFace: https://huggingface.co/mohantvj

License

Apache 2.0 - Free to use, modify and build upon!

Acknowledgements

MLX Community for Qwen3-14B-4bit
Telugu Wikisource for classical literature
AI4Bharat for Telugu datasets
Apple for MLX framework
Telugu community for downloads and support!