Views
No views yet
| Property | Value |
|---|---|
| Base Model | Mistral-7B-v0.3 |
| LoRA Rank | 16 |
| Training Data | 10,000 samples from Tatar Monocorpus |
| Test Perplexity | 3.98 |
| Training Epochs | 2 |
| Learning Rate | 2e-4 |
1from transformers import AutoTokenizer, AutoModelForCausalLM
2from peft import PeftModel
3
4# Load base model
5base_model = "mistralai/Mistral-7B-v0.3"
6tokenizer = AutoTokenizer.from_pretrained(base_model)
7model = AutoModelForCausalLM.from_pretrained(
8 base_model,
9 torch_dtype=torch.float16,
10 device_map="auto"
11)
12
13# Load adapter
14model = PeftModel.from_pretrained(model, "TatarNLPWorld/mistral-7b-tatar-lora-r16")
15
16# Generate text
17prompt = "Минем исемем"
18inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
19outputs = model.generate(
20 **inputs,
21 max_new_tokens=50,
22 temperature=0.7,
23 top_p=0.9
24)
25print(tokenizer.decode(outputs[0]))| Prompt | Generated Text |
|---|---|
| Минем исемем | Илсур Метшин, башкаладагы даими мэрының тикшерелегенә үз бәяләрен ачты |
| Бүгенге көндә | ТР Дәүләт Советының VIII сессиясе уздырылачак |
| Татарстан — | "Ватанлылар бердәмлеге" кандидатлары белән 19 майда уздырыла торган Президенты вазифасына гариза и |
| Кыш көне | беренче тапкыр һәм ике атнада түбән берничә ялып узган «Тантана» фестивале башкаручы |
1@software{mistral_tatar_lora_2026,
2 title = {Mistral-7B LoRA Adapter for Tatar Language},
3 author = {Arabov Mullosharaf Kurbonovich},
4 year = {2026},
5 publisher = {Hugging Face},
6 url = {https://huggingface.co/TatarNLPWorld/mistral-7b-tatar-lora-r16}
7}