Views
No views yet
1from transformers import AutoTokenizer, AutoModelForCausalLM
2from peft import PeftModel
3
4# Загрузка базовой модели
5base_model = AutoModelForCausalLM.from_pretrained("nativemind/shridhar_8k_multimodal")
6tokenizer = AutoTokenizer.from_pretrained("nativemind/shridhar_8k_multimodal")
7
8# Загрузка LoRA адаптера
9model = PeftModel.from_pretrained(base_model, "nativemind/sphere_075_developer")
10
11# Генерация
12prompt = "Напиши функцию на Python для сортировки массива"
13inputs = tokenizer(prompt, return_tensors="pt")
14outputs = model.generate(**inputs, max_new_tokens=200, temperature=0.7)
15response = tokenizer.decode(outputs[0], skip_special_tokens=True)
16print(response)