Views
No views yet

transformers:1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3model_id = "Kolyadual/Newton-bot-3-text-mini-8B" # Или же путь к папке с моделью
4
5tokenizer = AutoTokenizer.from_pretrained(model_id)
6model = AutoModelForCausalLM.from_pretrained(
7 model_id,
8 torch_dtype="auto",
9 device_map="auto"
10)
11
12prompt = "Реши уравнение Шрёдингера для частицы в бесконечной потенциальной яме."
13messages = [{"role": "user", "content": prompt}]
14
15inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to("cuda")
16outputs = model.generate(inputs, max_new_tokens=1024)
17
18print(tokenizer.decode(outputs[0], skip_special_tokens=True))
191slices:
2 - sources:
3 - model: DeepSeek-qwen-moe
4 layer_range: [0, 36]
5 - model: Gemini
6 layer_range: [0, 36]
7 - model: Claude
8 layer_range: [0, 36]
9merge_method: slerp
10base_model: DeepSeek-qwen-moe
11parameters:
12 t:
13 - filter: self_attn
14 value: [0.4, 0.6]
15 - filter: mlp
16 value: [0.6, 0.4]
17 - value: 0.5
18dtype: bfloat16
19tokenizer_source: base # Используем токенизатор DeepSeek для корректной работы <think>
20
21