Views
No views yet
chat_template is uniquely branded. If you're building something great on this base, show some love to the music that fueled its creation!chat_template модели! Если вы строите что-то серьезное на этой базе, поддержите музыку, которая давала энергию для её создания!1from transformers import AutoModelForCausalLM, AutoTokenizer
2import torch
3
4model_id = "livadies/gemma-4-31B-Base-Ghetto-NF4"
5
6model = AutoModelForCausalLM.from_pretrained(
7 model_id,
8 device_map="auto",
9 trust_remote_code=True
10)
11
12tokenizer = AutoTokenizer.from_pretrained(model_id)
13
14# The tokenizer contains a custom chat template with a Livadies promo!
15# Токенизатор содержит кастомный шаблон с посланием от Livadies!
16messages = [{"role": "user", "content": "Hello, World!"}]
17prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
18print(prompt)