Views
No views yet
1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3# Загрузка модели и токенизатора
4model_name = "Vikhrmodels/Vikhr-Qwen-2.5-0.5B-Instruct"
5model = AutoModelForCausalLM.from_pretrained(model_name)
6tokenizer = AutoTokenizer.from_pretrained(model_name)
7
8# Подготовка входного текста
9input_text = "Напиши очень краткую рецензию о книге Гарри Поттер."
10
11messages = [
12 {"role": "system", "content": "Вы - Vikhr, помощник с искусственным интеллектом, созданный компанией Vikhr models, чтобы быть полезным, безобидным и честным."},
13 {"role": "user", "content": input_text},
14]
15
16# Токенизация и генерация текста
17input_ids = tokenizer.apply_chat_template(messages, truncation=True, add_generation_prompt=True, return_tensors="pt")
18output = model.generate(
19 input_ids,
20 max_length=1512,
21 temperature=0.3,
22 num_return_sequences=1,
23 no_repeat_ngram_size=2,
24 top_k=50,
25 top_p=0.95,
26)
27
28# Декодирование и вывод результата
29generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
30print(generated_text)Книга "Гарри Поттер" – это серия книг, написанных британским писателем Джоан Роулинг. Это одно из самых известных произведений в мире литературы и популярного детского творчества.Основные черты серии:
@article{nikolich2024vikhr,
title={Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian},
author={Aleksandr Nikolich and Konstantin Korolev and Sergey Bratchikov and Nikolay Kompanets and Artem Shelmanov},
journal={arXiv preprint arXiv:2405.13929},
year={2024},
url={https://arxiv.org/pdf/2405.13929}
}