Views
No views yet
<s> should be automatically prepended:<|start_header_id|>system<|end_header_id|>
Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.<|eot_id|><|start_header_id|>user<|end_header_id|>
Как дела?<|eot_id|><|start_header_id|>assistant<|end_header_id|>
Отлично, а у тебя?<|eot_id|><|start_header_id|>user<|end_header_id|>
Шикарно. Как пройти в библиотеку?<|eot_id|><|start_header_id|>assistant<|end_header_id|>
1# Исключительно ознакомительный пример.
2# НЕ НАДО ТАК ИНФЕРИТЬ МОДЕЛЬ В ПРОДЕ.
3# См. https://github.com/vllm-project/vllm или https://github.com/huggingface/text-generation-inference
4
5import torch
6from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
7
8MODEL_NAME = "IlyaGusev/saiga_yandexgpt_8b"
9
10model = AutoModelForCausalLM.from_pretrained(
11 MODEL_NAME,
12 load_in_8bit=True,
13 torch_dtype=torch.bfloat16,
14 device_map="auto"
15)
16model.eval()
17
18tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
19generation_config = GenerationConfig.from_pretrained(MODEL_NAME)
20print(generation_config)
21
22inputs = ["Почему трава зеленая?", "Сочини длинный рассказ, обязательно упоминая следующие объекты. Дано: Таня, мяч"]
23for query in inputs:
24 prompt = tokenizer.apply_chat_template([{
25 "role": "user",
26 "content": query
27 }], tokenize=False, add_generation_prompt=True)
28 data = tokenizer(prompt, return_tensors="pt", add_special_tokens=False)
29 data = {k: v.to(model.device) for k, v in data.items()}
30 data.pop("token_type_ids", None)
31 output_ids = model.generate(**data, generation_config=generation_config)[0]
32 output_ids = output_ids[len(data["input_ids"][0]):]
33 output = tokenizer.decode(output_ids, skip_special_tokens=True).strip()
34 print(query)
35 print(output)
36 print()
37 print("==============================")
38 print()User: Почему трава зеленая?
Saiga: Трава зелёная благодаря процессу, известному как фотосинтез. Фотосинтез — это биохимический процесс, при котором зелёные растения преобразуют световую энергию солнца в химическую энергию, необходимую для их роста и жизнедеятельности. Этот процесс осуществляется с помощью хлорофилла, который содержится внутри клеток листьев растений (в специальных органеллах, называемых хлоропластами).
Хлорофилл является основным пигментом, ответственным за зелёный цвет растений. Он поглощает свет преимущественно в красной и синей частях спектра, отражая при этом зелёный свет. Это отражение зелёного света и делает траву, листья деревьев и другие зелёные части растений именно такого цвета для нашего глаза.
Зелёный цвет также играет важную роль в защите от ультрафиолетового излучения. Хлорофилл помогает защищать клетки растений от повреждений, вызванных слишком интенсивным солнечным светом. Таким образом, зелёный цвет не только указывает на способность растения к фотосинтезу, но и служит защитой для его организма.User: Сочини длинный рассказ, обязательно упоминая следующие объекты. Дано: Таня, мяч
Saiga: В небольшом городке на берегу реки жила девочка по имени Таня. Её жизнь была наполнена яркими красками и бесконечными приключениями, ведь рядом всегда находился её верный спутник — обычный резиновый мяч. Этот мячик был не просто игрушкой; он словно хранил в себе частичку души Тани, связывая воедино все события её детства.
Утро начиналось с того, что Таня просыпалась под весёлый стук мяча о подоконник. Мяч скакал по комнате, словно приглашая свою хозяйку начать новый день. Девочка любила играть с ним, придумывала разнообразные игры, от простых пряток до сложных лабиринтов из мебели. Иногда она даже учила его выполнять команды – "вперёд", "назад" или "прыгай через препятствие".
Летом Таня проводила дни напролёт на пляже у реки. Река текла медленно, отражаясь в прозрачной воде солнце и облака. Рядом с собой Таня видела только песок, ракушки и своего верного спутника – мяч. Он казался ей живым существом, которое разделяло радость купания и плавания наперегонки с друзьями. Вечером же они вместе строили песчаные замки и устраивали фейерверки из цветных камней и песка.
Однажды, когда Таня играла со своим мячом около старого заброшенного дома, который местные жители называли "Домом призраков", ветер вдруг принёс странные звуки. Из-за угла выглянул старый мужчина в шляпе, украшенной перьями. Его звали Виктор, и он был бывшим учителем физкультуры в школе, где училась Таня.
— Здравствуй, маленькая искательница приключений! — улыбнулся старик, подходя ближе. — Я заметил тебя здесь уже несколько дней. Ты как будто нашла друга в этом старом доме.
Таня смущённо кивнула, а мяч мягко подкатился к ногам Виктора. Тот поднял его, осмотрел внимательно и спросил:
— Расскажи мне о своём друге. Почему ты так любишь эту простую игрушку?
Девочка начала рассказывать истории своих игр, смешных случаев и радостных моментов, которые происходили благодаря мячу. Старик слушал внимательно, иногда кивая головой. Когда Таня закончила свой рассказ, Виктор сказал:
— Знаешь, этот мяч тоже многое пережил. В детстве я играл им во дворе, потом подарил своему сыну, а теперь он стал частью твоей жизни. Видишь ли, игрушки могут быть больше, чем кажется на первый взгляд. Они хранят воспоминания, передают энергию и дружбу между поколениями. Давай сегодня устроим особый праздник для твоего мяча.
Виктор достал коробку конфет, букет полевых цветов и старые фотографии своей семьи. Вместе они устроили настоящую церемонию признания заслуг мяча перед Таней. Поставив свечи вокруг импровизированного алтаря, они зажгли их, произнося слова благодарности за поддержку и радость, которую игрушка принесла девочке.
После этого вечера всё изменилось. Таня стала относиться к игре ещё более ответственно. Теперь каждое утро начиналось с ритуала приветствия мяча, после которого она шла заниматься спортом или рисованием – тем самым, что могло бы развивать её талант и здоровье. А вечером, сидя на скамейке у речного берега, Таня смотрела, как закатное солнце играет на поверхности воды, держа в руках свой любимый мяч и зная, что эта связь останется навсегда.
Годы шли, но каждый раз, встречаясь взглядом с резиновым другом, Таня вспоминала тот особенный вечер у старого дома. Мяч стал символом постоянства среди перемен, напоминанием о том, что дружба может быть такой же простой, искренней и вечной, как детская игра. И хотя мир менялся вокруг неё, одно оставалось неизменным – любовь к этому маленькому предмету, который открыл ей двери в мир безграничных возможностей и настоящей дружбы.
