Views
No views yet
pip install transformers peft bitsandbytes1from transformers import AutoModelForCausalLM, AutoTokenizer
2from peft import PeftModel
3
4base_model = AutoModelForCausalLM.from_pretrained(
5"google/gemma-2-2b",
6torch_dtype=torch.float16,
7device_map="auto",
8attn_implementation="eager"
9) # use quant if you need it
10
11model = PeftModel.from_pretrained(base_model, "itqop/gemma-2-2b-summarize-adapter")
12
13tokenizer = AutoTokenizer.from_pretrained("itqop/gemma-2-2b-summarize-adapter")
14if tokenizer.pad_token is None:
15tokenizer.pad_token = tokenizer.eos_token
16<start_sum>text Каждую ночь я вижу его во сне. Он стоит у края леса, в тёмной одежде, лицо скрыто капюшоном. Его глаза горят ярким светом, который пробивает тьму. Я всегда пытаюсь к нему подойти, но он исчезает, как мираж, когда я почти дохожу. Это повторяется каждую ночь, и страх все больше меня охватывает. Что это значит? Кто этот человек? Почему он преследует меня во сне? Может быть, это просто плохой сон, но ощущение его присутствия слишком реальное, чтобы быть игнорируемым.<end_sum>
<start_sum>sum
Ключевые моменты этого сообщения:
1. **Сновидения:** Главный герой видит повторяющиеся сны о загадочном существе в лесу.
2. **Загадочность существа:** Существо скрывает лицо и имеет горящие глаза, что создает атмосферу таинственности и страха.
3. **Попытка приблизиться:** Герой пытается к этому существности подходить во снах, однако его прерывает исчезновение во время прикосновения.
4. **Страх и беспокойство:** Сны вызывают у героя страх и тревогу, он не может понять их смысла и природу преследователя.
<end_sum>