models:
  - model: NousResearch/Meta-Llama-3-8B-Instruct
  - model: IlyaGusev/saiga_llama3_8b
    parameters:
      density: 0.5
      weight: 0.3
  - model: lightblue/suzume-llama-3-8B-multilingual
    parameters:
      density: 0.5
      weight: 0.5
merge_method: ties
base_model: NousResearch/Meta-Llama-3-8B-Instruct
parameters:
  normalize: true
dtype: float16

💻 Usage

python

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "d0rj/Llama-3-8B-saiga-suzume-ties"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

python

import torch
from transformers import AutoTokenizer, GenerationConfig, AutoModelForCausalLM


model_id = "d0rj/Llama-3-8B-saiga-suzume-ties"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    attn_implementation="flash_attention_2", # if you can
).to("cuda").eval()
generation_config = GenerationConfig(
    do_sample=True,
    top_k=30,
    top_p=0.9,
    temperature=1.04,
    repeatition_penalty=1.2,
    max_length=8192,
    max_new_tokens=512,
    min_new_tokens=2,
    pad_token_id=tokenizer.eos_token_id,
)

data = tokenizer.apply_chat_template(
    [
        {"role": "system", "content": "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."},
        {"role": "user", "content": "Привет! Как дела?"},
        {"role": "assistant", "content": "Привет! Спасибо, дела неплохо. Как у тебя? Чем могу помочь?"},
        {"role": "user", "content": "Расскажи, как сдать сессию, если лень даже думать о ней?"},
    ],
    return_tensors="pt",
    return_dict=True,
    add_generation_prompt=True,
).to(model.device)
with torch.inference_mode():
    output_ids = model.generate(
        **data,
        generation_config=generation_config
    )[0]
output_ids = output_ids[len(data["input_ids"][0]):]
output = tokenizer.decode(output_ids, skip_special_tokens=True)
print(output.strip())

Сдача сессии — это важный момент в жизни каждого студента. Если вы чувствуете лень думать о ней, возможно, стоит попытаться найти мотивацию. Вот несколько советов, которые могут помочь:

1. **Определите причины своей лени.** Если лень связана с чем-то конкретным, попробуйте определить и устранить эту проблему. Например, может быть, вы недосыпаете, вечно устаете или что-то еще.

2. **Рассмотрите сессию как часть вашей жизни.** Понимание того, что сессия — это не просто обязанность, а также возможность учиться и развиваться, может изменить ваше отношение к этому процессу.

3. **Разбейте задачи на маленькие части.** Часто кажется, что большая задача непреодолима, но если разделить ее на меньшие, они станут более доступными.

4. **Планируйте и организуйте свое время.** Разработайте план изучения и следуйте ему. Это поможет вам лучше управлять своим временем и мотивацией.

5. **Получите поддержку.** Поделитесь своими трудностями с друзьями или семьей. Они могут предложить советы или поддержку.

6. **Найдите способы сделать изучение интересным.** Может быть, найдите что-то, что вам нравится, и начните изучать вместе с этим. Это поможет сделать процесс более приятным и стимулирует вас к обучению.

7. **Создайте для себя награды за выполнение задач.** Это может быть что-то простое, например, посмотреть свою любимую серию или сходить на прогулку. Таким образом, вы будете мотивированы продолжать изучение.

8. **Помните о своих целях.** Долгосрочные цели могут служить хорошим мотивационным фактором. Помните, что каждая сессия — это шаг к достижению ваших мечт.

Помните, что самое главное — это не сдача сессии, а процесс обучения и развития. Будьте добры к себе и не забывайте о своих успехах

RichardErkhov/d0rj_-_Llama-3-8B-saiga-suzume-ties-awq

Original model description:

Llama-3-8B-saiga-suzume-ties

🧩 Configuration

💻 Usage

RichardErkhov/
d0rj_-_Llama-3-8B-saiga-suzume-ties-awq