from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = 'Vikhrmodels/it-5.4-fp16-orpo-v2'
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="sequential",
    attn_implementation="sdpa",
    torch_dtype=torch.bfloat16
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

test_input = tokenizer.apply_chat_template([
    {'role': 'user', 'content': 'Привет, объясни что такое черные дыры'}
], add_generation_prompt=True, tokenize=True, return_tensors='pt')
test_input = test_input.to(model.device)

answer = model.generate(
    test_input,
    do_sample=True,
    use_cache=True,
    max_new_tokens=256, 
    temperature=0.3,
)[:, test_input.shape[-1]:]
answer = tokenizer.batch_decode(answer, skip_special_tokens=True)[0]
print(answer)

Ответ модели:

Привет! Черные дыры - это удивительные объекты, которые существуют в космосе. Они образуются из остатков массивных звезд, которые взрываются в результате сверхновой. После взрыва остается ядро звезды, которое коллапсирует под действием собственной гравитации, образуя черную дыру.

Черная дыра - это область пространства, где гравитационное притяжение настолько сильное, что ничто, даже свет, не может вырваться из нее. Это происходит потому, что гравитационное поле черной дыры настолько сильное, что оно искривляет пространство-время настолько, что даже свет не может покинуть ее.

Черные дыры могут быть разных размеров, от маленьких, которые могут быть размером с планету, до огромных, которые могут быть размером с галактику. Они могут быть как неподвижными, так и движущимися, и могут взаимодействовать с другими объектами в космосе, такими как звезды и планеты.

Черные дыры - это удивительные объекты, которые продолжают изучать ученые, и они могут многое рассказать нам о Вселенной и ее происхождении.

Использование через vllm + openai client

Запуск сервера в терминале:

python -m vllm.entrypoints.openai.api_server --model Vikhrmodels/it-5.4-fp16-orpo-v2 --dtype half --api-key token-abc123 -tp 1

python

import openai

llm_model = "Vikhrmodels/it-5.4-fp16-orpo-v2"
llm_client = openai.OpenAI(
            base_url="http://localhost:8000/v1",
            api_key="token-abc123",
        )

def make_completion(history, client, model):
    completion = client.chat.completions.create(
                model=model,
                messages=history,
                temperature=0.3,
                max_tokens=2048,
                stop=["</s>", "<eos>", "<|eot_id|>", "<|im_end|>"]
    )
    output = completion.choices[0].message.content
    return output

answer = make_completion([
    {'role': 'user', 'content': 'Привет, объясни что такое черные дыры'}
], llm_client, llm_model)
print(answer)

RichardErkhov/Vikhrmodels_-_it-5.4-fp16-orpo-v2-4bits

Original model description:

Инструктивный вихрь 5.4

Использование через transformers

Использование через vllm + openai client

Метрики на ru_arena_general

RichardErkhov/
Vikhrmodels_-_it-5.4-fp16-orpo-v2-4bits