You can deploy this model and start earning money today!

DFofanov78/
Vikhr-7B-instruct-GGUF

Name: Vikhr-7B-instruct-GGUF
Availability: InStock

zjkarina/Vikhr_instruct

Views

No views yet

Vikhr-7B-instruct-GGUF

Model creator: Vikhrmodels
Original model: Vikhr-7B-instruct

Description

This repository contains quantized GGUF format model files for Vikhr-7B-instruct_merged.

Default message template:

<s>{role}\n{content}</s>\n

Default system prompt:

Ты — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.

Example `llama.cpp` command

./main -m Vikhr-7B-instruct-Q4_K_M.gguf -c 32768 -n -1 -p $'<s>system\nТы — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.</s>\n<s>user\nКак тебя зовут?</s>\n<s>bot\n'

system
Ты — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.
user
Как тебя зовут?
bot
Я называю себя Вихрем! [end of text]

For other parameters and how to use them, please refer to the llama.cpp documentation

DFofanov78/Vikhr-7B-instruct-GGUF