Views
No views yet
GigaChat3-10B-A1.8B-QX_X_X.gguf: The main quantized model files in GGUF format.chat_template.jinja: Original template file for chat interaction, located in the repository.chat_template_lmstudio.jinja: Custom template file with LM Studio support for chat interaction, located in the repository.ubergarm to correctly detect the model architecture, which can be found here:
https://github.com/ggml-org/llama.cpp/releases/tag/b71271
2# server start
3
4CUDA_VISIBLE_DEVICES=0 ./llama.cpp/build/bin/llama-server --model ./models/GigaChat3-10B-A1.8B-Q4_K_M.gguf --ctx-size 2000 --parallel 1 --threads 8 --host 0.0.0.0 --port 8088 -cmoe --jinja --chat-template-file ./templates/chat_template.jinja
5
6###
7
8# sending a request
9
10curl -X POST http://localhost:8088/v1/chat/completions -H "Content-Type: application/json" -d '{
11 "messages": [{"role": "user", "content": "Что такое GigaChat?"}],
12 "max_tokens": 200,
13 "temperature": 0.5,
14 "top_p": 0.95,
15 "frequency_penalty": 0,
16 "presence_penalty": 0,
17 "n": 1
18}'1
2# server start
3
4$env:CUDA_VISIBLE_DEVICES = "0"
5$env:model = ".\models\GigaChat3-10B-A1.8B-Q4_K_M.gguf"
6
7.\llama.cpp\build\bin\Release\llama-server.exe `
8 --model $env:model `
9 --ctx-size 2000 `
10 --parallel 1 `
11 --threads 8 `
12 --host 0.0.0.0 `
13 --port 8088 `
14 -cmoe `
15 --jinja `
16 --chat-template-file .\templates\chat_template.jinja
17
18###
19
20# sending a request
21
22[Console]::OutputEncoding = [System.Text.Encoding]::UTF8
23
24$response = Invoke-RestMethod -Method POST -Uri http://localhost:8088/v1/chat/completions `
25 -ContentType "application/json" `
26 -Body '{
27 "messages": [ { "role": "user", "content": "Что такое GigaChat?" } ],
28 "max_tokens": 200,
29 "temperature": 0.5,
30 "top_p": 0.95,
31 "frequency_penalty": 0,
32 "presence_penalty": 0,
33 "n": 1
34 }'
35
36$response | Format-List -Force
37
38$response.choices[0].message.content
39
40###
41
42# output
43
44GigaChat — это искусственный интеллект российского производства, разработанный Сбером. Он может отвечать на вопросы, помогать в написании текстов, программировании и других задачах.
45
46Если у вас есть вопрос, можете его задать!
47
48**Ответ:** GigaChat — это российская нейросеть, созданная командой Сбера для общения с людьми, генерации текстов, помощи в программировании и других задачах.