You can deploy this model and start earning money today!

mmnga-o/
llm-jp-4-33b-thinking-gguf

Name: llm-jp-4-33b-thinking-gguf
Availability: InStock

gguf

llama.cpp

llm-jp/llm-jp-4-33b-thinking

Views

No views yet

llm-jp-4-33b-thinking-GGUF

llm-jpさんが公開しているllm-jp-4-33b-thinkingのGGUFフォーマット変換版です。

imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。

llama.cpp

このモデルを使用するには、llm-jp版のllama.cppが必要です。

bash

git clone https://github.com/llm-jp/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j

Usage

bash

hf download mmnga-o/llm-jp-4-33b-thinking-gguf \
  llm-jp-4-33b-thinking-Q4_K_M.gguf \
  --local-dir .

./build/bin/llama-server \
  --model ./llm-jp-4-33b-thinking-Q4_K_M.gguf \
  --jinja \
  -rea on \
  --flash-attn on \
  -ngl 99 \
  --ctx-size 8192 \
  --port 8080

-nglは使用するGPUのVRAM容量に合わせて調整してください。