使用方法

基础模型: <a href="https://huggingface.co/meta-llama/Llama-3.1-8B" target="_blank" rel="noopener noreferrer" class="text-blue-400 hover:text-blue-300 underline underline-offset-2 transition-colors">meta-llama/Llama-3.1-8B
训练数据: <a href="https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k" target="_blank" rel="noopener noreferrer" class="text-blue-400 hover:text-blue-300 underline underline-offset-2 transition-colors">Congliu/Chinese-DeepSeek-R1-Distill-data-110k
量化格式: GGUF (Q4_K_M)
训练框架: <a href="https://github.com/unslothai/unsloth" target="_blank" rel="noopener noreferrer" class="text-blue-400 hover:text-blue-300 underline underline-offset-2 transition-colors">Unsloth

文本生成：

./llama.cpp/llama-cli -hf suyu-io/Llama-3.1-8B-Thinking-Distill-R1-GGUF --jinja

多模态模型：

./llama.cpp/llama-mtmd-cli -hf suyu-io/Llama-3.1-8B-Thinking-Distill-R1-GGUF --jinja

本仓库包含 Ollama Modelfile，可直接用于部署。

可用模型文件

文件名	量化方式	说明
`Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf`	Q4_K_M	4-bit 量化，平衡质量与大小