GGUF 量化模型 (Recommended):
- 文件名: FortuneQwen3_4b_q8_0.gguf (或其他量化版本)
- 说明: 已经预先转换好的 GGUF 格式 (Int8 量化)，可直接用于 llama.cpp 或 Ollama。
Modelfile:
- 文件名: Modelfile
- 说明: 用于导入 Ollama 的配置文件，定义了系统提示词和参数。
Hugging Face Safetensors:
- 文件名: model.safetensors 等
- 说明: 已经合并了 LoRA 权重的完整模型参数，适用于基于 Transformers 的推理或进一步微调，也可以用于导出自定义的 GGUF。

快速使用 (Quick Start)

您可以使用本仓库中已经转换好的 GGUF 文件快速创建 Ollama 模型。

克隆本仓库:

bash
1git clone https://huggingface.co/Tbata7/FortuneQwen3_4b 2cd FortuneQwen3_4b
创建模型:

bash
1# 这一步会使用目录下的 Modelfile 和 GGUF 文件 2ollama create FortuneQwen3_q8:4b -f Modelfile
运行模型:

ollama run FortuneQwen3_q8:4b

如果您想直接使用 GGUF 文件：

./llama-cli -m FortuneQwen3_4b_q8_0.gguf -p "你的占卜问题..." -n 512

高级用法：导出自定义 GGUF (Advanced Usage)

如果您希望使用不同的量化精度（如 q4_k, q6_k, fp16 等），可以使用 llama.cpp 自行从 Safetensors 权重导出。

准备环境: 确保您已经安装了 llama.cpp 的 python 依赖。
转换模型: 使用 convert_hf_to_gguf.py 脚本进行转换。您需要指定 --outtype 参数来控制输出类型。
- 导出为 FP16 (不量化):
  
  python llama.cpp/convert_hf_to_gguf.py ./FortuneQwen3_4b --outfile FortuneQwen3_4b_fp16.gguf --outtype f16
- 导出为 Int8 (q8_0):
  
  python llama.cpp/convert_hf_to_gguf.py ./FortuneQwen3_4b --outfile FortuneQwen3_4b_q8_0.gguf --outtype q8_0
- 其他量化: 您可以先导出为 f16，然后使用 llama-quantize 工具进一步量化：
  
  ./llama-quantize FortuneQwen3_4b_fp16.gguf FortuneQwen3_4b_q4_k_m.gguf q4_k_m

本模型仅供娱乐和研究使用，算命结果仅供参考，请相信科学。