You can deploy this model and start earning money today!

Chipfgdsgsdg/
DeepSeek-R1-1.5B-rk3576-w4a16

Views

No views yet

DeepSeek-R1-Distill-Qwen-1.5B - RK3576 W4A16

✅ 兼容性确认

属性	值
平台	RK3576 ✅
量化	W4A16 ✅
文件大小	1.3 GB
内存需求	~2.5 GB (含Swap)
NPU核心	1-2个

📥 使用方法

1. 下载到RK3576设备

bash

huggingface-cli download JiahaoLi/DeepSeek-R1-Distill-Qwen-RK3576 \
  DeepSeek-R1-Distill-Qwen-1.5B_W4A16_RK3576.rkllm \
  --local-dir ./models/DeepSeek-R1-1.5B

2. 运行推理

bash

cd ./models/DeepSeek-R1-1.5B
rkllm DeepSeek-R1-Distill-Qwen-1.5B_W4A16_RK3576.rkllm

3. Python API

python

from rkllm.api import RKLLM

llm = RKLLM()
llm.load_rkllm("DeepSeek-R1-Distill-Qwen-1.5B_W4A16_RK3576.rkllm")
llm.build(target_platform='rk3576', num_npu_core=2)

# 测试推理
response = llm.inference(["你好"])
print(response)

📊 性能预期

指标	预期值
推理速度	15-20 tokens/s
内存占用	~2.5 GB
上下文长度	4096 tokens
量化精度	W4A16 (4-bit权重, 16-bit激活)

⚠️ 系统要求

硬件: Rockchip RK3576 (6 TOPS NPU)
内存: 至少 4 GB RAM + 2 GB Swap
驱动: RKNPU v0.9.6+
运行时: RKLLM Runtime 1.2.3+

🔗 相关链接

原始仓库: https://huggingface.co/JiahaoLi/DeepSeek-R1-Distill-Qwen-RK3576
DeepSeek-R1: https://github.com/deepseek-ai/DeepSeek-R1
RKLLM Toolkit: https://github.com/airockchip/rknn-llm

📝 许可证

MIT License (继承自DeepSeek-R1)

标注时间: 2026-08-04 验证状态: ✅ 文件头验证通过 (daee b336)

Chipfgdsgsdg/DeepSeek-R1-1.5B-rk3576-w4a16

DeepSeek-R1-Distill-Qwen-1.5B - RK3576 W4A16

✅ 兼容性确认

📥 使用方法

1. 下载到RK3576设备

2. 运行推理

3. Python API

📊 性能预期

⚠️ 系统要求

🔗 相关链接

📝 许可证

Chipfgdsgsdg/
DeepSeek-R1-1.5B-rk3576-w4a16