Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
Llama-2-7b-hf-GGUF – AI Model by chenshake | AlphaNeural AI
You can deploy this model and start earning money today!
chenshake
/
Llama-2-7b-hf-GGUF
like
0
endpoints_compatible
gguf
template
apache-2.0
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
从Llama-2-7b-hf，转换成gguf格式。
notebook:
quantize-llama-2-models-using-gguf
我使用作者的colab，做了一些调整，记得要T4，不然转换的时候会出错。
使用量化后gguf模型，进行推理测试.notebook:
量化大模型进行推理测试
