Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
llama2-70b-gptq-3bit-32g – AI Model by DSAiLab | AlphaNeural AI
You can deploy this model and start earning money today!
DSAiLab
/
llama2-70b-gptq-3bit-32g
like
0
transformers
safetensors
llama
text-generation
conversational
apache-2.0
autotrain_compatible
text-generation-inference
endpoints_compatible
4-bit
gptq
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
LLaMA2-70B-GPTQ-3bit-32g
본 모델은 Meta의 LLaMA2-70B 모델을 기반으로 GPTQ 방식으로 3bit 양자화된 버전입니다.
Quantization (GPTQ)
Base Model:
LLaMA2-70B
Quantization Type:
GPTQ 3bit
Group Size:
32
Bits:
3bit (int3)
Activation Ordering:
Enabled
지원 프레임워크:
vLLM, SGLang
특징
메모리 절약:
3bit 압축으로 70B 모델을 단일 A100/H100에서 실행 가능
성능-용량 절충:
4bit 대비 약간의 정확도 손실이 발생할 수 있으나, 빠른 추론과 낮은 비용으로 장점 극대화
