Views
No views yet
ValueError: LoRA adapter 'tellang/yeji-8b-dora-v6' uses DoRA which is not supported by vLLM1# DoRA 전용 파라미터
2use_dora: true
3lora_r: 32-64 # DoRA는 더 큰 rank 필요
4lora_alpha: 64-128tellang/yeji-8b-rslora-v7-AWQ1from vllm import LLM, SamplingParams
2
3llm = LLM(
4 model="tellang/yeji-8b-rslora-v7-AWQ",
5 quantization="awq",
6 gpu_memory_utilization=0.9,
7)tellang/yeji-4b-rslora-v8.1 (리소스 절약)tellang/yeji-8b-rslora-v7-AWQ (최고 성능)1# DoRA 어댑터 - vLLM 미지원
2llm = LLM(model="tellang/yeji-8b-dora-v6") # ❌ ValueError1# AWQ 양자화 - vLLM 네이티브 지원
2llm = LLM(
3 model="tellang/yeji-8b-rslora-v7-AWQ",
4 quantization="awq",
5)| 지표 | v6 (DoRA) | v7-AWQ (rsLoRA) |
|---|---|---|
| vLLM 지원 | ❌ 미지원 | ✅ 완전 지원 |
| 추론 속도 | N/A (배포 불가) | 50 tokens/s |
| 학습 속도 | 0.03 it/s | 0.8 it/s |
| 메모리 | 16GB | 5.3GB (AWQ) |
| 정확도 | Baseline | +5% |
1@misc{yeji-8b-dora-v6,
2 title={YEJI Fortune Telling Model (DoRA v6 - Deprecated)},
3 author={SSAFY YEJI Team},
4 year={2026},
5 note={Deprecated: Use yeji-8b-rslora-v7-AWQ instead}
6}