Views
No views yet
1# QDoRA = QLoRA + DoRA
2# 두 방식의 단점을 모두 가짐1# QDoRA 학습 코드
2bnb_config = BitsAndBytesConfig(load_in_4bit=True) # QLoRA
3lora_config = LoraConfig(use_dora=True) # DoRA
4# → 두 가지 복잡도 결합tellang/yeji-8b-rslora-v7-AWQ1from vllm import LLM, SamplingParams
2
3# QDoRA v1 대신 rsLoRA v7-AWQ 사용
4llm = LLM(
5 model="tellang/yeji-8b-rslora-v7-AWQ",
6 quantization="awq",
7 gpu_memory_utilization=0.9,
8)tellang/yeji-4b-rslora-v8.1tellang/yeji-8b-rslora-v7-AWQ| 지표 | v1 (QDoRA) | v7-AWQ (rsLoRA) |
|---|---|---|
| 정확도 | 40% (PoC) | 90% |
| 학습 데이터 | 500 샘플 | 5,000 샘플 |
| vLLM 지원 | ❌ DoRA 미지원 | ✅ 완전 지원 |
| 학습 안정성 | ❌ NaN 발생 | ✅ 안정적 |
| 배포 가능성 | ❌ 불가능 | ✅ 프로덕션 배포됨 |
v1 (QDoRA) → v2 (QLoRA) → v5 (rsLoRA) → v6 (DoRA) → v7 (rsLoRA + AWQ) ✅
PoC 실험 베트남어 문제 vLLM 미지원 프로덕션 성공| 버전 | 시도 | 문제 | 교훈 |
|---|---|---|---|
| v1 (QDoRA) | PoC | DoRA + QLoRA 복잡도 | 단순한 방식부터 시작 |
| v2 (QLoRA) | 4-bit 학습 | NaN gradient | Full precision 학습 필요 |
| v5 (rsLoRA) | 다국어 모델 | 베트남어 출력 | 시스템 프롬프트 중요 |
| v6 (DoRA) | 성능 향상 | vLLM 미지원 | 배포 환경 사전 확인 |
| v7 (rsLoRA+AWQ) | 검증된 방식 | 없음 | 프로덕션 성공 ✅ |
1# v1 - QDoRA PoC (사용 불가)
2# 배포 불가능한 실험 모델1# v7-AWQ - 프로덕션 검증 완료
2from vllm import LLM
3
4llm = LLM(
5 model="tellang/yeji-8b-rslora-v7-AWQ",
6 quantization="awq",
7)
8
9# 프로덕션 환경에서 실제 사용 중
10# - 일일 요청: 10,000+ requests
11# - 평균 응답 시간: 2초
12# - 정확도: 90%+1# v1: 500 샘플 PoC
2accuracy = 40%
3
4# v2-v6: 반복 실험
5각 버전에서 문제 발견 및 해결
6
7# v7: 5,000 샘플 프로덕션
8accuracy = 90%1@misc{yeji-8b-qdora-v1,
2 title={YEJI Fortune Telling Model (QDoRA v1 - PoC)},
3 author={SSAFY YEJI Team},
4 year={2026},
5 note={Deprecated: Proof of Concept. Use yeji-8b-rslora-v7-AWQ instead}
6}