Recycling Classification VQA Model (QLoRA + GRPO Fine-tuned)

Model Details

Model Description

• Developed by: Kang Jaemin (강재민)
• Model type: Vision-Language Model (Visual Question Answering)
• Language(s): Korean
• Finetuned from model:
• Fine-tuning method: QLoRA (4-bit quantization + LoRA) + GRPO

Task

1. 재활용 가능 여부 판별 — 이미지 속 물체가 재활용 대상인지 분류
2. 개수 카운팅 — 이미지 내 재활용품 개수 인식
3. 세부 종류 분류 — 재활용품의 구체적 카테고리 분류

Training Details

Training Procedure

1. QLoRA 기반 파인튜닝 — 대형 모델을 4-bit 양자화하여 제한된 GPU 환경에서 구동하고, LoRA로 효율적으로 파인튜닝
2. 모델 스케일업 — 더 큰 파라미터의 베이스 모델로 교체하여 기반 성능 향상
3. 하이퍼파라미터 튜닝 — 학습률 등 주요 하이퍼파라미터 최적화
4. 이미지 전처리 개선 — 동적 크기 이미지 입력 시 발생하는 비율 왜곡 및 모서리 영역 인식 누락 문제를 발견, 원본 비율을 보존하는 방식으로 개선
5. GRPO 적용 — 오답 사례에 대한 학습을 강화하는 GRPO(Group Relative Policy Optimization)를 적용하여 추가 성능 향상

Training Hyperparameters

• Fine-tuning: QLoRA (4-bit)

Evaluation

Results

• Accuracy: 85% → 93.3% (단계적 개선 후)
• Challenge ranking: 전체 200팀 중 최고 20위 기록, 최종 50위 (상위 25%)

Summary

Bias, Risks, and Limitations

• 본 모델은 단기 챌린지를 위해 특정 재활용 분류 데이터셋에 파인튜닝되었으며, 학습 데이터의 분포를 벗어난 이미지(다른 조명, 배경, 물체 종류)에서는 성능이 저하될 수 있습니다.
• 실제 재활용 분리배출 의사결정에 단독으로 사용하기에는 검증이 더 필요합니다.

How to Get Started with the Model

Model Card Authors