INFO 03-19 14:53:13 [init.py:216] Automatically detected platform cuda. [1;36m(APIServer pid=3428638)[0;0m INFO 03-19 14:53:19 [api_server.py:1839] vLLM API server version 0.11.0 [1;36m(APIServer pid=3428638)[0;0m INFO 03-19 14:53:19 [utils.py:233] non-default args: {'model_tag': './sft_model', 'model': './sft_model', 'dtype': 'bfloat16', 'max_model_len': 4096, 'gpu_memory_utilization': 0.85} INFO 03-19 14:53:25 [init.py:216] Automatically detected platform cuda. [1;36m(APIServer pid=3428911)[0;0m INFO 03-19 14:53:31 [api_server.py:1839] vLLM API server version 0.11.0 [1;36m(APIServer pid=3428911)[0;0m INFO 03-19 14:53:31 [utils.py:233] non-default args: {'model_tag': './rs_sft_model', 'model': './rs_sft_model', 'dtype': 'bfloat16', 'max_model_len': 4096, 'gpu_memory_utilization': 0.85}

실패한 접근들 (참고)

Iterative RS (RS 모델 위에 다시 RS): 항상 퇴보
DPO (10가지 시도): 모두 무효 (1B 모델 capacity 부족)
GRPO (2가지 시도): base variance 범위 내
다른 교사 모델: 스타일 불일치로 대폭 하락

파일

: Stage 1 SFT 학습
: RS 샘플링 스크립트 (vLLM 서빙 필요)
: Stage 2 RS-SFT 학습 (replay 포함)
: HRM8K 평가

NotoriousH2/gemma-3-1b-it-Math-RS-SFT

Gemma-3-1B-IT Math RS-SFT (Best Model)

성능

데이터 생성 파이프라인

Stage 1: SFT 데이터 (교사 증류)

Stage 2: RS 데이터 (On-policy 샘플링)

RS 샘플링

RS 데이터 필터링

RS-SFT 학습 데이터 구성 (핵심!)

RS-SFT 학습 데이터 형식

학습 설정

Stage 1: SFT

Stage 2: RS-SFT

재현 방법

실패한 접근들 (참고)

파일

NotoriousH2/
gemma-3-1b-it-Math-RS-SFT