Iapyx 확장 캠페인 — iapyx-exaone-4.0-1.2b-sft (풀파라미터 DPO (SFT 위 선호 최적화))

전후 비교 (held-out val · 기준: SFT(비교 기준))

학습 구성

• 방식: 풀파라미터 DPO (SFT 위 선호 최적화) · base space1637/iapyx-exaone-4.0-1.2b-sft
• 데이터: 합성 SFT 통합 1,881 (리스크 945 + FC 936) · DPO는 선호쌍(chosen=정답, rejected=베이스 zero-shot 실측 실패)
• 5 epochs(SFT) · cosine · warmup · max_len 1024 · assistant-only loss / DPO: beta 0.1·2 epochs
• 풀FT: FSDP full_shard + 8-bit Adam / QLoRA: NF4 4bit r=16 (MoE는 어텐션 q,k,v,o 한정)