Qwen3-4B-KRX-Finance

1. 모델 개요

• Base Model
  unsloth/Qwen3-4B-Instruct-2507
• Fine-tuning Pipeline
  1. Supervised Fine-Tuning (SFT)
  2. Direct Preference Optimization (DPO)
• Release Type
  PEFT Adapter only
• Target Domain
  한국어 금융 질의응답 (금리, 채권, 거시경제, 금융 개념 설명 중심)

2. 학습 목적

• 한국어 금융 질문에 대한 설명 정확도 및 일관성 향상
• 답변을 단순 나열이 아닌 논리적으로 구조화된 형태로 생성
• 동일 질문에 대해 선호되는 답변 스타일로 정렬
• 금융 학습·리서치·설명용으로 활용 가능한 안정적인 언어 모델 구축

3. SFT (Supervised Fine-Tuning)

3.1 SFT 학습 개요

• 금융 개념 설명 중심 QA
• 한국어 질문에 대한 직접적이고 설명적인 응답 학습

3.2 SFT 학습 데이터

• Dataset
  https://huggingface.co/datasets/KRX-Data/Won-Instruct
• 데이터 분리 방식
  • test_size = 0.05
  • Train / Test 분리 후 Train 데이터만 SFT 학습에 사용
• 데이터 특징
  • 한국어 금융 질의응답 데이터
  • 금리, 채권, 거시경제, 금융 제도 및 개념 설명 중심
  • 설명형 응답 위주 구성

3.3 SFT 결과 요약

• 한국어 금융 질문에 대해 안정적인 기본 응답 생성
• 금융 도메인 용어 이해도 향상
• 다만,
  • 답변 길이 편차
  • 중복 서술
  • 선호되지 않는 서술 방식이 일부 존재

4. DPO (Direct Preference Optimization)

4.1 DPO 학습 목적

• 동일 질문에 대해 더 나은 답변(chosen) 을 선택하도록 정렬
• 설명의 명확성, 간결성, 구조적 완결성 강화
• SFT 모델 출력의 품질 편차 감소

4.2 DPO 학습 데이터

• Base Dataset
  https://huggingface.co/datasets/aiqwe/FinShibainu
• Prompt 구성
  • 전체 데이터 중 무작위로 1,200개 prompt 추출
  • 금융 관련 질문 중심
• Chosen 응답
  • gemini-3-flash-preview API를 활용하여 생성
  • 설명의 완결성, 중복 제거, 논리적 구조를 기준으로 사용
• Rejected 응답
  • Base Qwen3-4B-Instruct 모델 출력 사용
  • 상대적으로 구조가 덜 정제된 응답

4.3 DPO 학습 설정 요약

• Policy Model
  SFT 완료 모델
• Reference Model
  Base Qwen3-4B-Instruct (고정)
• Beta
  0.2
• Epoch
  2
• Max Sequence Length
  2048
• Optimization Method
  Direct Preference Optimization (DPO)

5. 사용 방법

5.1 Base 모델 로드