2025最終課題メインコンペ Submission (DPO Round 3)

Model Details

• Base Model: Qwen/Qwen2.5-7B-Instruct
• Fine-tuning Method: Unsloth (LoRA) + DPO
• Total Training Steps (Round 3): 100 (Fixed)
• Learning Rate: 1e-7

Training Process

1. SFT (Supervised Fine-Tuning)

• データセット: daichira/structured-hard-sft-4k (High Quality) + u-10bei/structured_data_with_cot_dataset_512_v4
• 目的: 指示追従能力と基本的なフォーマット厳守（JSON/XML/TOML/YAML/CSV）の学習。
• 特徴: Completion-only学習により、回答部分のみを効率的に学習。

2. DPO Round 1 & 2

• 目的: 一般的な選好学習およびハルシネーションの抑制。

3. DPO Round 3 (This Model)

• 目的: JSONタスクにおける「余計な出力（Markdownフェンス、Here is...等の前置き）」の完全排除。
• データセット: u-10bei/dpo-dataset-qwen-cot (JSONタスク抽出)
• 戦略:
  • Ultra-Aggressive Augmentation: 1つのChosen（正解）に対し、以下の8種類のRejected（不正解）を生成して対比学習。
    1. コードフェンスあり (json ... )
    2. 言語指定なしフェンス (...)
    3. 前置きあり ("Here is the JSON...")
    4. 後書きあり ("Notes: ...")
    5. Markdown見出しあり ("### Output")
  • Strict Filtering: { で始まり } で終わる純粋なJSON以外は学習データから除外。
  • Minimal Steps: 既に能力の高いモデルに対し、出力形式のみを矯正するため 100ステップのみ学習。

Usage

Acknowledgements

• Base Model: Qwen Team
• Library: Unsloth, TRL
• Dataset: u-10bei, daichira