qwen3-4b-struct-evaluation-dpo-v3

Training Objective

Training Configuration

• Base model: Qwen/Qwen3-4B-Instruct-2507
• Starting Adapter (SFT): satoyutaka/llm2025_main_0
• Method: DPO (Direct Preference Optimization) via Unsloth
• Samples: ~250 high-quality preference pairs
• Learning rate: 2e-6
• Beta: 0.05
• LoRA Parameters: r=16, alpha=16
• Target Modules: All major projections (q_proj, v_proj, k_proj, o_proj, gate_proj, up_proj, down_proj)

Data Preparation Process

• SFT-to-DPO Pipeline: We first established a strong baseline with SFT, then used DPO to "polish" the output style, specifically targeting the elimination of Markdown code blocks and irrelevant text.
• Preference Learning: Used (Chosen / Rejected) pairs to reinforce strict adherence to data formats without introductory filler.
• Source: Based on u-10bei/dpo-dataset-qwen-cot.

Usage

Sources & License (IMPORTANT)

• Training Data: u-10bei/dpo-dataset-qwen-cot
• License: Follows the original base model and dataset terms.

＜日本語訳＞

qwen3-4b-struct-evaluation-dpo-v3

学習の目的

学習設定

• ベースモデル: Qwen/Qwen3-4B-Instruct-2507
• ベースアダプター(SFT): satoyutaka/llm2025_main_0
• 手法: DPO (Direct Preference Optimization) / Unsloth使用
• 学習サンプル数: 約250件（厳選されたペアデータ）
• 学習率: 2e-6
• Beta: 0.05

データ作成プロセス

• SFTからの進化: SFTで学習済みのモデルに対し、さらに「好ましい回答（Chosen）」と「好ましくない回答（Rejected）」を比較学習させることで、バッククォートによる囲いや不要な挨拶文を徹底的に排除しました。
• ノイズ除去: 思考過程（CoT）は保持しつつ、最終的な出力からフォーマット上のノイズを消し去るように調整されています。
• 元データの選定: u-10bei/dpo-dataset-qwen-cot を使用。

使い方

ソースおよびライセンス

• 学習データ: u-10bei/dpo-dataset-qwen-cot
• ライセンス: 元モデルおよびデータセットの規約に準拠します。