You can deploy this model and start earning money today!

fenyo/
Qwen2.5-7B-base2instruct-DPO

Name: Qwen2.5-7B-base2instruct-DPO
Availability: InStock

Views

No views yet

Qwen2.5-7B-base2instruct — étape DPO

Checkpoint intermédiaire (SFT + DPO) du pipeline base→instruct SFT → DPO → RLVR appliqué à Qwen/Qwen2.5-7B. Le DPO aligne le modèle SFT sur des préférences humaines (réponses choisies vs rejetées).

⬅️ Étape précédente (SFT) : fenyo/Qwen2.5-7B-base2instruct-SFT
🏁 Modèle final (après RLVR) : fenyo/Qwen2.5-7B-base2instruct
📦 Code & recette : https://github.com/AlexandreFenyo/qwen2.5-7b-base2instruct

Entraînement

DPO LoRA (TRL DPOTrainer, r=32), référence calculée en direct, 1 epoch, lr 5e-6, β=0.1, seq_len 1536, bf16, gradient checkpointing. Adaptateur fusionné dans le modèle. Données : HuggingFaceH4/ultrafeedback_binarized (10k paires).

Piège résolu : precompute_ref_log_probs=True en bf16 produit des NaN — désactivé. Voir le dépôt GitHub.

Résultats (lm-eval, backend vLLM)

étape	IFEval (prompt strict)	GSM8K (flexible)	MMLU
base Qwen2.5-7B	27.4	83.0	71.8
+ SFT	44.9	77.5	69.1
+ DPO (ce modèle)	44.7	77.1	69.9
+ RLVR	45.1	77.4	69.9

Le DPO sur 10k paires génériques bouge peu les benchmarks ici. Analyse complète : dépôt GitHub.

Usage

Format ChatML, via tokenizer.apply_chat_template. Voir l'exemple sur le modèle final.

fenyo/Qwen2.5-7B-base2instruct-DPO

Qwen2.5-7B-base2instruct — étape DPO

Entraînement

Résultats (lm-eval, backend vLLM)

Usage

fenyo/
Qwen2.5-7B-base2instruct-DPO