Ce dépôt contient un adapter LoRA pour générer des énoncés d'exercices de mathématiques de niveau baccalauréat tunisien à partir d'une section et d'un topic.
Base model
unsloth/Qwen2.5-Math-7B-bnb-4bit
Entraînement
Fine-tuning: LoRA / QLoRA avec Unsloth + TRL
Taille train: 531
Taille eval: 89
Epochs: 2.0
Learning rate: 0.0001
Max sequence length: 1536
LoRA r: 16
LoRA alpha: 32
Effective batch size: 16
Données
Le notebook nettoie le dataset et entraîne le modèle sur une tâche:
entrée: section + topic
sortie: ### Exercice\n...
Utilisation
Le modèle attend un prompt strict de génération d'énoncé uniquement.
