Adaptateur LoRA (PEFT) pour Mistral-7B-Instruct-v0.3, entraîné pour jouer le rôle d’un professeur d’anglais bienveillant : répondre naturellement à l’élève et corriger si nécessaire.

Ce dépôt ne contient que les poids LoRA (~26 Mo). Le modèle de base Mistral doit être téléchargé séparément (accès soumis à conditions sur Hugging Face).

Dépôt Hub : NS78/learnlang-lora-adapter
Projet : LearnLang-AI (notebook learnlang-ai.ipynb)

Model Details

Model Description

Fine-tuning supervisé (SFT) avec QLoRA (base en 4-bit + adaptateur LoRA entraînable) sur des dialogues multi-tours en anglais. Chaque exemple formate un tour élève / réponse professeur au format instruction Mistral [INST]…[/INST].

Developed by: DJALAAL Hakim & EL KHIAT Anas
Model type: LoRA adapter (peft_type: LORA, task_type: CAUSAL_LM)
Language(s): English (dialogues); instructions du prompt en français
License: Soumis à la licence Mistral pour la base ; cet adaptateur publié dans le cadre du projet LearnLang-AI (usage académique / recherche).
Finetuned from: mistralai/Mistral-7B-Instruct-v0.3

Model Sources

Repository: https://github.com/NS78/LearnLang-AI
Training notebook: learnlang-ai.ipynb

Uses

Direct Use

Génération de réponses textuelles dans un chat « professeur d’anglais », en complément d’une chaîne vocale (ASR + TTS) du projet LearnLang-AI.

Downstream Use

Intégration dans un backend (FastAPI, etc.) : l’utilisateur parle → ASR → ce LLM → TTS → audio de réponse.

Out-of-Scope Use

Remplacement d’un enseignant humain ou conseil pédagogique certifié
Langues autres que l’anglais (non entraîné pour)
Contenus médicaux, juridiques ou sensibles sans supervision
Usage sans respect de la licence Mistral

Bias, Risks, and Limitations

Entraînement sur un sous-ensemble de DailyDialog (~969 exemples après filtrage) : couverture limitée, risque de réponses génériques ou hors-sujet.
Pas d’évaluation quantitative (BLEU, score humain) sur un jeu de test dédié.
Le modèle de base peut reproduire biais présents dans Mistral et le corpus.
Prototype : max_steps=300 — qualité perfectible avec plus de données et d’epochs.

Recommendations

Vérifier les réponses avant usage en production. Combiner avec garde-fous (modération, limite de longueur). Ne pas exposer de données personnelles dans les prompts.

How to Get Started with the Model

Prérequis

Compte Hugging Face avec accès accepté à mistralai/Mistral-7B-Instruct-v0.3
pip install transformers peft accelerate torch

Chargement (GPU recommandé)

python

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

BASE = "mistralai/Mistral-7B-Instruct-v0.3"
ADAPTER = "NS78/learnlang-lora-adapter"  # ou chemin local models/learnlang_lora_adapter
HF_TOKEN = True  # ou votre token hf_...

tokenizer = AutoTokenizer.from_pretrained(BASE, token=HF_TOKEN)
tokenizer.pad_token = tokenizer.eos_token

base_model = AutoModelForCausalLM.from_pretrained(
    BASE,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    token=HF_TOKEN,
)
model = PeftModel.from_pretrained(base_model, ADAPTER)

user_message = "Hello! I want to practice ordering food at a restaurant."
prompt = f"""<s>[INST] Tu es un professeur d'anglais bienveillant.
L'élève te dit ceci : "{user_message}".
Réponds de manière naturelle pour continuer la conversation, et corrige-le si besoin. [/INST]"""

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=200, do_sample=True, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Télécharger l’adaptateur en local

hf download NS78/learnlang-lora-adapter --local-dir models/learnlang_lora_adapter

Training Details

Training Data

Dataset : DailyDialog (multi-turn) via kagglehub
Échantillon : 5 000 lignes chargées → 969 exemples après filtrage (dialogues avec au moins 2 répliques)
Format : paires (réplique élève, réponse professeur) → prompt Mistral instruct

Training Procedure

Preprocessing

Extraction des répliques depuis la colonne dialog, construction du champ text au format <s>[INST]…[/INST] réponse</s>.

Training Hyperparameters

Paramètre	Valeur
Base model	`mistralai/Mistral-7B-Instruct-v0.3` (4-bit NF4, double quant)
Méthode	QLoRA + SFT (`trl.SFTTrainer`)
LoRA rank `r`	16
LoRA alpha	32
LoRA dropout	0.05
Target modules	`q_proj`, `k_proj`, `v_proj`, `o_proj`
Learning rate	2e-4
Max steps	300
Batch size (device)	4
Gradient accumulation	4
Optimizer	`paged_adamw_32bit`
Scheduler	cosine
Warmup steps	10
Max sequence length	512
Training regime	Entraînement base quantifiée 4-bit, adaptateur LoRA en float

Speeds, Sizes, Times

Taille adaptateur : ~26 Mo (adapter_model.safetensors)
Loss finale (train) : ~0.82 (300 steps)
Durée indicative : ~3 h sur GPU T4 (Kaggle)

Evaluation

Aucune évaluation formelle sur jeu de test hold-out. Validation manuelle qualitative pendant le développement du projet LearnLang-AI.

Metrics

Non calculées (perplexité / win-rate / score humain à prévoir pour une V2).

Technical Specifications

Model Architecture and Objective

LoRA injecté dans les projections d’attention du décodeur Mistral ; objectif language modeling causal sur séquences instruction-réponse (SFT).

Compute Infrastructure

Hardware

Entraînement : NVIDIA T4 (Kaggle Notebooks)

Software

Python 3.12 (Kaggle)
transformers, peft 0.18.1, trl, bitsandbytes, datasets, accelerate

Framework versions

PEFT 0.18.1

Environmental Impact

Estimation indicative (entraînement unique, ~3 h GPU T4) : utiliser le ML Impact calculator pour affiner.

Hardware Type: NVIDIA T4
Hours used: ~3
Cloud Provider: Kaggle

Citation

APA (projet) :

DJALAAL, H., & EL KHIAT, A. (2026). LearnLang-AI: assistant vocal pour l’apprentissage de l’anglais [Projet Master, Deep Learning avancé].

BibTeX (adaptateur) :

bibtex

@misc{learnlang_lora_2026,
  author = {DJALAAL, Hakim and EL KHIAT, Anas},
  title = {LearnLang LoRA Adapter for English Teaching},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/NS78/learnlang-lora-adapter}}
}

Model Card Authors

DJALAAL Hakim & EL KHIAT Anas

Model Card Contact

Via le dépôt GitHub LearnLang-AI (issues) ou profil Hugging Face NS78.