VeilleAnalytics — Classifieur thématique zero-shot + fine-tuné

• Zero-shot multilingue (MoritzLaurer/mDeBERTa-v3-base-mnli-xnli), composant ML du projet veille-analytics (Étape 13). Le contenu étant en français, on utilise un modèle multilingue avec des hypothèses NLI descriptives en français plutôt que le modèle anglophone initialement prévu.
• Fine-tuné local (camembert-base, Étape 17) — entraîné sur les labels faibles Mistral pour tenter de rattraper l'écart avec la baseline LLM. Voir section dédiée plus bas.

Fichiers

• classifier.py — cœur partagé zero-shot (thèmes, hypothèses FR, pipeline zero-shot, classify()).
• app.py — UI Gradio + API auto-exposée (point d'entrée du Space).
• evaluate.py — évaluation locale (zero-shot vs Mistral, + fine-tuné via --model-dir).
• train.py — fine-tuning multi-label de camembert-base (Étape 17).
• finetuned.py — pendant de classifier.py pour le modèle fine-tuné (classify_finetuned()).
• model-finetuned/ — poids du modèle fine-tuné (généré par train.py, gitignoré).
• eval_results.json — artefact produit par evaluate.py : métriques micro/macro par système (zero-shot, fine-tuné, Mistral) et par thème, réutilisé tel quel dans le M3.2.
• train_results.json — artefact produit par train.py : courbe de validation par epoch et best.threshold, relu ensuite par evaluate.py pour le report « au seuil de validation ».
• requirements.txt — dépendances (torch CPU). Inchangé par l'Étape 17 : la boucle d'entraînement est écrite en PyTorch pur (pas de Trainer HF), pour éviter la dépendance accelerate et les changements d'API transformers v5.
• ruff.toml — configuration du lint Python (qualité de code, C19), voir ci-dessous.

Versionnement. Ce dépôt n'a pas de remote GitHub : il vit sur le Space Hugging Face (hf, déploiement différé — cf. Hébergement) et est versionné localement. La qualité de code n'est donc pas portée par une action CI + SonarCloud comme sur veille-analytics, mais par ruff en local.

Développement local

Évaluation (100 articles annotés à la main — Étape 12)

Fine-tuning CamemBERT — Étape 17

Méthode

• Modèle : camembert-base, tête de classification multi-label (BCEWithLogitsLoss), boucle d'entraînement PyTorch manuelle — pas de Trainer Hugging Face, pour éviter la dépendance accelerate et les changements d'API transformers v5. Aucune dépendance ajoutée : requirements.txt est inchangé par cette étape.
• Données : 529 articles exportés de D1. Après exclusion des 100 articles annotés à la main (le test set — les mêmes textes au train constitueraient une fuite) et des articles sans thème themes_mistral canonique, il reste 426 candidats, séparés en train 383 / val 43 (seed 42, VAL_FRACTION = 0.10).
• Hyperparamètres : LR 2e-5, batch 16, longueur max 256 tokens, AdamW (weight decay 0,01), warmup linéaire 10 %, jusqu'à 10 epochs avec early stopping (patience 2) sur le micro-F1 val — balayé sur les seuils 0,3 à 0,7 via le même prf() que evaluate.py.
• Coût : ~25 min sur CPU (WSL2, 4 cœurs). Modèle sauvé dans model-finetuned/ (~445 Mo, gitignoré — reproductible via le seed 42 ; un push vers le Hub HF est possible mais pas requis pour ce projet).

Courbe d'entraînement (train_results.json)

Résultats sur la vérité terrain (100 articles annotés — eval_results.json)

Bilan honnête

• Le fine-tuning bat nettement le zero-shot (+0,105 de micro-F1 au meilleur seuil, +0,034 au seuil validation) et dépasse même Mistral sur 2 thèmes — Développement (0,702 vs 0,615) et DevOps/Infrastructure (0,650 vs 0,610) — avec une précision micro bien meilleure (0,742 vs 0,567 pour Mistral).
• Mais il reste sous Mistral en global (0,630 vs 0,667) et s'effondre sur les deux thèmes les plus rares, Pratiques/Qualité et Productivité/Outils : F1 à 0,000 au seuil 0,5 (le modèle ne dépasse presque jamais 0,5 sur ces thèmes ; au seuil 0,4 ils réapparaissent partiellement). Deux causes probables : seulement ~30-40 exemples positifs par classe rare dans le train, et des labels d'entraînement bruités par Mistral (qui plafonne la qualité atteignable).
• Leviers documentés mais non testés : pos_weight par thème dans la BCE pour compenser le déséquilibre, plus de données, seuils par thème plutôt qu'un seuil global.
• Enseignement (M3.2) : avec ~400 exemples faiblement labellisés, un petit modèle local fine-tuné se hisse près du LLM qui l'a supervisé — mais la vérité terrain manuelle reste indispensable pour le voir. Le micro-F1 val donnait 0,685 (contre Mistral comme juge), la vérité terrain humaine ramène ça à 0,559-0,630 selon le seuil.

Hébergement