Ce modèle de classification de texte a été développé en fine-tuning le modèle pré-entraîné dbmdz/bert-base-french-europeana-cased. Les données d'entraînement de ce modèle affiné proviennent de l'ensemble de données communautaires OSDG (OSDG-CD) accessible au public à l'adresse https://zenodo.org/record/5550238#.ZBulfcJByF4. Ce modèle a été réalisé dans le cadre d'une recherche universitaire à l'Université Laval.
L'objectif était de créer un modèle de classification de texte SDG basé sur transformers en français.
Les principaux détails du modèle sont mis en évidence ci-dessous :

Model type: Text classification
Language(s) (NLP): French
License: mit
Finetuned from model : flaubert/flaubert_large_cased

Model Sources

Repository: https://huggingface.co/ilovebots/Flaubert_large_SDG_French

How to Get Started with the Model

Utilisez le code ci-dessous pour commencer à utiliser le modèle.

python

from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("ilovebots/Flaubert_large_SDG_French")
model = AutoModelForSequenceClassification.from_pretrained("ilovebots/Flaubert_large_SDG_French")

Training Data

La base disponible dans https://zenodo.org/record/5550238#.ZBulfcJByF4 a été enrichie des objectifs de développement durable des Nations Unies et traduite en en français.

Training Hyperparameters

Num_epoch = 4
Learning rate = 2e-5
Epsilon = 1e-8
Optimizer = AdamW
Batch size = 32
Seed random = 42

Evaluation

Metrics

Accuracy = 0.84

Citation

Martinez, D.F. (2023). SDG classification with BERT. https://huggingface.co/ilovebots/Flaubert_large_SDG_French