Views
No views yet
simpletransformers et un modèle pré-entraîné MarianMT. Le modèle a été entraîné sur un ensemble de données bilingues français-Fon et sauvegardé sous forme de fichier .pkl pour une utilisation facile.Helsinki-NLP/opus-mt-en-mul) pour traduire des phrases du français vers le Fon, une langue parlée au Bénin et dans certaines régions voisines. Le modèle a été affiné sur un jeu de données spécifique et sauvegardé dans un fichier .pkl pour une réutilisation simplifiée.pip :simpletransformerstorchpandasscikit-learnsacremosesfsspec1git clone https://huggingface.co/byteinnovit/text-to-text-french-to-fongbe-translator
2cd text-to-text-french-to-fongbe-translatorpip install -r requirements.txtrequirements.txt, exécutez manuellement :pip install simpletransformers torch pandas scikit-learn sacremoses fsspec1from google.colab import drive
2drive.mount('/content/drive')french-to-fongbe-translation/
│
├── train_model.py # Script pour entraîner et sauvegarder le modèle
├── predict.py # Script pour effectuer des prédictions
├── French_to_fongbe.csv # Jeu de données bilingues (non inclus ici)
├── model_fon_cuda_30_epochs.pkl # Modèle entraîné sauvegardé
├── README.md # Ce fichier
└── requirements.txt # Liste des dépendances (optionnel)train_model.py : Contient le code pour charger les données, préparer le modèle, l'entraîner et le sauvegarder sous forme de fichier .pkl.predict.py : Permet de charger le modèle entraîné et de traduire une phrase du français vers le Fon.French_to_fongbe.csv : Fichier CSV contenant les paires de phrases français-Fon utilisées pour l'entraînement (non inclus dans ce dépôt, à fournir par l'utilisateur).model_fon_cuda_30_epochs.pkl : Modèle pré-entraîné sauvegardé après 30 époques sur GPU.French_to_fongbe.csv est dans le répertoire du projet avec les colonnes French et Fon.python train_model.pymodel_fon_cuda_30_epochs.pkl.use_cuda=True).model_fon_cuda_30_epochs.pkl est dans le répertoire.python predict.py "Votre phrase en français"python predict.py "À quelle heure pars-tu ?""Gan nabi mε yi a ɖe ?"French_to_fongbe.csv) contenant des paires de phrases en français et en Fon. Voici un extrait du format attendu :Fon,French
Ɖo gan tantɔn kpo cεju afɔton.,A 8 heures moins le quart
"Nu akwε enε ɔ, un nyi xixɔtɔ a.","A ce prix-là je ne suis pas acheteur"
...train_model.py peut nettoyer les données (minuscules, suppression des apostrophes et ponctuations) si la variable Clean est définie à True.