Views
No views yet
1@inproceedings{belmadani-etal-2025-adaptation,
2 title = "Adaptation des connaissances m{\'e}dicales pour les grands mod{\`e}les de langue : Strat{\'e}gies et analyse comparative",
3 author = "Belmadani, Ikram and
4 Favre, Benoit and
5 Dufour, Richard and
6 B{\'e}chet, Fr{\'e}d{\'e}ric and
7 Ramisch, Carlos",
8 editor = "Bechet, Fr{\'e}d{\'e}ric and
9 Chifu, Adrian-Gabriel and
10 Pinel-sauvagnat, Karen and
11 Favre, Benoit and
12 Maes, Eliot and
13 Nurbakova, Diana",
14 booktitle = "Actes des 32{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : articles scientifiques originaux",
15 month = "6",
16 year = "2025",
17 address = "Marseille, France",
18 publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
19 url = "https://aclanthology.org/2025.jeptalnrecital-taln.3/",
20 pages = "50--72",
21 language = "fra",
22 abstract = "Cet article pr{\'e}sente une {\'e}tude sur l{'}adaptation des grands mod{\`e}les de langue (LLMs) {\`a} des domaines sp{\'e}cialis{\'e}s disposant de donn{\'e}es limit{\'e}es. Bien que certaines recherches remettent en question le pr{\'e}-entra{\^i}nement adaptatif (DAPT) dans le contexte m{\'e}dical en anglais, nous montrons que l{'}adaptation au domaine peut {\^e}tre efficace sous certaines conditions. En prenant comme exemple l{'}adaptation au domaine m{\'e}dical en fran{\c{c}}ais, nous comparons de mani{\`e}re syst{\'e}matique le pr{\'e}-entra{\^i}nement continu (CPT), l{'}affinage supervis{\'e} (SFT) et une approche combin{\'e}e (CPT suivi de SFT). Nos r{\'e}sultats indiquent que l{'}adaptation d{'}un mod{\`e}le g{\'e}n{\'e}raliste {\`a} de nouvelles donn{\'e}es dans le domaine m{\'e}dical offre des am{\'e}liorations notables (taux de r{\'e}ussite de 87{\%}), tandis que l{'}adaptation suppl{\'e}mentaire de mod{\`e}les d{\'e}j{\`a} familiaris{\'e}s avec ce domaine procure des b{\'e}n{\'e}fices limit{\'e}s. Bien que CPT+SFT offre les meilleures performances globales, SFT-seul pr{\'e}sente des r{\'e}sultats solides et requiert moins de ressources mat{\'e}rielles."
23}
24