Modelo desenvolvido co OpenNMT-py 3.2 para o par español-galego, utilizando unha arquitectura transformer. Este modelo foi creado no ámbito dunha colaboración entre o Proxecto Nós (Universidade de Santiago de Compostela) e o CODA (Centre for Digital Culture and Innovation) da Faculdade de Letras na Universidade do Porto
Modelo desenvolvido com o OpenNMT-py 3.2 para o par espanhol-galego, utilizando uma arquitetura transformer. Este modelo foi criado no âmbito de uma colaboração entre o Projeto Nós (Universidade de Santiago de Compostela) e o CODA (Centre for Digital Culture and Innovation) da Faculdade de Letras na Universidade do Porto.
Como traducir con este Modelo / Como traduzir com este modelo
🔧 Requisitos e Instalación / Requisitos e Instalação
No adestramento, utilizamos córpora auténticos e sintéticos obtidos a partir do OPUS e do ProxectoNós para os pares lingüísticos relacionados co galego e o portugués.
No treino, utilizámos corpora autênticos e sintéticos obtidos a partir do OPUS e do ProjetoNós, para os pares linguísticos relacionados com o galego e o português.
Procedemento de adestramento / Procedimento de treino
⚙️ Preparación dos datos / Preparação dos dados
A tokenización dos datasets foi realizada co tokenizador (tokenizer.pl) do Linguakit, modificado para evitar a inserción de quebras de liña após cada token no ficheiro orixinal.
A tokenização dos datasets foi realizada com o tokenizador (tokenizer.pl) do Linguakit, modificado para evitar a inserção de quebras de linha após cada token no ficheiro original.
O vocabulario BPE utilizado nos modelos foi xerado co script learn_bpe.py da OpenNMT.
O vocabulário BPE utilizado nos modelos foi gerado com o script learn_bpe.py da OpenNMT.
🧪 Reproducir o adestramento / Reproduzir o treino
Para obter os mesmos resultados, deben ser executadas as seguintes instrucións:
Para obter os mesmos resultados, devem ser executadas as seguintes instruções:
Construír o vocabulario / Construir o vocabulário:
A avaliación BLEU dos modelos é realizada nos seguintes datasets: Flores, Floresdevtest, Ntrex.
A avaliação BLEU dos modelos é realizada nos seguintes datasets: Flores, Floresdevtest e Ntrex.
Flores_dev
Flores_devtes
Ntrex
19.6
19.3
21.9
Licenzas do Modelo
MIT License
Copyright (c) 2023 Proxecto Nós
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
Financiamento
This model was developed during a research stay at FLUP (Faculdade de Letras da Universidade do Porto) in May and June 2024, as part of the Nós Project, funded by the Ministerio para la Transformación Digital y de la Función Pública and co-financed by the European Union – NextGenerationEU, within the framework of the ILENIA Project (reference: 2022/TL22/00215336).
The stay at the University of Porto (CODA-FLUP) was supported by the IACOBUS Programme (2024), a Galician–Portuguese initiative that facilitates, among other activities, research exchanges between Galician scholars and universities or technological centers in Northern Portugal, and vice versa. The programme is managed by the AECT Galicia–North of Portugal.
