CIMA-RoBERTa-NER-baseline

• Autor: Luis Miguel Guerrero Guirado
• Director: Salvador Ros Muñoz
• Curso académico: 2025/2026

Descripción del modelo

Modelo base

Carrino, C. P., Armengol-Estapé, J., Gutiérrez-Fandiño, A., Llop-Palao, J., Pàmies, M., Gonzalez-Agirre, A., & Villegas, M. (2021). Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario.

Rol como modelo baseline en el diseño experimental

Pipeline de entrenamiento

┌──────────────────────────┐     ┌──────────────────────────┐     ┌───────────────────────────┐
│  RoBERTa Biomedical (ES) │────▶│  Entrenamiento           │────▶│  CIMA-RoBERTa-NER-baseline│
│  Modelo biomédico        │     │  supervisado             │     │  Modelo final             │
│  español                 │     │  (Multi-tarea + NER)     │     │                           │
└──────────────────────────┘     └──────────────────────────┘     └───────────────────────────┘

Nota: No se realiza la Fase 1 (MLM) que sí se aplica en CIMA-BERTIN-4.8-NER y CIMA-RoBERTa-4.8-NER.

Entrenamiento supervisado — Multi-tarea + NER

Conjunto de datos supervisado

Augmentación de datos

1. "El principio activo {principio_activo} del medicamento {medicamento} causa {reaccion_adversa}"
2. "{reaccion_adversa} es una reacción adversa de {principio_activo}"
3. "Reacción adversa: {reaccion_adversa} con frecuencia {frecuencia} en el {sistema}"
4. "Efecto secundario de {principio_activo}: {reaccion_adversa}"
5. "Síntoma reportado: {reaccion_adversa}"
6. "El tratamiento con {principio_activo} puede producir {reaccion_adversa} en el {sistema} con una frecuencia de {frecuencia}."
7. "El medicamento {medicamento} con principio activo {principio_activo} puede causar {reaccion_adversa} de {frecuencia} en el {sistema}."

Arquitectura del clasificador multi-tarea

                    ┌──────────────────────────┐
                    │   Encoder RoBERTa        │
                    │   Biomédico (base)       │
                    └──────────┬───────────────┘
                               │
                         [CLS] pooled
                               │
                           Dropout
                               │
                 ┌─────────────┼─────────────┐
                 ▼             ▼             ▼
          ┌────────────┐┌────────────┐┌────────────┐
          │ Sistema    ││ Frecuencia ││ Reacción   │
          │ (26 cls)   ││ (6 cls)    ││ (1.242 cls)│
          └────────────┘└────────────┘└────────────┘

• Clasificador de sistema orgánico: Linear(hidden_size → 26 clases)
• Clasificador de frecuencia: Linear(hidden_size → 6 clases)
• Clasificador de reacción adversa: Linear(hidden_size → 1.242 clases)
• Dropout: config.hidden_dropout_prob
• Función de pérdida: suma ponderada de CrossEntropyLoss de las tres tareas
• Ponderación de clases: frecuencia inversa para manejar el desbalanceo entre clases

Hiperparámetros del entrenamiento multi-tarea

Hiperparámetros del entrenamiento NER

Infraestructura

Resultados de evaluación

• ent_type: Tipo de entidad correcto, independientemente de los límites exactos del span.
• exact: Coincidencia exacta del span de la entidad.
• partial: Coincidencia parcial del span de la entidad.
• strict: Tipo de entidad correcto y coincidencia exacta del span.

Precisión por tarea de clasificación (multi-tarea)

Métricas globales NER

Métricas por tipo de entidad (criterio ent_type)

Análisis de los resultados

• Mejor F1 global en ent_type (0.6935) de los tres modelos de embeddings del proyecto, con un buen equilibrio entre precisión (68,90%) y recall (69,80%).
• Excelente rendimiento en la detección de principios activos (F1: 0.8438) con alta precisión (78,16%) y alto recall (91,68%).
• Buena detección de reacciones adversas (F1: 0.7337) con recall del 93,23%.
• Alta precisión en la clasificación multi-tarea de frecuencia (95,98%) y sistema orgánico (96,04%) — las más altas de los tres modelos.
• Alta precisión en la detección de sistemas orgánicos a nivel NER (80,47%).

• La coincidencia exacta de spans es muy baja (F1 exact/strict: 0.0687), indicando dificultades para delimitar correctamente los límites exactos de las entidades.
• El recall de FREQ a nivel NER es prácticamente nulo (0,11%), aunque la clasificación multi-tarea funciona correctamente.
• El recall de SYS es moderado (54,43%), lo que indica que el modelo no detecta cerca de la mitad de los sistemas orgánicos presentes en el texto.
• Se observan 2.266 predicciones alucinadas (no presentes en la verdad de referencia).

Comparación con los otros modelos del proyecto

• El modelo baseline (sin MLM) obtiene el mejor F1 global y la mejor precisión de los tres modelos, lo que sugiere que el entrenamiento MLM adicional sobre la sección 4.8 no mejora el rendimiento NER en este caso concreto y puede incluso introducir ruido.
• El modelo BERTIN mantiene el recall más alto (90,87%), detectando más entidades pero con menor precisión.
• El baseline destaca en la detección de principios activos (F1: 0.8438), superando ampliamente a los otros dos modelos.

Limitaciones y consideraciones

• Dominio específico: El modelo está entrenado exclusivamente con fichas técnicas de medicamentos españoles provenientes de CIMA. Su rendimiento en otros dominios biomédicos, textos clínicos generales o variantes del español de otros países no ha sido evaluado.
• Delimitación de spans: La coincidencia exacta de los límites de las entidades es muy baja (F1 strict: 0.0687), lo que indica dificultades significativas para determinar dónde empieza y termina cada entidad.
• Frecuencias a nivel NER: La detección de frecuencias como tokens individuales es deficiente a pesar de que la clasificación multi-tarea funciona correctamente (95,98%).
• Idioma: El modelo está diseñado y entrenado exclusivamente para textos en español.

Uso

Estructura del modelo

CIMA-RoBERTa-NER-baseline/
├── multitask_model/                    # Clasificador multi-tarea (sistema, frecuencia, reacción)
├── ner_model/                          # Modelo NER (token classification, formato BIO)
├── system_label_encoder.pkl            # Codificador de etiquetas de sistemas orgánicos (26 clases)
├── frequency_label_encoder.pkl         # Codificador de etiquetas de frecuencia (6 clases)
├── adverse_reaction_label_encoder.pkl  # Codificador de etiquetas de reacciones adversas (1.242 clases)
├── ner_label_mapping.json              # Mapeo de IDs a etiquetas NER (BIO)
└── model_info.json                     # Metadatos del modelo y configuración de entrenamiento

Fuente de datos

• API REST de CIMA: https://cima.aemps.es/cima/rest/
• Sección utilizada: 4.8 — Reacciones adversas
• Listado de medicamentos: https://listadomedicamentos.aemps.gob.es/Medicamentos.xls

Framework y dependencias

Cita

Licencia