BETO fine-tuned para NER de cáncer de próstata (español)

Name: beto-prostata-ner
Availability: InStock

Modelo de Reconocimiento de Entidades Nombradas (NER) que extrae información clínica de textos en español sobre cáncer de próstata. Es un fine-tuning de BETO (BERT entrenado desde cero en español) para clasificación de tokens en formato BIO con 21 etiquetas.

F1 en test: 0.976 (seqeval, micro) · Precision 0.973 · Recall 0.978 · Accuracy 0.995

🎯 Para qué sirve

Detecta y clasifica, palabra por palabra, 10 tipos de entidades clínicas en informes y notas médicas de oncología prostática:

Entidad	Qué captura	Ejemplo
`EDAD`	Edad del paciente	72 años
`CANCER`	Tipo/diagnóstico de cáncer	adenocarcinoma de próstata
`GLEASON`	Escala de Gleason	Gleason 3+3
`BIOMARCADOR`	Biomarcadores (PSA, etc.)	PSA de 9.9 ng/dL
`TNM`	Estadificación TNM	T2N0M0
`TRATAMIENTO`	Tratamientos	radioterapia
`MEDICAMENTO`	Fármacos	bicalutamida
`DOSIS`	Dosis	50 mg diarios
`CIRUGIA`	Procedimientos quirúrgicos	prostatectomía radical
`FECHA`	Fechas	marzo de 2023

Cada entidad se etiqueta en esquema BIO (B- inicio, I- continuación, O fuera), para 21 etiquetas en total.

🚀 Uso rápido

python

from transformers import pipeline

ner = pipeline("token-classification", model="ralzate/beto-prostata-ner",
               aggregation_strategy="simple")

texto = ("Paciente masculino de 72 años con adenocarcinoma de próstata, "
         "Gleason 3+3 y PSA de 9.9 ng/dL. Se inicia radioterapia y bicalutamida 50 mg.")

for e in ner(texto):
    print(f"{e['entity_group']:14s} {e['score']*100:5.1f}%  {e['word']}")

Salida esperada (entidades como EDAD, CANCER, GLEASON, BIOMARCADOR, TRATAMIENTO, MEDICAMENTO, DOSIS).

📊 Resultados (conjunto de test, seqeval)

Barrido de batch size con 6 épocas y early stopping:

batch size	Precision	Recall	F1
8 (recomendado)	0.9732	0.9781	0.9757
16	0.9627	0.9705	0.9666
32	0.9488	0.9603	0.9545

Este repositorio publica la mejor configuración (batch size 8). El F1 baja levemente al aumentar el lote porque, con 6 épocas, los lotes pequeños dan más pasos de optimización.

Comparación con XLM-RoBERTa

En el mismo dataset, BETO supera a XLM-RoBERTa-base (multilingüe) en todo el barrido (F1 0.955–0.976 vs 0.850–0.936). En NER clínico en español, un encoder nativo en español y compacto rinde mejor que un multilingüe más grande: la especialización lingüística pesa más que el tamaño.

🧠 Detalles de entrenamiento


Modelo base	`dccuchile/bert-base-spanish-wwm-cased` (BETO, ~110M parámetros)
Tarea	Token Classification (NER), 21 etiquetas BIO
Dominio	Texto clínico de cáncer de próstata en español
Épocas	6 (con early stopping, paciencia 2, métrica F1)
Learning rate	2e-5
Batch size	8 (este checkpoint)
Longitud máxima	128 subtokens
Optimizador	AdamW, weight decay 0.01, warmup 0.1
Métrica	seqeval (precision/recall/F1 a nivel de entidad)
Hardware	Apple M1 Pro (MPS), entrenamiento local
Alineación	etiqueta en el primer subtoken de cada palabra; resto a `-100`

⚠️ Limitaciones

Entrenado en un dominio específico (cáncer de próstata en español); fuera de ese dominio el rendimiento puede caer.
El conjunto de datos es de tamaño moderado; entidades poco frecuentes pueden tener menor recall.
No sustituye el criterio clínico profesional. Pensado como apoyo a la extracción de información, no para decisiones médicas autónomas.
Hereda los posibles sesgos de BETO y del corpus clínico de entrenamiento.

🏷️ Etiquetas

O
B-EDAD, I-EDAD, B-CANCER, I-CANCER, B-GLEASON, I-GLEASON,
B-BIOMARCADOR, I-BIOMARCADOR, B-TNM, I-TNM, B-TRATAMIENTO, I-TRATAMIENTO,
B-MEDICAMENTO, I-MEDICAMENTO, B-DOSIS, I-DOSIS, B-CIRUGIA, I-CIRUGIA, B-FECHA, I-FECHA

📚 Cita

Si usas este modelo, cita también a BETO:

bibtex

@inproceedings{canete2020beto,
  title={Spanish Pre-Trained BERT Model and Evaluation Data},
  author={Cañete, José and Chaperon, Gabriel and Fuentes, Rodrigo and Ho, Jou-Hui and Kang, Hojin and Pérez, Jorge},
  booktitle={PML4DC at ICLR 2020},
  year={2020}
}

Modelo afinado y publicado como parte de un proyecto de PLN en español (clasificación y NER con Transformers). Reproducible en hardware modesto (Apple Silicon) mediante fine-tuning completo para BETO y LoRA para modelos grandes.