Model ini mengklasifikasikan keluhan pasien (anamnesa) ke dalam 17 kategori penyakit/sindrom yang relevan untuk surveilans penyakit di Indonesia. Dilatih menggunakan teknik Focal Loss dengan regularisasi yang ditingkatkan dan symptom keyword injection.

Input

[Sinyal klinis jika terdeteksi] Usia: [X] tahun. Jenis kelamin: [L/P]. Bulan kunjungan: [bulan]. Anamnesa: [teks keluhan].

Catatan: Symptom flags ditempatkan di awal input agar tidak terpotong oleh truncation BERT.

Output

Label penyakit (1 dari 17 kelas)
Probabilitas per kelas (untuk diagnosis banding)

Cara Pakai

Python (Transformers)

python

import torch, json, re
from transformers import AutoTokenizer, AutoModelForSequenceClassification

MODEL_ID  = "gnafhan/indobert-ai4pep-gabungan-v2"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model     = AutoModelForSequenceClassification.from_pretrained(MODEL_ID)
model.eval()

with open("label_map.json") as f:
    label_map = json.load(f)

BULAN_ID = {1:"Januari",2:"Februari",3:"Maret",4:"April",5:"Mei",6:"Juni",
             7:"Juli",8:"Agustus",9:"September",10:"Oktober",11:"November",12:"Desember"}

def extract_symptom_flags(text):
    t = text.lower()
    flags = []
    d = []
    if any(k in t for k in ['nyeri belakang mata','nyeri retro','retroorbital']): d.append('nyeri retro-orbital')
    if any(k in t for k in ['petechiae','petekie','bintik merah','tourniquet']): d.append('petechiae/perdarahan kulit')
    if any(k in t for k in ['trombosit','platelet','at:','at =']): d.append('pemeriksaan trombosit')
    if any(k in t for k in ['mimisan','gusi berdarah','epistaksis']): d.append('perdarahan mukosa')
    if any(k in t for k in ['nyeri sendi','nyeri otot','myalgia','pegal-pegal']): d.append('nyeri sendi/otot')
    if d: flags.append(f'Sinyal dengue: {", ".join(d)}.')
    c = []
    if any(k in t for k in ['ruam','rash','bercak merah','makulopapul','eksantem']): c.append('ruam makulopapular')
    if any(k in t for k in ['koplik','bercak putih mulut']): c.append('koplik spots')
    if any(k in t for k in ['konjungtivitis','mata merah','conjunctivitis']): c.append('konjungtivitis')
    if any(k in t for k in ['belum imunisasi','tidak imunisasi','belum vaksin']): c.append('riwayat imunisasi tidak lengkap')
    if c: flags.append(f'Sinyal campak: {", ".join(c)}.')
    cv = []
    if any(k in t for k in ['anosmia','tidak bisa mencium','hilang penciuman','ageusia']): cv.append('anosmia/ageusia')
    if any(k in t for k in ['kontak covid','riwayat kontak','pcr positif','antigen positif','swab positif']): cv.append('kontak/konfirmasi covid')
    if any(k in t for k in ['saturasi','spo2','sesak nafas','sesak napas']): cv.append('gejala respirasi/saturasi')
    if cv: flags.append(f'Sinyal covid: {", ".join(cv)}.')
    return ' '.join(flags)

def prediksi(anamnesa, usia, jenis_kelamin, bulan, top_k=3):
    bulan_nama = BULAN_ID.get(bulan, str(bulan))
    flags = extract_symptom_flags(anamnesa)
    if flags:
        teks = f"{flags} Usia: {usia} tahun. Jenis kelamin: {jenis_kelamin}. Bulan kunjungan: {bulan_nama}. Anamnesa: {anamnesa}"
    else:
        teks = f"Usia: {usia} tahun. Jenis kelamin: {jenis_kelamin}. Bulan kunjungan: {bulan_nama}. Anamnesa: {anamnesa}"

    enc = tokenizer(teks, return_tensors="pt", max_length=192, truncation=True, padding="max_length")
    with torch.no_grad():
        probs = torch.softmax(model(**enc).logits, dim=-1)[0]

    top = torch.topk(probs, top_k)
    for idx, prob in zip(top.indices, top.values):
        print(f"  {label_map[str(idx.item())]}: {prob.item()*100:.1f}%")

prediksi("Demam 3 hari, nyeri kepala, nyeri belakang mata, mual", 25, "Laki-laki", 2)

Changelog

Versi	Perubahan
V1	Baseline fine-tuning IndoBERT
V2	Pembersihan teks SOAP dari data eksternal
V3	Fix data leakage, regularisasi ditingkatkan, symptom keyword injection

Perbaikan di V3

Fix Data Leakage: Deduplikasi teks Anamnesa lintas split — 19 kasus bocor dihapus dari Val/Test, metrik evaluasi lebih jujur
Regularisasi lebih kuat: weight_decay 0.01→0.05, hidden_dropout 0.1→0.2, classifier_dropout 0.1→0.2 → overfitting gap turun dari 17pp → 7pp
Symptom Keyword Injection: Deteksi otomatis sinyal klinis diskriminatif (Dengue, Campak, COVID-19) dan ditempatkan di awal input
MAX_LEN: 256→192 (lebih efisien, 75% anamnesa < 250 char)

Dataset Training

Sumber	Jumlah Baris	Jumlah Kelas
Rawat Jalan	1.326	14
Rawat Inap	264	9
Data Eksternal (SOAP-cleaned)	1.857	14
Total Gabungan	3.447	17

Split setelah deduplication: ~2.421 Train / ~493 Val / ~496 Test
Strategi: Stratified; kelas dengan n<7 masuk Train only; teks duplikat lintas split dihapus dari Val/Test.

Prosedur Training

Parameter	Nilai
Base model	`indolem/indobert-base-uncased`
MAX_LEN	192
Batch size	16
Learning rate	2e-5
LR scheduler	Cosine
Warmup ratio	0.1
Weight decay	0.05
hidden_dropout	0.2
classifier_dropout	0.2
Max epochs	10 (early stopping patience=3)
Loss function	Focal Loss (γ=2.0)
Class weights	√(inverse frequency), mean=1.0
Metric utama	Macro F1
Hardware	Kaggle GPU T4 16GB
Mixed precision	fp16

Hasil Evaluasi (Test Set V3 — 496 baris, clean)

Metrik	Nilai
Accuracy	0.78
Weighted F1	0.781
Macro F1 (13 kelas hadir di test)	0.570
Overfitting gap (Train-Test)	7.2pp ↓ dari 17.4pp
High-confidence errors (conf>80%)	8 ↓ dari 18

Per Kelas:

Kelas	Precision	Recall	F1	Support
Acute Flaccid Paralysis	0.62	0.62	0.62	16
COVID-19 Konfirmasi	0.90	0.83	0.86	167
Diare Akut	0.65	0.93	0.76	14
Diare Berdarah	0.00	0.00	0.00	2
GHPR	1.00	1.00	1.00	1
ISPA	0.86	0.91	0.88	148
Pneumonia	0.50	0.25	0.33	4
Sindrom Jaundice Akut	0.62	0.68	0.65	19
Suspek Campak	0.49	0.50	0.49	40
Suspek Dengue	0.70	0.68	0.69	69
Suspek HFMD	0.67	0.91	0.77	11
Suspek Leptospirosis	0.00	0.00	0.00	2
Suspek Tetanus	0.33	0.33	0.33	3

ℹ️ 4 kelas tidak muncul di test set karena terlalu langka (total data <7): ILI, Malaria Konfirmasi, Suspek Demam Tifoid, Suspek Meningitis/Ensefalitis.

Label Classes

Index	Kelas
0	Acute Flaccid Paralysis
1	COVID-19 Konfirmasi
2	Diare Akut
3	Diare Berdarah
4	GHPR
5	ILI
6	ISPA
7	Malaria Konfirmasi
8	Pneumonia
9	Sindrom Jaundice Akut
10	Suspek Campak
11	Suspek Demam Tifoid
12	Suspek Dengue
13	Suspek HFMD
14	Suspek Leptospirosis
15	Suspek Meningitis/Ensefalitis
16	Suspek Tetanus

Keterbatasan

⚠️ Model ini adalah alat bantu pendukung keputusan klinis, BUKAN pengganti diagnosis dokter.

Pneumonia vs ISPA: F1 Pneumonia masih rendah (0.33) karena gejala klinis sangat mirip dan data Pneumonia terbatas (33 baris total)
Suspek Campak vs Suspek Dengue: Masih terdapat kebingungan — secara klinis keduanya membutuhkan konfirmasi laboratorium
Kelas ultra-langka (ILI, Malaria, Tifoid, Meningitis): <7 sampel total, model tidak dapat belajar optimal
Input harus dalam Bahasa Indonesia
Input berupa teks anamnesa klinis, bukan hasil laboratorium

Cara Sitasi

@misc{indobert-klasifikasi-penyakit,
  title   = {IndoBERT Fine-tuned untuk Klasifikasi Penyakit dari Teks Anamnesa (V3)},
  author  = {gnafhan},
  year    = {2025},
  url     = {https://huggingface.co/gnafhan/indobert-ai4pep-gabungan-v2}
}

Dilatih menggunakan Kaggle dengan GPU T4.