KLINEXA-EL1 (INDONESIAN BASE MODEL)

Overview

• Alignment komunikasi (multi-turn, natural response)
• Knowledge injection awal (domain kesehatan)

Training Summary

• Dataset: ~105K training samples
• Domain: komunikasi + kesehatan
• Training steps: 767 (early stop)
• Final loss: ~2.53
• Training strategy: stop pada fase sebelum overfitting

• Knowledge mulai terbentuk
• Komunikasi masih natural
• Belum terjadi template overfitting

Current Capabilities

• ✔ Menjawab pertanyaan kesehatan dasar (dalam bentuk sederhana)
• ✔ Memahami struktur pertanyaan → jawaban
• ✔ Menjaga percakapan tetap natural
• ✔ Menghindari halusinasi ekstrem

Observed Behavior (IMPORTANT)

• Cenderung memberikan jawaban aman dan umum
• Kadang menghasilkan respons terlalu generik
• Belum konsisten memberikan detail faktual spesifik

• Struktur benar ✔
• Konten masih lemah ❌

Limitations

• ❌ Belum memiliki knowledge medis yang dalam
• ❌ Cenderung fallback ke jawaban generik
• ❌ Belum cocok untuk use-case medis nyata
• ❌ Belum reliable untuk pertanyaan spesifik

Design Positioning

• ❌ Medical expert model
• ❌ Production-ready healthcare model

Foundation model dengan exposure awal ke domain kesehatan

Recommended Usage

base model untuk fine-tuning lanjutan

1. EL1 → Communication + shallow knowledge ✔
2. EL2 → Strong knowledge injection (dataset faktual)
3. EL3 → Refinement & specialization

Improvement Direction

• Tambahkan dataset faktual (definisi, gejala, penyebab)
• Kurangi pola jawaban generik ("tergantung kondisi", dll)
• Tingkatkan density informasi per sample

Architecture

• ~200M parameters
• 16 layers
• Hidden size 768
• GQA (12Q / 4KV)
• MoE (2 experts, top-1 routing)
• Context length: 512
• RoPE theta: 500000

Example Prompt Format

File Structure

• klinexa_el1_model.pt

License