Model ini merupakan adaptor LoRA hasil fine-tuning dari unsloth/Qwen2.5-3B-Instruct-bnb-4bit menggunakan Unsloth dan TRL. Model diselaraskan (aligned) khusus untuk bertindak sebagai asisten pendamping bagi individu neurodivergen, dengan fokus mitigasi pada gejala ADHD.

🧠 Profil Perilaku & Target Persona

Intervensi Utama: Dirancang untuk membantu pengguna mengelola Executive Dysfunction, Task Paralysis, dan Cognitive Overwhelm.
Karakteristik UX: Berfungsi sebagai bantalan emosi (Emotional Cushion). Model cenderung menggunakan pola kalimat universal psikologi suportif non-direktif untuk menenangkan pengguna.

📊 Audit Pelatihan & Eksperimen

Adaptor ini dilatih menggunakan Linear Learning Rate Scheduler sepanjang 800 global steps (~1.31 Epoch).

Dataset: 4.896 baris obrolan berbasis skema ChatML Bahasa Indonesia[cite: 1].
Konfigurasi Konteks: max_seq_length = 1024 token (Distribusi aktual puncak data berada di 719 token)[cite: 1].
Durasi Komputasi: 1 Jam 44 Menit pada GPU Nvidia T4[cite: 1].

Metrik Evaluasi Akhir

Final Training Loss: 1.208400[cite: 1]
Final Validation Loss: 1.385049 (Unggul tipis pada generalisasi akhir)[cite: 1]
Generalization Gap: 0.176649 (Sangat sehat di bawah ambang batas 0.20)[cite: 1]

⚙️ Hyperparameters

per_device_train_batch_size: 2[cite: 1]
gradient_accumulation_steps: 4 (Ukuran Batch Efektif = 8)[cite: 1]
learning_rate: 2e-4[cite: 1]
weight_decay: 0.01[cite: 1]
optim: adamw_8bit[cite: 1]
seed: 3407[cite: 1]

🚀 Cara Penggunaan Lokal (Inference unsloth)

python

from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "kareem2808/Qwen2.5-3B-ADHD-Linear",
    max_seq_length = 1024,
    load_in_4bit = True,
)
FastLanguageModel.for_inference(model)