You can deploy this model and start earning money today!

aitf-komdigi/
KomdigiITS-3B-PAD-CPT

Name: KomdigiITS-3B-PAD-CPT
Availability: InStock

safetensors

mistral3

unsloth

continual-pre-training

perlindungan-anak-digital

komdigi

mistralai/Ministral-3-3B-Base-2512

finetune

apache-2.0

Views

No views yet

Ministral-3-3B-CPT-PAD1-V2 🇮🇩

Ini adalah model Ministral-3-3B-Base-2512 yang telah melalui tahap Continual Pre-Training (CPT) secara komprehensif pada domain Perlindungan Anak Digital (PAD) berbahasa Indonesia.

Model ini dikembangkan oleh Kelompok PAD 1 (AITF Komdigi) dan siap digunakan sebagai Base Model yang solid untuk tahapan selanjutnya (Supervised Fine-Tuning / SFT).

🚀 Perbaikan di Versi V2

Merged Weights: Model sudah digabungkan secara utuh (merged) dengan adapter CPT. Tidak perlu memanggil adapter terpisah saat SFT.
Processor Included: Konfigurasi Processor dan Tokenizer telah disertakan secara lengkap, mengatasi masalah missing config pada ekosistem Hugging Face.

📊 Metrik Evaluasi CPT

Hasil evaluasi menunjukkan peningkatan pemahaman domain yang sangat signifikan setelah proses CPT:

Domain PAD Perplexity (PPL): Turun drastis (membaik) dari 10.0116 menjadi 5.2230 (Peningkatan 47.83%).
Domain BPC: Turun dari 0.9531 menjadi 0.6839.

💻 Penggunaan

Model ini sudah berupa entitas utuh dan dapat langsung dipanggil menggunakan FastLanguageModel.from_pretrained (Unsloth) atau AutoModelForCausalLM (Hugging Face) oleh tim SFT.

python

from transformers import AutoModelForCausalLM, AutoTokenizer, AutoProcessor

model_id = "aitf-komdigi/Ministral-3-3B-CPT-PAD1-V2"

# Bisa langsung dipanggil tanpa adapter tambahan!
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)

aitf-komdigi/KomdigiITS-3B-PAD-CPT

Ministral-3-3B-CPT-PAD1-V2 🇮🇩

🚀 Perbaikan di Versi V2

📊 Metrik Evaluasi CPT

💻 Penggunaan

aitf-komdigi/
KomdigiITS-3B-PAD-CPT