INTISARI-CHAT-V5 adalah LLM (Large Language Model) Bahasa Indonesia berukuran kecil yang dilatih dari awal menggunakan causal language modeling / next-token prediction. Model ini dirancang untuk mempelajari pola bahasa, struktur kalimat, kosakata, dan text continuation dalam Bahasa Indonesia, dengan fokus tambahan pada pola percakapan casual.
Model ini merupakan eksperimen conversational language modeling berukuran kecil, bukan model knowledge-heavy dan bukan model yang dirancang untuk penalaran atau factual question answering.
* Parameter count pada metadata evaluasi tercatat 53.3M, sementara ukuran arsitektur/checkpoint aktual adalah sekitar 66.2M parameter. Angka 66.2M digunakan sebagai ukuran model aktual.
Model menggunakan arsitektur Transformer decoder dengan vocabulary yang relatif kecil dan context length 512 tokens.
Ukuran vocabulary dipilih untuk eksperimen Bahasa Indonesia dengan fokus pada pola percakapan, sehingga model dapat mempelajari token dan pola linguistik yang umum muncul dalam conversational text.
Training
Model dilatih dari scratch menggunakan Flatbuild pada 64,284 training samples selama 4 epoch.
Validation metrics menunjukkan penurunan loss yang konsisten pada setiap epoch.
Training Curves
Epoch
Val Loss
PPL
Accuracy
1
2.241
9.40
50.7%
2
1.403
4.07
69.4%
3
0.780
2.18
84.5%
4
0.462
1.59
91.9%
Training menunjukkan peningkatan yang cukup besar selama empat epoch. Perplexity turun dari 9.40 menjadi 1.59, sementara token-level accuracy meningkat dari 50.7% menjadi 91.9%.
Namun, seperti eksperimen INTISARI sebelumnya, token-level metrics tidak dapat digunakan sebagai satu-satunya indikator kualitas percakapan.
Evaluasi Generation
Model dievaluasi menggunakan 100 prompt dari berbagai kategori percakapan Bahasa Indonesia.
Evaluasi generation menunjukkan bahwa model sudah mampu menghasilkan respons pendek yang umumnya menyerupai percakapan casual Bahasa Indonesia.
Generation juga relatif pendek. Median generation adalah 12 tokens dan tidak ditemukan kasus generation mencapai batas maksimum 80 tokens.
Repetition Analysis
Repetition 2-gram dan 3-gram masih ditemukan, tetapi evaluasi tidak mendeteksi degeneration/looping berat pada 100 prompt yang diuji.
Observasi
Yang Sudah Berhasil
pola percakapan Bahasa Indonesia mulai terbentuk dengan jelas
respons terhadap greeting sudah dapat dikenali
pola tanya-jawab sederhana mulai muncul
model mampu menggunakan gaya informal seperti gue, lo, udah, nih, dan dong
respons umumnya pendek dan conversational
beberapa respons secara natural mengembalikan pertanyaan kepada user
pola sosial seperti ajakan, persetujuan, ketidaksetujuan, dan closing mulai terlihat
vocabulary diversity cukup baik untuk ukuran model
tidak ditemukan degeneration rate pada evaluasi 100 prompt
repetition masih relatif terkendali dibandingkan eksperimen sebelumnya
Yang Masih Menjadi Masalah
semantic consistency masih lemah
topic drift masih terjadi pada sekitar 25% prompt
respons kadang berpindah ke topik yang tidak berhubungan
beberapa respons menghasilkan kalimat malformed atau nonsensical
model masih sering menggabungkan pola dari contoh percakapan lain
persona/style belum konsisten antara aku, gue, dan saya
beberapa jawaban tidak benar-benar menjawab intent dari user
model belum memiliki kemampuan factual knowledge yang dapat diandalkan
long-range conversational coherence masih terbatas
Contoh Evaluasi
Greeting
Prompt
text
1<|user|>
2Halo
3<|assistant|>
Output
Haha, gue juga rasa lebih baik kita ngobrol santai!
Respons sudah mengenali konteks greeting dan menghasilkan ajakan ngobrol, walaupun formulasi kalimat masih belum sepenuhnya natural.
Simple Question
Prompt
text
1<|user|>
2Apa kabar?
3<|assistant|>
Output
Aku baik baik, terima kasih.
Ini merupakan contoh respons sederhana yang sesuai dengan intent prompt.
Food
Prompt
text
1<|user|>
2Udah makan?
3<|assistant|>
Output
Udah. Kamu?
Model dapat menghasilkan pola conversational response yang sangat pendek dan natural.
Weekend
Prompt
text
1<|user|>
2Weekend mau ngapain?
3<|assistant|>
Output
Gue mau ke pantai, mau berenang dan bermain pasir.
Model mampu menghasilkan continuation yang sesuai dengan konteks aktivitas weekend.
Hobby
Prompt
text
1<|user|>
2Gue suka main game
3<|assistant|>
Output
Gue juga suka main game, apa game yang kamu suka?
Model menunjukkan pola conversational yang baik dengan memberikan respons sekaligus mengembalikan pertanyaan.
Closing
Prompt
text
1<|user|>
2Nanti ngobrol lagi ya
3<|assistant|>
Output
Nanti aku siap ngobrol lebih lama
Model dapat mengenali pola closing dan memberikan respons yang relevan.
Contoh Failure Cases
Walaupun token-level accuracy mencapai 91.9%, generation masih memperlihatkan keterbatasan yang penting.
Topic Drift
Prompt
text
1<|user|>
2Gue dapet promosi
3<|assistant|>
Output
Gue juga pernah merasa sama, kalo gue denger kalo ga, gue langsung ke mall, apa yang gue lakukan untukkan?
Respons mempertahankan bentuk conversational, tetapi tidak mempertahankan konteks promosi secara baik.
Semantic Inconsistency
Prompt
text
1<|user|>
2Gue lagi sakit
3<|assistant|>
Output
Mungkin karena mereka tidak di latih
Model gagal memberikan continuation yang sesuai dengan konteks kesehatan.
Repetition / Malformed Text
Prompt
text
1<|user|>
2Beliin gue makan dong
3<|assistant|>
Output
Haha, gue juga suka makan sandwich! Gue suka makan sandwichhdhhon.
Pola kalimat masih conversational, tetapi muncul token/substring malformed pada akhir generation.
Off-topic Response
Prompt
text
1<|user|>
2Lo suka traveling?
3<|assistant|>
Output
Iya, gue suka banget main game strategi, apa yang paling kamu suka?
Respons masih berbentuk percakapan tetapi berpindah dari travel ke gaming.
Base Model dan Conversational Training
INTISARI-CHAT-V5 tetap merupakan model language modeling berukuran kecil yang belajar melalui objective causal language modeling / next-token prediction.
Berbeda dengan base model murni, dataset training V5 difokuskan pada pola percakapan sehingga model belajar distribusi bahasa yang lebih dekat dengan conversational text.
Tujuan eksperimen ini bukan untuk membangun chatbot yang memiliki pengetahuan luas, tetapi untuk menguji seberapa jauh model kecil dapat mempelajari:
pola dialog
turn-taking
respons pendek
informal Indonesian
vocabulary conversational
question-answer patterns
agreement/disagreement
emotional responses
social interaction
conversational closing
Karena itu, kemampuan knowledge retrieval, factual answering, reasoning, dan long-form generation tidak menjadi target utama model ini.
Keterbatasan
hanya sekitar 66.2M parameter
vocabulary relatif kecil: 4,106 tokens
context length hanya 512 tokens
training dataset berfokus pada percakapan dasar
factual knowledge sangat terbatas
topic drift masih terjadi
semantic consistency belum stabil
malformed text masih dapat muncul
style/persona belum sepenuhnya konsisten
belum dioptimalkan untuk reasoning
belum ditujukan untuk knowledge-intensive tasks
belum dapat dianggap sebagai chatbot production-ready
Apa yang Ditunjukkan Eksperimen Ini
Eksperimen INTISARI-CHAT-V5 mencoba menjawab pertanyaan:
Seberapa jauh model Bahasa Indonesia berukuran kecil dapat mempelajari pola percakapan hanya dari training data conversational yang relatif terbatas?
Hasil training menunjukkan peningkatan yang sangat besar:
validation loss mencapai 0.462
perplexity mencapai 1.59
token-level accuracy mencapai 91.9%
model menghasilkan respons conversational yang dapat dikenali
respons pendek dan pola turn-taking mulai terbentuk
repetition cukup terkendali
degeneration rate pada evaluasi 100 prompt adalah 0%
tetapi topic drift masih terjadi pada 25% prompt
semantic consistency masih menjadi keterbatasan utama
Hal yang penting dari eksperimen ini adalah bahwa akurasi token yang tinggi tidak otomatis berarti kualitas percakapan tinggi.
Model dapat sangat baik dalam memprediksi token berdasarkan distribusi training data, tetapi masih menghasilkan respons yang tidak menjawab intent, berpindah topik, atau membentuk kalimat yang tidak masuk akal.
1<|user|>
2Pesan user
3<|assistant|>
4Respons assistant
Dataset
Model dilatih menggunakan 64,284 training samples yang berfokus pada percakapan Bahasa Indonesia.
Dataset dirancang untuk mencakup pola percakapan dasar seperti:
greeting
small talk
food & drink
work
weekend
travel
hobbies
weather
emotions
opinions
questions
requests
agreement
disagreement
uncertainty
social interaction
family
health
time
closing
Fokus dataset bukan memberikan knowledge coverage yang luas, melainkan meningkatkan kemampuan model dalam mengenali dan melanjutkan pola percakapan sehari-hari.
Roadmap Eksperimen
Eksperimen berikutnya dapat difokuskan pada:
meningkatkan kualitas dan naturalness dataset
memperbanyak variasi conversational patterns
mengurangi semantic contradiction
meningkatkan topic adherence
menjaga konsistensi persona/style
memperbaiki response relevance
menguji multi-turn conversation
mengevaluasi hubungan antara ukuran model dan conversational quality
