werukadev/kfm-nano-id
Model bahasa yang dibangun dari nol — tokenizer BPE, RoPE, GQA,
KV cache, AdamW, dan sampling semuanya ditulis tangan tanpa
transformers, tokenizers, atau safetensors sebagai dependensi.
Skalanya, dinyatakan apa adanya
| |
|---|
| parameter | 6,450,432 |
| lapisan | 6 |
| d_model | 256 |
| kosakata | 4,096 |
| panjang konteks | 256 |
| korpus latih | 64,533 kata |
| loss tahan | 5.309 (perplexity ~202) |
64,533 kata itu sekitar sepersejuta data model bahasa
sungguhan. Yang dihasilkannya: bentuk kata dan tata kalimat Indonesia
yang dikenali, dengan kosakata teknis korpusnya.
Yang TIDAK dilakukannya: menjawab pertanyaan, mengingat fakta, atau
menalar. Model ini penerus teks, bukan penjawab — ia tidak pernah
melihat satu pun pasangan tanya-jawab, dan tidak ada SFT sama sekali.
Prompt berupa pertanyaan akan dilanjutkan, bukan dijawab.
Gunakan ini untuk memeriksa rantai implementasinya, bukan untuk tugas
sungguhan.
Cara memuat
1from transformers import AutoModelForCausalLM
2
3model = AutoModelForCausalLM.from_pretrained(
4 "werukadev/kfm-nano-id", trust_remote_code=True
5)
trust_remote_code=True wajib, dan artinya pemuat akan
menjalankan modeling_kfm.py dari repo ini. Arsitekturnya tidak ada
di transformers, jadi tidak ada jalan lain — dan itu memindahkan
kembali sebagian risiko yang dihindari safetensors. Bacalah kodenya.
Batas yang diketahui
- Tidak ada instruction tuning; format chat tidak akan dipatuhi.
- Korpusnya sempit (dokumentasi teknis satu proyek), jadi kosakatanya
condong ke istilah rekayasa perangkat lunak.
- Panjang konteks 256 token.
- Belum diuji untuk keamanan, bias, maupun kelayakan produksi.
