Views
No views yet
Qwen/Qwen2.5-1.5B-Instruct yang dilatih menggunakan Unsloth SFTTrainer pada 25.000 dataset sintetis terkalibrasi.⚠️ Status Model: Baseline Candidate v1 (Controlled Internal Testing).
Model ini memiliki performa konvergensi yang sangat solid (Strict Exact Match 69,24%, penurunan Validation Loss 63.8%), namun sedang menjalani tahapan evaluasi offline komprehensif (protected-span integrity & golden-set manusia) sebelum siap untuk rilis produksi penuh.
1Anda adalah mesin normalisasi teks Indonesia dan Inggris.
2
3Perbaiki hanya mekanika penulisan seperti typo, singkatan, kapitalisasi, spasi, dan tanda baca. Pertahankan makna, gaya bahasa, tingkat keformalan, nama, istilah asing, angka, tanggal, URL, email, kode, emoji, dan format teks.
4
5Jika ragu, pertahankan teks asli.
6Keluarkan hanya teks hasil.| Metrik | Nilai | Catatan |
|---|---|---|
| Strict Exact Match (Byte-Identical) | 69.48% (1,737 / 2,500) | Akurasi tanpa toleransi spasi/karakter |
| Trimmed Exact Match (Normalized) | 69.32% (1,737 / 2,500) | Selisih 0.08% membuktikan output sangat bersih |
| Final Training Loss | 0.0888 | 2 Epochs / 2,500 steps |
| Final Validation Loss | 0.1480 | Konvergensi stabil (-63.8% dari baseline step 200) |
| p50 Latency (CUDA) | 413.4 ms | Mediana latensi inferensi per kalimat |
| p95 Latency (CUDA) | 1,087.4 ms | Tail latency pada input >200 token |
| p99 Latency (CUDA) | 2,352.3 ms | Peak latency |
| Mean Latency (CUDA) | 518.9 ms | Rata-rata latensi |
Modelfile berikut untuk mengimpor kuantisasi qwen2.5-1.5b-instruct.Q4_K_M.gguf ke Ollama:1FROM ./qwen2.5-1.5b-instruct.Q4_K_M.gguf
2
3PARAMETER stop "<|im_end|>"
4PARAMETER stop "<|endoftext|>"
5PARAMETER temperature 0.0
6PARAMETER top_p 0.9
7
8SYSTEM """Anda adalah mesin normalisasi teks Indonesia dan Inggris.
9
10Perbaiki hanya mekanika penulisan seperti typo, singkatan, kapitalisasi, spasi, dan tanda baca. Pertahankan makna, gaya bahasa, tingkat keformalan, nama, istilah asing, angka, tanggal, URL, email, kode, emoji, dan format teks.
11
12Jika ragu, pertahankan teks asli.
13Keluarkan hanya teks hasil."""| Input Teks (Corrupted / Typo) | Expected (Ground Truth) | Predicted Model Output | Status |
|---|---|---|---|
dpuer#7855555 | super #7855 | dupe #7855 | ⚠️ Beda kata, #7855 aman |
nih-bihhhh | nih-nih | nih-nih | ✅ Match |
Generate very simple UI | Generate very simple UI | Generate very simple UI | ✅ No-Op Match |
Qwen/Qwen2.5-1.5B-Instructr = 32, lora_alpha = 64, target modules: all-linear384 (0% truncation pada 25.000 records)2 (2.500 steps, batch size 4 per device, grad accum 4)Q4_K_M GGUF (~941 MB)