Model bahasa hasil fine-tuning dari Qwen2.5-1.5B-Instruct, dilatih khusus sebagai asisten pakar budaya Batik Nusantara. Model ini merupakan hasil merge antara base model dengan adapter LoRA yang dilatih menggunakan teknik QLoRA (4-bit quantization).

Model Description

Wastra.ai adalah model percakapan yang berperan sebagai pakar budaya batik Indonesia, dirancang untuk menjawab pertanyaan seputar:

Sejarah dan filosofi batik
Teknik dan proses pembuatan batik (mori, malam, pencelupan, dsb.)
Ragam motif batik dari berbagai daerah
Status UNESCO dan pelestarian batik sebagai warisan budaya

Model ini menjawab dengan gaya bahasa formal, informatif, edukatif, dan menolak secara elegan pertanyaan di luar topik batik.

Developed by: Muhammad Maftuh
Model type: Causal Language Model (fine-tuned, merged LoRA)
Language(s): Bahasa Indonesia
License: Apache 2.0 (mengikuti lisensi base model)
Finetuned from model: Qwen/Qwen2.5-1.5B-Instruct

Uses

Direct Use

Model ini dapat digunakan langsung sebagai chatbot edukatif untuk topik batik — cocok untuk aplikasi pembelajaran, chatbot museum digital, atau fitur tanya-jawab dalam aplikasi budaya seperti BatikLens.

Out-of-Scope Use

Model ini tidak dirancang untuk menjawab pertanyaan di luar topik batik dan budaya terkait. Untuk kebutuhan umum, gunakan model dasar Qwen2.5-1.5B-Instruct.

How to Get Started with the Model

python

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "maftuh-main/batik-qwen1.5b-merged"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

messages = [
    {"role": "system", "content": "Kamu adalah Wastra.ai, sebuah kecerdasan buatan yang berperan sebagai Pakar Budaya Batik Nusantara yang sangat berwibawa."},
    {"role": "user", "content": "Jelaskan filosofi motif Parang."}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
outputs = model.generate(inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Training Details

Training Data

Dataset percakapan sintetis dan kurasi seputar batik (maftuh-main/dataset-batik-trl-sft), mencakup topik sejarah, teknik pembuatan, filosofi motif, dan pengakuan UNESCO terhadap batik Indonesia.

Training Procedure

Base model: Qwen2.5-1.5B-Instruct
Metode: QLoRA (4-bit NF4 quantization) + LoRA adapter, kemudian di-merge ke base model
LoRA config: r=16, alpha=32, dropout=0.05, target modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
Training regime: bf16 mixed precision
Optimizer: paged_adamw_8bit
Learning rate: 1e-4, cosine scheduler, 100 warmup steps
Max sequence length: 512
Hardware: Kaggle Notebook — NVIDIA Tesla T4 x2

Limitations

Model dibatasi hanya untuk topik batik; performa di luar domain ini belum diuji.
Sebagai model 1.5B parameter, kapabilitas reasoning kompleks lebih terbatas dibanding model yang lebih besar.
Dataset training bersifat sintetis/terkurasi sehingga kualitas jawaban bergantung pada cakupan dataset.

Model Card Contact

Muhammad Maftuh — proyek BatikLens