LoRA adapter hasil Supervised Fine-Tuning (SFT) dari unsloth/Qwen3-8B, dilatih untuk berperan sebagai Promo Intelligence Agent: agent tool-calling multi-turn yang menghasilkan Pilot Experiment Decision berdasarkan data penjualan, partner produk, dan analisis kelayakan (BEP) suatu promo.

Dataset training mencakup 9 skenario dasar dengan ±100 contoh per skenario (total ±900 contoh sebelum split train/validation).

Detail Model

Base model: unsloth/Qwen3-8B
Metode fine-tuning: LoRA (via Unsloth + TRL SFTTrainer)
Chat template: ChatML gaya Qwen3 (qwen3-instruct), dengan <|im_end|> sebagai EOS token
Loss masking: hanya menghitung loss dari giliran assistant (train_on_responses_only), instruksi/user di-mask
Quantization saat training: 4-bit (load_in_4bit=True)
Bahasa: Indonesia (data & prompt sistem)
Lisensi: mengikuti lisensi base model, Apache 2.0 (sesuaikan bila berbeda)

Konfigurasi LoRA

Parameter	Nilai
`r`	64
`lora_alpha`	128
`lora_dropout`	0.0
`target_modules`	`q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj`
`use_rslora`	`True`
`bias`	`none`

Konfigurasi Training

Parameter	Nilai
`max_seq_length`	2048
`num_train_epochs`	3
`per_device_train_batch_size`	1
`gradient_accumulation_steps`	4 (effective batch = 4)
`learning_rate`	2e-4
`lr_scheduler_type`	cosine
`warmup_ratio`	0.03
`optimizer`	adamw_8bit
`precision`	bf16 (fallback fp16 bila GPU tidak mendukung bf16)
`seed`	3407
`eval/save strategy`	per-epoch, `load_best_model_at_end=True` (metric: `eval_loss`)

Training dijalankan di Kaggle Notebook (GPU T4/P100) menggunakan Unsloth, dengan tracking eksperimen via Weights & Biases (project: qwen3-8b-promo-agent-sft).

Dataset

Dataset custom promo_agent_dataset_v2.jsonl untuk Promo Intelligence Agent. Tiap baris JSONL berisi:

messages: percakapan ChatML (system / user / assistant dengan tool_calls, serta role tool)
tools: skema function-calling (search_sales_data, find_partner_products, calculate_bep, rank_regions)
meta: metadata skenario (tidak dipakai saat training, hanya untuk analisis)

9 skenario dasar, masing-masing berisi ±100 contoh: happy_path, clarification_path, fail_path_tool_error_retry, fail_path_cold_start, fail_path_infeasible, fail_path_tool_unavailable, refresh_path_revision, refresh_path_session_continuation, refusal_out_of_scope.

Catatan: skrip preprocessing di notebook training menghitung ukuran split train/validation secara otomatis (raw_datasets["train"] / raw_datasets["validation"]) — sesuaikan angka pastinya di sini kalau kamu tahu rasio split yang dipakai (mis. 90/10 dari total ±900 contoh).

Cara Penggunaan

python

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="Adicandra/Compfest_akumaukePengospasangsolarpanel",
    max_seq_length=2048,
    dtype=None,
    load_in_4bit=True,
)
FastLanguageModel.for_inference(model)

messages = [
    {"role": "system", "content": "Kamu adalah Promo Intelligence Agent..."},
    {"role": "user", "content": "Analisis kelayakan promo diskon 20% di region Jawa Timur."},
]

inputs = tokenizer.apply_chat_template(
    messages,
    tools=tools,          # skema tools jika dipakai
    add_generation_prompt=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Alternatif memuat lewat 🤗 transformers + peft:

python

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model = "unsloth/Qwen3-8B"
adapter_id = "Adicandra/Compfest_akumaukePengospasangsolarpanel"

tokenizer = AutoTokenizer.from_pretrained(adapter_id)
model = AutoModelForCausalLM.from_pretrained(base_model, device_map="auto")
model = PeftModel.from_pretrained(model, adapter_id)

Keterbatasan

Dataset masih berupa 9 skenario buatan (±100 contoh/skenario, ±900 total) → cakupan variasi kasus nyata di luar 9 pola ini belum tentu terwakili.
Model belum dievaluasi pada benchmark tool-calling standar; evaluasi sejauh ini hanya eval_loss pada validation set internal.
Ditujukan untuk domain spesifik (analisis promo/BEP berbahasa Indonesia dengan skema tools tertentu); performa di luar domain ini tidak terjamin.

Framework versions

Unsloth
Transformers 4.56.2
TRL 0.22.2
PEFT (LoRA)