Parameter	Nilai
Base Model	`meta-llama/Llama-3.2-1B-Instruct`
LoRA Rank	32
LoRA Dropout	0.1
Compression Rate	4
Epochs	5
Batch Size	1
Gradient Accumulation	4
Learning Rate	0.0001
Max Seq Len	1024
CE Weight	1.0
KL Weight	1.0
FP16	True

Cara Load Model

python

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B-Instruct")
tokenizer  = AutoTokenizer.from_pretrained("Gabriel2502/llama-3.2-1b-latent-sft-stage2")
model      = PeftModel.from_pretrained(base_model, "Gabriel2502/llama-3.2-1b-latent-sft-stage2")
model      = model.merge_and_unload()  # Opsional: merge LoRA ke base model

Deskripsi Metode

Model ini dilatih menggunakan pendekatan Latent Compression:

Jawaban (response) dikompresi menjadi latent token menggunakan rata-rata distribusi token
Model belajar memprediksi jawaban dari representasi latent yang terkompresi
Loss gabungan: CE Loss (pada token jawaban) + KL Loss (distilasi distribusi latent)