You can deploy this model and start earning money today!

daruokta/
t5gemma-2-4b-4b-instruct-chat-indo-v4-vision-enhanced

Name: t5gemma-2-4b-4b-instruct-chat-indo-v4-vision-enhanced
Availability: InStock

Views

No views yet

T5Gemma-2-4B-4B Vision Enhanced (Indonesian Multimodal Instruction-Tuned Model)

T5Gemma-2-4B-4B Vision Enhanced adalah model multimodal (Vision-Language / Image-to-Text) berarsitektur Encoder-Decoder (Seq2Seq) yang dirancang khusus untuk memahami dan merespons instruksi berbasis gambar dan teks dalam Bahasa Indonesia.

Model ini dikembangkan dengan memisahkan dan memverifikasi komponen Vision Tower SigLIP 400M yang dicangkokkan ke backbone T5Gemma-2-4B, kemudian dilatih secara bertahap menggunakan metode SFT (Supervised Fine-Tuning) dan ORPO (Odds Ratio Preference Optimization) melalui kerangka kerja Unsloth.

🌟 Highlight Utama & Solusi Bebas Catastrophic Forgetting

🛡️ Pencegahan Catastrophic Forgetting (Interleaved Text Retention):
- Mengintegrasikan 100 percakapan utuh retensi teks murni (multiturn intact) dari repo daruokta/t5gemma2-indonesia-chat-formatted (chat_sft & indoqa_sft).
- Berhasil memecahkan masalah degradasi teks murni (Exact Match melonjak dari 0.00% pada eksperimen lama ➔ 33.33% pada eksperimen Enhanced ini).
🎛️ Split Learning Rates Terpisah (Split LR):
- Decoder (LoRA): 1e-6 (LEARNING_RATE * 0.2) untuk menjaga representasi bahasa yang matang.
- Multi-Modal Projector (Full-FT): 2.5e-7 (LEARNING_RATE * 0.05) untuk jembatan pemetaan visual yang halus.
- Vision Tower (SigLIP): 0.0 (Frozen).
🔒 Stabilitas Gradiensi Ketat (max_grad_norm = 5.0 & WEIGHT_DECAY = 0.1):
- Menahan lonjakan grad norm ekstrem (sebelumnya sempat meledak ke 121.08) sehingga pelatihan berlangsung sangat stabil.
🎯 Penyesuaian Preferensi Multimodal dengan ORPO:
- Dilatih pada dataset preferensi bergambar untuk mempertajam kemampuan visual (chosen vs rejected) tanpa mengorbankan kualitas bahasa Indonesia.

📊 Hasil Evaluasi & Dashboard Grafik Komparasi Lengkap

Perbandingan SFT & ORPO (Old vs Enhanced)

Kategori Tahap	Metrik Evaluasi	Eksperimen Lama (`v4-vision`)	Eksperimen Baru (`v4-vision-enhanced`)	Status Perbaikan
SFT Teks	Text-Only Validation Loss	`3.3538` 🔴 (Exploded)	`2.4578` 🟢	✅ Loss Teks Turun -26.7%
SFT Teks	Text-Only Perplexity	`28.61` 🔴 (Membengkak)	`11.68` 🟢	✅ Perplexity Membaik -59.2%
SFT Teks	Text-Only ROUGE-1	`27.20%` 🔴 (Drop)	`60.09%` 🟢	✅ ROUGE-1 Naik +120.9%
SFT Teks	Text-Only Exact Match	`0.00%` 🔴 (Lupa)	🔥 `33.33%` 🟢	🎉 Forgetting 100% Teratasi
SFT Vision	Multimodal Loss (Gambar)	`2.9072`	`2.8800` 🟢	✅ Loss Visual Terjaga & Menurun
SFT Vision	Multimodal ROUGE-1	`37.65%`	`42.83%` 🟢	✅ Skor Visual Naik ke Puncak
ORPO Teks	Text-Only Validation Loss	-	🔥 `0.8591` 🟢	🎉 Loss Teks Terendah Rekor Baru
ORPO Teks	Text-Only Perplexity	-	🔥 `2.36` 🟢	🎉 PPL Terendah Rekor Baru
ORPO Teks	Text-Only ROUGE-1	-	🔥 `61.65%` 🟢	🎉 ROUGE-1 Puncak
ORPO Vision	Multimodal Loss (Gambar)	`1.5314`	`1.6151` 🟢	✅ Preference Alignment Presisi

📚 Dataset Yang Digunakan

Multimodal Vision Dataset (SFT & ORPO):
- Repo: daruokta/t5gemma2-indonesia-vision-formatted
- Berisi dataset pasangan Gambar + Teks instruksi Bahasa Indonesia (SFT) dan sampel preferensi multimodal (chosen vs rejected).
Text Retention Dataset (Interleaved SFT):
- Repo: daruokta/t5gemma2-indonesia-chat-formatted
- Config: chat_sft (100 percakapan utuh multiturn) & indoqa_sft (100 sampel single-turn).

📋 Cara Penggunaan (Inference Multimodal)

python

import torch
from PIL import Image
from transformers import AutoProcessor
from unsloth import FastVisionModel

model_id = "daruokta/t5gemma-2-4b-4b-instruct-chat-indo-v4-vision-enhanced"

# Load model dan processor
model, tokenizer = FastVisionModel.from_pretrained(
    model_name=model_id,
    load_in_4bit=True,
    device_map="auto"
)
FastVisionModel.for_inference(model)

processor = AutoProcessor.from_pretrained(model_id)

# Buka gambar contoh
image = Image.open("contoh_gambar.jpg").convert("RGB")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": image},
            {"type": "text", "text": "Jelaskan isi gambar ini secara rinci dalam Bahasa Indonesia."}
        ]
    }
]

prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt, images=image, return_tensors="pt").to("cuda")

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    use_cache=True,
    temperature=0.7,
    min_p=0.1
)

response = processor.batch_decode(outputs, skip_special_tokens=True)
print(response[0])

🔧 Spesifikasi & Hyperparameter Pelatihan

Parameter	Nilai Fase Vision SFT	Nilai Fase Vision ORPO
Base Model	`daruokta/t5gemma-2-4b-4b-instruct-chat-indo-v4-vision-cangkok`	`SFT Final Adapter Checkpoint`
Vision Encoder	SigLIP 400M (Frozen)	SigLIP 400M (Frozen)
Multi-Modal Projector	Full Fine-Tuning (`2.5e-7` LR)	Full Fine-Tuning (`2.5e-7` LR)
Decoder LoRA Rank (r)	`256`	`256`
Decoder LoRA Alpha (α)	`512`	`512`
Decoder Learning Rate	`1e-6`	`1e-6`
Epochs	`2`	`1`
Weight Decay	`0.1`	`0.1`
Max Grad Norm	`5.0`	`5.0`
Effective Batch Size	`2` per device × `32` grad accumulation (`64`)	`2` per device × `32` grad accumulation (`64`)
Max Context Length	Source: `16384` / Target: `2048`	Source: `16384` / Target: `2048`

🏗️ Arsitektur Multimodal T5Gemma-2 Vision

📚 Referensi & Publikasi Ilmiah

T5Gemma 2: Seeing, Reading, and Understanding Longer (Google DeepMind, 2025) — arXiv:2512.14856
ORPO: Easy Harmless Alignment with Odds Ratio Preference Optimization (2024) — arXiv:2403.07691
SigLIP: Sigmoid Loss for Language Image Pre-training (Zhai et al., 2023) — arXiv:2303.15343
Gemma 3 Technical Report (Google DeepMind, 2025) — arXiv:2503.19786