You can deploy this model and start earning money today!

IrfanKnowledge/
Llama-3.1-8B-Legal-Affair-Indo

Name: Llama-3.1-8B-Legal-Affair-Indo
Availability: InStock

Views

No views yet

Llama-3.1-8B-Legal-Affair-Indo

Model ini adalah hasil fine-tuning dari model dasar Meta Llama 3.1 (8B) menggunakan pustaka Unsloth di Google Colab. Model ini dilatih menggunakan dataset dari Ichsan2895/alpaca-gpt4-indonesian

Bobot model telah digabungkan secara penuh (Fully Merged) ke dalam presisi Float16 (16-bit) menggunakan format aman Safetensors, sehingga siap digunakan langsung untuk proses inference maupun integrasi sistem RAG tanpa perlu proses penyatuan manual.

Detail Pelatihan & Konfigurasi

Proses fine-tuning menggunakan metode PEFT/QLoRA dengan optimasi arsitektur sebagai berikut:

Dataset: Ichsan2895/alpaca-gpt4-indonesian (Penyulingan Instruksi Kasta GPT-4 Bahasa Indonesia)
Target Modules: Attention Mechanism (q_proj, k_proj, v_proj, o_proj)
LoRA Rank (r): 4
LoRA Alpha: 8
Max Sequence Length: 1024 token
Optimizer: paged_adamw_8bit
Effective Batch Size: 8 (batch_size=1 dengan gradient_accumulation_steps=8)

Metrik Hasil Pelatihan (Logged via WandB)

Proses pelatihan berjalan stabil tanpa mengalami Overfitting dengan catatan penurunan tingkat kesalahan (loss) akhir sebagai berikut:

Global Steps: 30 (Sesi Validasi Kelayakan Struktur)
Starting Loss: ~2.53 (Step 1)
Final Training Loss: 1.5485 (Step 30)

Cara Penggunaan (Inference)

Model ini dapat dimuat secara instan menggunakan pustaka transformers standar maupun unsloth:

python

from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "IrfanKnowledge/Llama-3.1-8B-Legal-Affair-Indo",
    max_seq_length = 1024,
    load_in_4bit = True,
    load_in_8bit = False,
    full_finetuning = False,
    dtype = None
)

tokenizer = get_chat_template(
    tokenizer,
    chat_template = "llama-3.1"
)

FastLanguageModel.for_inference(model)

messages = [
    {"role": "system", "content": "Anda adalah asisten cerdas yang menjawab pertanyaan secara akurat berdasarkan fakta."},
    {"role": "user", "content": "Sebutkan tiga spesies dinosaurus yang berbeda."}
]

# Menyiapkan input untuk diuji cobakan dengan konfigurasi tertentu
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
).to("cuda")

from transformers import TextStreamer

streamer = TextStreamer(
    # Ketika model menghasilkan ID token, streamer menggunakan tokenizer ini
    # untuk langsung mengeksekusi proses decoding, yaitu mentranslasikan
    # ID numerik tersebut kembali menjadi karakter string teks yang dapat
    # dibaca secara instan pada setiap iterasi langkah autoregressive.
    tokenizer,
    # Membuat streamer melakukan filtrasi pada tahap decoding.
    # Sistem akan memotong dan tidak mencetak ulang matriks tensor
    # dari input awal Anda (system prompt dan pertanyaan). Dengan demikian,
    # antarmuka konsol murni hanya akan menampilkan teks baru atau response.
    skip_prompt=True
)

_ = model.generate(
    input_ids=inputs,
    streamer=streamer,
    max_new_tokens=256,
    temperature=0.3,
    repetition_penalty=1.2,
    do_sample=True,
    eos_token_id=tokenizer.eos_token_id,
    pad_token_id=tokenizer.eos_token_id
)

Integrasi Sistem RAG

Model ini telah diuji coba secara lokal dan terbukti sukses melakukan inference serta membaca context retrieval dari vector database (ChromaDB/FAISS) pada sistem RAG tingkat dasar untuk menjawab pertanyaan berbasis dokumen hukum Indonesia secara akurat.