Ini adalah
LoRA adapter yang dilatih dari model dasar
TinyLlama/TinyLlama-1.1B-Chat-v1.0 untuk Bahasa Indonesia, menggunakan kumpulan data instruksi seperti Alpaca, ShareGPT, dan Evol-Instruct versi Bahasa Indonesia dari FreedomIntelligence.
Adapter ini memungkinkan kamu untuk menjalankan TinyLLaMA dengan kemampuan Bahasa Indonesia tanpa perlu melatih ulang seluruh model.
1from transformers import AutoTokenizer, AutoModelForCausalLM
2from peft import PeftModel
3import torch
4
5# Load base model & tokenizer
6base_model = AutoModelForCausalLM.from_pretrained("TinyLlama/TinyLlama-1.1B-Chat-v1.0", device_map="auto", torch_dtype=torch.float16)
7tokenizer = AutoTokenizer.from_pretrained("TinyLlama/TinyLlama-1.1B-Chat-v1.0")
8
9# Load LoRA adapter
10model = PeftModel.from_pretrained(base_model, "nayerim/tinyllama-indo-lora-v1")
11
12# Gunakan chat template jika tersedia
13messages = [
14 {"role": "user", "content": "Apa pendapatmu tentang teknologi AI?"}
15]
16prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
17
18# Tokenisasi dan generate
19inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
20outputs = model.generate(**inputs, max_new_tokens=100, do_sample=True, temperature=0.7)
21print(tokenizer.decode(outputs[0], skip_special_tokens=True))
22
