Views
No views yet
unsloth/gemma-2-9b-it-bnb-4bit1from unsloth import FastLanguageModel
2
3# 1. Modeli Yükle
4model, tokenizer = FastLanguageModel.from_pretrained(
5 model_name = "kdrhnn/turkce-edebi-stil-v1",
6 max_seq_length = 2048,
7 dtype = None,
8 load_in_4bit = True,
9)
10FastLanguageModel.for_inference(model)
11
12# 2. Mesajı Hazırla
13msg = [
14 {"from": "human", "value": "Bu metni Hakan Günday stilinde yeniden yaz.\n\nİlgili Metin:\nSabah uyandım, işe gittim. Hayat çok monoton."},
15]
16
17# 3. Üret
18inputs = tokenizer.apply_chat_template(msg, tokenize=True, return_tensors="pt", add_generation_prompt=True).to("cuda")
19outputs = model.generate(inputs, max_new_tokens=256, repetition_penalty=1.2)
20print(tokenizer.batch_decode(outputs)[0])