Views
No views yet
1from unsloth import FastLanguageModel
2model, tokenizer = FastLanguageModel.from_pretrained(
3model_name = "Yudum/llama3-lora-turkish",
4 max_seq_length = 2048,
5 dtype = None,
6 load_in_4bit = True,
7 )
8FastLanguageModel.for_inference(model) # Enable native 2x faster inference
9
10alpaca_prompt = """Altta bir görevi tanımlayan bir talimat ile daha fazla bilgi sağlayan bir girdi bulunmaktadır. İsteği uygun şekilde tamamlayan bir yanıt yazın.
11
12### Talimat:
13{}
14
15### Girdi:
16{}
17
18### Yanıt:
19{}
20"""
21inputs = tokenizer(
22[
23 alpaca_prompt.format(
24 "Paris'teki meşhur kulenin ismi nedir?", # instruction
25 "", # input
26 "", # output - leave this blank for generation!
27 )
28], return_tensors = "pt").to("cuda")
29
30outputs = model.generate(**inputs, max_new_tokens = 64, use_cache = True)
31tokenizer.batch_decode(outputs)