Views
No views yet
1from transformers import AutoTokenizer, AutoModelForCausalLM
2
3tokenizer = AutoTokenizer.from_pretrained("myzens/llama3-8b-tr-finetuned")
4model = AutoModelForCausalLM.from_pretrained("myzens/llama3-8b-tr-finetuned")
5
6alpaca_prompt = """
7Instruction:
8{}
9
10Input:
11{}
12
13Response:
14{}"""
15
16inputs = tokenizer([
17 alpaca_prompt.format(
18 "",
19 "Ankara'da gezilebilecek 3 yeri söyle ve ne olduklarını kısaca açıkla.",
20 "",
21)], return_tensors = "pt").to("cuda")
22
23
24outputs = model.generate(**inputs, max_new_tokens=192)
25print(tokenizer.decode(outputs[0], skip_special_tokens=True))1from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
2
3tokenizer = AutoTokenizer.from_pretrained("myzens/llama3-8b-tr-finetuned")
4model = AutoModelForCausalLM.from_pretrained("myzens/llama3-8b-tr-finetuned")
5
6pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
7
8alpaca_prompt = """
9Instruction:
10{}
11
12Input:
13{}
14
15Response:
16{}"""
17
18input = alpaca_prompt.format(
19 "",
20 "Ankara'da gezilebilecek 3 yeri söyle ve ne olduklarını kısaca açıkla.",
21 "",
22)
23
24pipe(input)Instruction:
Input:
Ankara'da gezilebilecek 3 yeri söyle ve ne olduklarını kısaca açıkla.
Response:
1. Anıtkabir - Mustafa Kemal Atatürk'ün mezarı
2. Gençlik ve Spor Sarayı - spor etkinliklerinin yapıldığı yer
3. Kızılay Meydanı - Ankara'nın merkezinde bulunan bir meydan