Views
No views yet
1from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
2import torch
3
4
5model_id = "Trendyol/Trendyol-LLM-8b-chat-v2.0"
6
7pipe = pipeline(
8 "text-generation",
9 model=model_id,
10 model_kwargs={
11 "torch_dtype": torch.bfloat16,
12 "use_cache":True,
13 "use_flash_attention_2": True
14 },
15 device_map='auto',
16)
17
18terminators = [
19 pipe.tokenizer.eos_token_id,
20 pipe.tokenizer.convert_tokens_to_ids("<|eot_id|>")
21]
22
23sampling_params = dict(do_sample=True, temperature=0.3, top_k=50, top_p=0.9, repetition_penalty=1.1)
24DEFAULT_SYSTEM_PROMPT = "Sen yardımsever bir asistansın ve sana verilen talimatlar doğrultusunda en iyi cevabı üretmeye çalışacaksın."
25
26messages = [
27 {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
28 {"role": "user", "content": "Türkiye'de kaç il var?"}
29]
30
31outputs = pipe(
32 messages,
33 max_new_tokens=1024,
34 eos_token_id=terminators,
35 return_full_text=False,
36 **sampling_params
37)
38
39print(outputs[0]["generated_text"])