Views
No views yet
1from transformers import TextStreamer, pipeline, AutoTokenizer, AutoModelForCausalLM
2
3model_id = 'spow12/POLAR-14B_4.3_very_big_sft'
4tokenizer = AutoTokenizer.from_pretrained(model_id)
5# %%
6model = AutoModelForCausalLM.from_pretrained(
7 model_id,
8 torch_dtype=torch.bfloat16,
9 attn_implementation="flash_attention_2",
10 device_map='auto',
11)
12model.eval()
13
14pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device_map='auto')
15
16streamer = TextStreamer(tokenizer)
17
18generation_configs = dict(
19 max_new_tokens=2048,
20 num_return_sequences=1,
21 temperature=0.1,
22 # early_stopping=True,
23 repetition_penalty=1.2,
24 num_beams=1,
25 do_sample=True,
26 top_k=20,
27 top_p=0.9,
28 eos_token_id=tokenizer.eos_token_id,
29 pad_token_id=tokenizer.eos_token_id,
30 streamer=streamer
31)
32
33sys_message = """당신은 친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답해야합니다.
34사용자가 제공하는 정보를 세심하게 분석하여 사용자의 의도를 신속하게 파악하고 그에 따라 답변을 생성해야합니다.
35
36항상 매우 자연스러운 한국어로 응답하세요."""
37
38message = [
39 {
40 'role': "system",
41 'content': sys_message
42 },
43 {
44 'role': 'user',
45 'content': "현재의 경제상황에 대해 어떻게 생각해?."
46 }
47]
48conversation = pipe(message, **generation_configs)
49conversation[-1]