Views
No views yet
1models:
2 - model: anthracite-org/magnum-v4-12b
3 - model: mistralai/Mistral-Nemo-Instruct-2407
4 - model: spow12/Mistral-Nemo-Instruct-2407_sft_ver_4.4(private)
5 - model: werty1248/Mistral-Nemo-NT-Ko-12B-dpo
6merge_method: model_stock
7base_model: spow12/Mistral-Nemo-Instruct-2407_sft_ver_4.4(private)
8dtype: bfloat161from transformers import TextStreamer, pipeline, AutoTokenizer, AutoModelForCausalLM
2
3model_id = 'spow12/MK_Nemo_12B'
4tokenizer = AutoTokenizer.from_pretrained(model_id)
5# %%
6model = AutoModelForCausalLM.from_pretrained(
7 model_id,
8 torch_dtype=torch.bfloat16,
9 attn_implementation="flash_attention_2", #Optional
10 device_map='auto',
11)
12model.eval()
13
14pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device_map='auto')
15
16generation_configs = dict(
17 max_new_tokens=2048,
18 num_return_sequences=1,
19 temperature=0.75,
20 # repetition_penalty=1.1,
21 do_sample=True,
22 top_k=20,
23 top_p=0.9,
24 min_p=0.1,
25 eos_token_id=tokenizer.eos_token_id,
26 pad_token_id=tokenizer.eos_token_id,
27 streamer = TextStreamer(tokenizer) # Optional, if you want to use streamer, you have to set num_beams=1
28)
29
30sys_message = """당신은 친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답해야합니다.
31사용자가 제공하는 정보를 세심하게 분석하여 사용자의 의도를 신속하게 파악하고 그에 따라 답변을 생성해야합니다.
32
33항상 매우 자연스러운 한국어로 응답하세요."""
34
35message = [
36 {
37 'role': "system",
38 'content': sys_message
39 },
40 {
41 'role': 'user',
42 'content': "현재의 경제상황에 대해 어떻게 생각해?."
43 }
44]
45conversation = pipe(message, **generation_configs)
46conversation[-1]
47
48#output
49현재의 경제상황은 각국마다 다르며, 전반적으로는 코로나19 팬데믹의 영향으로 큰 타격을 받은 상태입니다. 많은 국가에서 경제 성장률이 감소하고 실업률이 상승했습니다. 그러나 각국 정부는 재정과 통화 정책을 통해 경제를 지지하고 복구하기 위해 노력하고 있습니다. 코로나19 백신의 개발과 배포가 경제 회복에 도움이 될 것으로 기대되고 있습니다. 그러나 코로나19 이전의 경제 성장률을 회복하기 위해서는 시간이 걸릴 수 있습니다. 장기적으로는 저성장과 고인플레이션이 계속될 수 있는 위험도 있습니다. 따라서 각국은 코로나19 이후의 세계에서 새로운 경제 모델을 모색하고, 디지털화와 녹색 경제 전환을 가속화하는 등 미래에 대비하는 노력이 필요합니다.