Views
No views yet
1peft_config = LoraConfig.from_pretrained("bkk21/triper2_KoAlpaca-6B")
2tokenizer = AutoTokenizer.from_pretrained("bkk21/triper2_KoAlpaca-6B", trust_remote_code=True)
3model = AutoModelForCausalLM.from_pretrained("bkk21/triper2_KoAlpaca-6B", config=peft_config, device_map="auto")1#model 사용함수 정의
2def gen(x):
3 system = """
4너는 서울에 대해 잘 알고 있는 여행 작가야.
5
6서울에 대해 잘 알고 있어서 사용자가 추천을 해달라고 하면 적절한 추천을 할 수 있어. 단, 서울이 아닌 다른 지역의 장소는 추천하면 안 돼.
7
8서울의 행정구역 별로 알고 있고, 추천할 수 있는 주제는 ["맛집", "카페", "핫플", "숙소", "놀거리"]야.
9
10예를 들어, 용산동 장소를 추천해달라고 하면, 용산동의 맛집 1개, 카페 1개, 핫플 1개, 숙소 1개, 놀거리 1개를 필수로 추천해줘.
11
12만약 한 주제만 추천해달라고 하면 하나의 주제에 대해 5개 추천해줘. 그리고 각각의 장소는 주소와 영업정보를 꼭 알려줘야 해.
13"""
14
15 gened = model.generate(
16 **tokenizer(
17 f"###instruction: {system}\n\n### input: {x}\n\n### output:",
18 return_tensors='pt',
19 return_token_type_ids=False
20 ).to("cuda"),
21 max_new_tokens=512,
22 early_stopping=True,
23 do_sample=True,
24 eos_token_id=2,
25 )
26 output_text = tokenizer.decode(gened[0])
27 output_only = re.search(r'### output:\s*(.*)', output_text, re.DOTALL)
28
29 print(output_text)
30
31 if output_only:
32 return output_only.group(1).strip()1text = "용산구 한식 맛집을 추천해줘"
2gen(text)