Views
No views yet
ex)
입력: 상품명
출력: 생성된 상품설명1# Load model directly
2model_path = "UICHEOL-HWANG/EcomGen-0.0.2v"
3
4
5model = AutoModelForCausalLM.from_pretrained(
6 model_path,
7 torch_dtype=torch.bfloat16,
8 trust_remote_code=True,
9).to("cuda")
10
11tokenizer = AutoTokenizer.from_pretrained(model_path)
12
13prompt = "주어진 상품명을 기반으로 매력적인 상품설명을 작성하세요.\n상품명: 김갑생할머니김"
14messages = [
15 {"role": "system", "content": "당신은 상품명을 바탕으로 상세하고 매력적인 상품 설명을 생성하는 AI입니다."},
16 {"role": "user", "content": prompt}
17]
18
19input_ids = tokenizer.apply_chat_template(
20 messages,
21 tokenize=True,
22 add_generation_prompt=True,
23 return_tensors="pt"
24).to("cuda")
25
26_ = model.eval()
27with torch.no_grad():
28 output = model.generate(
29 input_ids,
30 max_new_tokens=512,
31 do_sample=False,
32 )
33
34print(tokenizer.decode(output[0], skip_special_tokens=True))
35