Views
No views yet
1import torch
2from transformers import AutoTokenizer, AutoModelForCausalLM
3
4
5tokenizer = AutoTokenizer.from_pretrained(
6 "ryota39/llm-jp-1b-sft-15k-dpo-12k"
7 )
8pad_token_id = tokenizer.pad_token_id
9
10model = AutoModelForCausalLM.from_pretrained(
11 "ryota39/llm-jp-1b-sft-15k-dpo-12k",
12 device_map="auto",
13 )
14
15text = "###Input: 東京の観光名所を教えてください。\n###Output: "
16tokenized_input = tokenizer.encode(
17 text,
18 add_special_tokens=False,
19 return_tensors="pt"
20 ).to(model.device)
21
22attention_mask = torch.ones_like(tokenized_input)
23attention_mask[tokenized_input == pad_token_id] = 0
24
25with torch.no_grad():
26 output = model.generate(
27 tokenized_input,
28 attention_mask=attention_mask,
29 max_new_tokens=128,
30 do_sample=True,
31 top_p=0.95,
32 temperature=0.8,
33 repetition_penalty=1.0
34 )[0]
35
36print(tokenizer.decode(output))
37###Input: 東京の観光名所を教えてください。
###Output: 東京にはたくさんの観光名所がある。東京は、東京スカイツリー、東京タワー、浅草、皇居など、多くの人気観光スポットがある。
日本の人気観光地としては、東京ディズニーランド、東京ディズニーシーなどがある。
東京には他にも、皇居、靖国神社、浅草寺などの有名な観光スポットがあります。
また、グルメ、ショッピング、エンターテインメントなど、さまざまなタイプの観光スポットがたくさんあります。
これらの観光スポットを回るには、電車、バス、飛行機、車など、さまざまな交通手段があります。東京には、東京タワー、東京ディズニーシー、