Views
No views yet
moneyforward/houou-instruction-7b-v31import torch
2from transformers import AutoTokenizer, AutoModelForCausalLM
3
4tokenizer = AutoTokenizer.from_pretrained("moneyforward/houou-instruction-7b-v2")
5model = AutoModelForCausalLM.from_pretrained("moneyforward/houou-instruction-7b-v2")
6
7if torch.cuda.is_available():
8 model = model.to("cuda")
9
10
11instruction = "日本のおすすめの観光地を3つ教えてください。"
12input = ""
13
14if input == "":
15 prompt = f"""
16 以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。
17
18 ### 指示:
19 {instruction}
20
21 ### 応答:
22 """
23else:
24 prompt = f"""
25 以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。
26
27 ### 指示:
28 {instruction}
29
30 ### 入力:
31 {input}
32
33 ### 応答:
34 """
35
36token_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
37
38with torch.no_grad():
39 output_ids = model.generate(
40 token_ids.to(model.device),
41 max_new_tokens=2048,
42 do_sample=True,
43 temperature=0.5,
44 pad_token_id=tokenizer.pad_token_id,
45 bos_token_id=tokenizer.bos_token_id,
46 eos_token_id=tokenizer.eos_token_id,
47 )
48
49output = tokenizer.decode(output_ids.tolist()[0])
50output = output.split("### 応答:")[1]
51print(output)
52
53"""
54日本は四季折々の美しい風景や、数々の伝統文化を持つ国です。観光地も数多くありますが、その中から3つ、おすすめの観光地をご紹介します。
55
561）京都府：清水寺、金閣寺、伏見稲荷大社
57
58 京都は、日本の歴史上とても重要な役割を果たした場所です。清水寺では、「音羽の滝」の水を飲むと美容効果があるといわれています。金閣寺はその名の通り、金で覆われた三層の建造物です。伏見稲荷大社は稲荷神社の総本山で、奥社へ向かう参道に並ぶ鳥居の数は圧巻です。
59
602）北海道：知床五湖、美瑛町（ケンとメリーの木、パッチワークの丘など）、旭川市（旭山動物園）
61
62 知床半島は、世界自然遺産に登録されています。知床五湖は、その知床半島の自然を満喫できるハイキングコースです。美瑛町は、丘陵地に色とりどりの花が植えられたパッチワークのような風景が広がっています。旭川市にある旭山動物園は、人気がある動物園で、夜行性動物の見やすさが工夫されています。
63
643）東京都：浅草（浅草寺、仲見世通り、東京スカイツリー）、上野恩賜公園（上野の森美術館、国立西洋美術館など）、日本橋（三越前の日本国道路元標、R.M.V.日本橋など）
65
66 東京にも観光地はたくさんあります。浅草は、昔ながらの下町の雰囲気が残り、老若男女を問わず楽しめる観光地です。上野には、美術館や博物館が多く、上野恩賜公園（上野の森）内を散策するだけでも十分に楽しめます。日本橋は、国道路元標やR.M.V.日本橋など、歴史を感じられる橋であり、最新の技術を感じられる橋でもあります。
67
68 この他にも日本には魅力的な観光地がたくさんあります。ぜひ訪れてみてください。
69
70"""| houou-instruction-v3 win rate | gpt-3.5-turbo-1106 win rate | tie |
|---|---|---|
| 72.5 | 27.5 | 0 |