Views
No views yet
1import torch
2from transformers import AutoModelForCausalLM, AutoTokenizer
3
4model_name = "watashiha/Watashiha-Llama-2-13B-Ogiri-sft"
5tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True)
6model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)
7
8if torch.cuda.is_available():
9 model = model.to("cuda")
10
11odai = "マジシャンのショーでアシスタントが消えたまま戻ってこない時の一言。"
12text = f"""
13以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。
14
15### 指示:
16入力の文は大喜利のお題です。お題に沿った面白いボケを生成してください。
17
18### 入力:
19{odai}
20
21### 応答:
22"""
23text = text.lstrip()
24
25with torch.no_grad():
26 token_ids = tokenizer.encode(text, return_tensors="pt").to(model.device)
27 output_ids = model.generate(
28 token_ids,
29 do_sample=True,
30 min_new_tokens=1,
31 max_new_tokens=64,
32 top_p=0.9,
33 top_k=50,
34 temperature=0.8,
35 pad_token_id=tokenizer.pad_token_id,
36 eos_token_id=tokenizer.eos_token_id,
37 )
38output = tokenizer.decode(output_ids.tolist()[0], skip_special_tokens=True)
39print(output)
40"""
41以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。
42
43### 指示:
44入力の文は大喜利のお題です。お題に沿った面白いボケを生成してください。
45
46### 入力:
47マジシャンのショーでアシスタントが消えたまま戻ってこない時の一言。
48
49### 応答:
50帰りの電車賃あげるから
51"""| 圏外 | 1本 | 2本 | 3本 | |
|---|---|---|---|---|
| Watashiha-Llama-2-13B-Ogiri-sft | 75 | 133 | 209 | 81 |
| watashiha-gpt-6b | 77 | 204 | 175 | 44 |