Views
No views yet
1import torch
2from transformers import AutoTokenizer, AutoModelForCausalLM
3
4
5tokenizer = AutoTokenizer.from_pretrained(
6 "ryota39/Phi-3-mini-4k-instruct-dpo",
7 trust_remote_code=True,
8 )
9
10model = AutoModelForCausalLM.from_pretrained(
11 "ryota39/Phi-3-mini-4k-instruct-dpo",
12 device_map="auto",
13 torch_dtype='auto',
14 trust_remote_code=True,
15 )
16
17text = "<|user|>\n与えられた質問に対して英語で思考し、日本語で答えてください。東京の観光地を教えてください。\n<|end|>\n<|assistant|>\n"
18tokenized_input = tokenizer.encode(
19 text,
20 add_special_tokens=False,
21 return_tensors="pt"
22 ).to(model.device)
23
24with torch.no_grad():
25 output = model.generate(
26 tokenized_input,
27 max_new_tokens=500,
28 do_sample=True,
29 top_p=0.95,
30 temperature=0.8,
31 repetition_penalty=1.0
32 )[0]
33
34print(tokenizer.decode(output))
35<|user|> 与えられた質問に対して英語で思考し、日本語で答えてください。東京の観光地を教えてください。
<|end|><|assistant|> 東京には様々な観光地がありますが、代表的なものとして以下のようなものがあります。
1. 浅草寺（あさくさじ） - 歴史ある寺院で、浅草の様々な景観や、人々が集まる場所です。
2. 東京タワー - 日本の象徴的な電波塔であり、東京の景色を眺めるのに最適な場所です。
3. 皇居（こうこく） - 日本の皇族が住んでいる皇居で、日本の歴史を感じられる郊外もあります。
4. 渋谷スクランブル交差点 - 日本のトレンドを象徴するスクランブル交差点で、最新のストリートファッションやアートを見ることができます。
5. 渋谷の百 ár - 若者の雰囲気を感じられるショップ街で、最新のグッズを見つけることができます。
これらは東京を象徴する一部の観光地ですが、他にもたくさんの観光地がありますので、ご興味のある場所をご確認ください。<|end|>