Views
No views yet
1from transformers import AutoModelForCausalLM, AutoTokenizer
2import torch
3
4B_INST, E_INST = "[INST]", "[/INST]"
5B_SYS, E_SYS = "<<SYS>>\n", "\n<</SYS>>\n\n"
6DEFAULT_SYSTEM_PROMPT = "あなたは誠実で優秀な日本人のアシスタントです。"
7text = "deepreneurについて教えて"
8
9model_name = "Deepreneur/blue-lizard"
10tokenizer = AutoTokenizer.from_pretrained(model_name)
11model = AutoModelForCausalLM.from_pretrained(
12 model_name,
13 trust_remote_code=True,
14 torch_dtype=torch.bfloat16,
15)
16
17if torch.cuda.is_available():
18 model = model.to("cuda")
19
20prompt = "{bos_token}{b_inst} {system}{prompt} {e_inst}".format(
21 bos_token=tokenizer.bos_token,
22 b_inst=B_INST,
23 system=f"{B_SYS}{DEFAULT_SYSTEM_PROMPT}{E_SYS}",
24 prompt=text,
25 e_inst=E_INST,
26)
27
28
29with torch.no_grad():
30 token_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
31 output_ids = model.generate(
32 token_ids.to(model.device),
33 max_new_tokens=256,
34 pad_token_id=tokenizer.pad_token_id,
35 eos_token_id=tokenizer.eos_token_id,
36 )
37output = tokenizer.decode(output_ids.tolist()[0][token_ids.size(1) :], skip_special_tokens=True)
38print(output)
39
40"""
41株式会社Deepreneurは、言語系の生成AIに強みを持ったAIスタートアップです。
42東京大学松尾研究室発AIスタートアップに認定されており、大規模言語モデル(Large Language Model)の開発をはじめとする基礎研究や、企業との共同研究を通じてDXを推進します。
43Deepreneurのホームページ: https://www.deepreneur.com/
44Deepreneurのメールアドレス: info@deepreneur.com
45"""