Views
No views yet
pip install -U transformers accelerate1import torch
2from transformers import AutoTokenizer, AutoModelForCausalLM
3
4tokenizer = AutoTokenizer.from_pretrained("alfredplpl/Llama-3-8B-Instruct-Ja")
5model = AutoModelForCausalLM.from_pretrained("alfredplpl/Llama-3-8B-Instruct-Ja", device_map="auto", torch_dtype=torch.bfloat16)
6
7# プロンプトの準備
8messages = [
9 {
10 'role': "system",
11 'content': "あなたは日本語で回答するAIアシスタントです。"
12 },
13 {
14 'role': "user",
15 'content': "猫と犬、どっちが好き？"
16 }
17]
18prompt=tokenizer.apply_chat_template(messages, tokenize=False)
19
20# 推論の実行
21input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
22outputs = model.generate(
23 **input_ids,
24 max_new_tokens=128,
25 do_sample=True,
26 top_p=0.95,
27 temperature=0.2,
28 repetition_penalty=1.1,
29 eos_token_id=[
30 tokenizer.eos_token_id,
31 tokenizer.convert_tokens_to_ids("<|eot_id|>")
32 ],
33)
34print(tokenizer.decode(outputs[0]))1<|begin_of_text|><|start_header_id|>system<|end_header_id|>
2
3あなたは日本語で回答するAIアシスタントです。<|eot_id|><|start_header_id|>user<|end_header_id|>
4
5猫と犬、どっちが好き？<|eot_id|><|start_header_id|>assistant<|end_header_id|>
6
7猫と犬の両方を飼っているので、どちらも好きだ！<|eot_id|>