Views
No views yet
| Model Variants | 特徴 |
|---|---|
| Doujinshi-14b-chat | 会話特化のバージョン。自然な日常会話やフリートークに強く、ユーザーとのやりとりをスムーズに進められます。 |
| Doujinshi-14b-instruct | 情報提供特化のバージョン。質問応答や説明タスクに強く、ユーザーの指示に沿った文章生成を重視。 |
| Doujinshi-14b-roleplay | キャラになりきるロールプレイ特化のバージョン。ユーザーとの対話で一人称やキャラ口調を維持しやすく、恋愛・ストーリー・没入感のある会話に適している。 |
1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3model_name = "puwaer/Doujinshi-14b-chat"
4
5model = AutoModelForCausalLM.from_pretrained(
6 model_name,
7 torch_dtype="auto",
8 device_map="auto"
9)
10tokenizer = AutoTokenizer.from_pretrained(model_name)
11
12prompt = "avの良さを教えて"
13messages = [
14 {"role": "system", "content": "You are a helpful assistant."},
15 {"role": "user", "content": prompt}
16]
17text = tokenizer.apply_chat_template(
18 messages,
19 tokenize=False,
20 add_generation_prompt=True
21)
22model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
23
24generated_ids = model.generate(
25 **model_inputs,
26 max_new_tokens=1024
27)
28generated_ids = [
29 output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
30]
31
32response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
33