You can deploy this model and start earning money today!

puwaer/
Doujinshi-1.8b-instruct

Name: Doujinshi-1.8b-instruct
Availability: InStock

not-for-all-audiences

conversational

apache-2.0

autotrain_compatible

text-generation-inference

endpoints_compatible

Views

No views yet

Doujinshi-1.8b-instruct

Doujinshi-1.8b-instructは、r18に特化した大規模言語モデル（LLM）であり、llm-jp/llm-jp-3-1.8b をベースに継続事前学習、sftを行いました。本モデルは、同人コンテンツに関連する知識を強化するため、dmm.co.jp,dlsite.comよりスクレイピングし作成したr18向けデータセットを使用してトレーニングされています。

モデルの出力に関して責任を負いません。各自自己責任で利用してください。

Model Variants
Doujinshi-1.8b
Doujinshi-1.8b-instruct

モデル概要

本モデルは、以下のデータセットを使用して継続事前学習、sftを行いました。

特徴

ベースモデル: llm-jp/llm-jp-3-1.8b
日本語のテキスト生成に特化
r18に関する知識を強化

使用方法

モデルのロードと推論

以下のコードでモデルをロードし、テキスト生成を行うことができます。

python

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("puwaer/Doujinshi-1.8b-instruct")
model = AutoModelForCausalLM.from_pretrained("puwaer/Doujinshi-1.8b-instruct", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "avの良さを教えて"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

ライセンス

本モデルは Apache 2.0 License のもとで提供されます。

クレジット

ベースモデル: llm-jp/llm-jp-3-1.8b
データセット提供:
作成方法詳細: 特化型llm(Doujinshi-1.8b)の開発報告書①:開発の全体像
使用コード: github/puwaer

開発支援のお願い

現在、開発を続けていますが、クラウドGPUの価格が高く、十分な計算リソースを確保できずにいます。そのため、思い通りに開発が出来ていません。また、オープンソースの理念を大切にしており、プログラム・データセット・モデルを有料で公開するつもりはありません。そのため、金銭的に余裕のある方に支援していただけると大変助かります。 TwitterのDMやご支援いただける方は、以下のプラットフォームよりお願いいたします。