from transformers import pipeline
generator = pipeline('text-generation', model='ClassCat/gpt2-base-japanese-v2')
generator("今度の連休の天気は", max_length=50, num_return_sequences=5)

(Japanese description) GPT2 日本語ベースモデル・バージョン 2

前提条件

transformers==4.19.2

モデル・アーキテクチャ

このモデルは GPT2 ベースモデルの設定を (語彙サイズ以外は) 使用しています。

トークナイザー

語彙サイズ 60,000 の BPE トークナイザーを使用しています。

訓練データ

wiki40b/ja (日本語 Wikipedia)
CC-100/ja のサブセット : Web クロールデータからの単一言語データセット。

使用方法

python

from transformers import pipeline
generator = pipeline('text-generation', model='ClassCat/gpt2-base-japanese-v2')
generator("今度の連休の天気は", max_length=50, num_return_sequences=5)

ClassCat/gpt2-base-japanese-v2

GPT2 Japanese base model version 2

Prerequisites

Model architecture

Tokenizer

Training Data

Usage

(Japanese description) GPT2 日本語 ベースモデル・バージョン 2

前提条件

モデル・アーキテクチャ

トークナイザー

訓練データ

使用方法

ClassCat/
gpt2-base-japanese-v2

(Japanese description) GPT2 日本語ベースモデル・バージョン 2