Description
A Japanese-specialized SentencePiece tokenizer trained for AI Novelist's SuperTrin and Damsel 20B models.
Vocab size: 52000 (padded to 52224)
概要
AIのべりすとの「スーパーとりんさま」「やみおとめ20B」向けに訓練・使用されている、日本語のクリエイティブライティングに特化したSentencePieceトークナイザです。
ボキャブラリサイズ： 52000 (52224にパディング)
Wiki
AIのべりすとユーザーWikiにABC/あいうえお順のトークン一覧が掲載されています。
Credits
- Sta, AI Novelist Dev (https://ai-novel.com/) @ Bit192, Inc.
License
MIT License
