u-10bei/

JINIAC_tokenizer_v0.1

This version was created using sentencepiece.
The vocabulary was obtained by filtering Japanese wikipedia and trained using the unigram method.

このバージョンは、sentencepieceを使用し作りました。
日本語wikipediaをフィルタリングして得られた語彙で、unigram手法を使って学習しています。