Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
xlm-roberta-japanese-tokenizer – AI Model by hotchpotch | AlphaNeural AI
You can deploy this model and start earning money today!
hotchpotch
/
xlm-roberta-japanese-tokenizer
like
0
transformers
mit
endpoints_compatible
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
wikipedia jp~~, wikipedia en(サンプリング), cc-100(ja, サンプリング)~~(追記: 作成スクリプトを確認したところ、日本語wikipediaのみを利用していました)のデータを unidic で分割 + sentencepiece Unigram で学習した、XLM-Roberta 形式の日本語トークナイザ。
