Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
zenz-v2.5-xsmall – AI Model by Miwa-Keita | AlphaNeural AI
You can deploy this model and start earning money today!
Miwa-Keita
/
zenz-v2.5-xsmall
like
0
safetensors
gpt2
japanese input
kana kanji conversion
text2text-generation
ja
Miwa-Keita/zenz-v2.5-dataset
cc-by-sa-4.0
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
zenz-v2.5-small
zenz-v2 model spec
zenz-v2.5はかな漢字変換タスクに特化したGPT-2アーキテクチャの条件付き言語モデルです。ニューラルかな漢字変換システム「Zenzai」で利用することを想定しています。
文字単位+バイト単位BPEトークナイザー
かな漢字変換タスクにおいて高い性能
文脈を考慮した変換で高い性能を発揮
zenz-v2.5は3種類のモデルサイズで公開しています。
zenz-v2.5-medium
: 310Mの大規模モデル
zenz-v2.5-small
: 91Mの中規模モデル
zenz-v2.5-xsmall
: 26Mの小規模モデル
Model Details
Model Description
CC-BY-SA 4.0
で提供されている
ku-nlp/gpt2-small-japanese-char
のトークナイザを利用しています。
本モデルは
CC-BY-SA 4.0
で提供します。
Developed by:
Keita Miwa (
𝕏
)
Model type:
GPT-2
Language(s) (NLP):
Japanese
License:
CC-BY-SA 4.0
Model Sources
本モデルはZenzai（AzooKeyKanaKanjiConverter）と共に利用することを想定して構築しています。
Repository:
https://github.com/ensan-hcl/AzooKeyKanaKanjiConverter
Data Sources
本モデルは
zenz-v2.5-dataset
を利用して構築しました。
Acknowledgements
本モデルの構築にあたり、さくらインターネット株式会社様より計算資源の支援をいただきました。感謝申し上げます。
また、以下のライブラリやツール、言語資源を活用して本モデルを構築しました。
MeCab (
https://taku910.github.io/mecab/
)
ipadic-NEologd (
https://github.com/neologd/mecab-ipadic-neologd
)
torch (
https://pypi.org/project/torch/
)
transformers (
https://pypi.org/project/transformers/
)
datasets (
https://pypi.org/project/datasets/
)
jaconv (
https://pypi.org/project/jaconv/
)
llama.cpp (
https://github.com/ggerganov/llama.cpp
)
llm.c (
https://github.com/karpathy/llm.c
)
