Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
beagle-pretrain-v1 – AI Model by BeagleWorks | AlphaNeural AI
You can deploy this model and start earning money today!
BeagleWorks
/
beagle-pretrain-v1
like
0
transformers
pytorch
safetensors
gpt2
text-generation
casual-lm
ja
apache-2.0
text-generation-inference
endpoints_compatible
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
事前学習会の用のモデルです
モデル
パラメータ数は300M強
24レイヤー、1024隠し層、16ヘッド
学習データ
オープンソースな日本語データセットを利用
トークナイザー
Unigram, Metaspace
データセットからトークナイザーを学習
事前学習
GPT2系のデコーダから作成
DeepSpeed ZeRO-3 / CPUオフロード
1epochのみ
