Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
hourai2.5-90m-base-ja – AI Model by WariHima | AlphaNeural AI
You can deploy this model and start earning money today!
WariHima
/
hourai2.5-90m-base-ja
like
0
safetensors
qwen3_next
ja
OmniAICreator/Japanese-Wikipedia-202506
cc-by-sa-4.0
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
hourai2.5 logo
蓬莱2.5 90m base ja (v1)
説明
以下の目標に沿って設計されたモデルです。
総パラメータ数90mパラメータ
次元数1024
日本語のみの語彙でかつ、マルチリンガルモデルのような巨大な語彙を持たない
チャット形式への対応
チャット形式はqwen3の物を採用しています。
基本的な語彙、サイズはhourai2 90m baseを継承しています。
100m以下のslmを使用した小タスクモデル、特にgpt2などの物のチャット形式に対応したslmへの交換および、
1b以下のチャットボット専用slmの置換を目的に作成されました。
architecture:
qwen3next
tokenizer from ku-nlp/gpt2-small-japanese-char
tarined by:
rtx3060 * 2h
training code in ./training_codes
dataset:
OmniAICreator/Japanese-Wikipedia-202506
use 60k rows 1 epoch
