Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
ko-wand-136M – AI Model by instructkr | AlphaNeural AI
You can deploy this model and start earning money today!
instructkr
/
ko-wand-136M
like
0
transformers
pytorch
mistral
text-generation
ko
en
apache-2.0
autotrain_compatible
text-generation-inference
endpoints_compatible
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
ko-wand-136M
ko-wand-136M
는
insturctkr
에서 사전학습한 SLM입니다.
Model Description
maywell/korean_textbooks
와 한국어 말뭉치를 이용하여 사전학습 되었습니다.
Model Info
미스트랄 아키텍쳐를 기반으로 완전히 랜덤 가중치를 시작으로 사전학습 된 모델입니다. Instruction 튜닝되지 않았습니다.
Training Details
Batch Size
Token Seen
lr
1024
2.5B
2e-3 (cosine)
License
apache-2.0
