Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
llm-course-hw1 – AI Model by bdvs | AlphaNeural AI
You can deploy this model and start earning money today!
bdvs
/
llm-course-hw1
like
0
safetensors
model_hub_mixin
pytorch_model_hub_mixin
text2text-generation
ru
en
IgorVolochay/russian_jokes
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
[Легковесный трансформер для генерации текста с ALiBi, GQA и SwiGLU.]
📖 Описание
Данная модель представляет собой трансформерную архитектуру, оптимизированную для работы с короткими текстами. Она использует:
ALiBi
для позиционного кодирования
GQA
для эффективного механизма внимания
SwiGLU
в Feed-Forward блоке для лучшей обработки информации
Модель обучена на [IgorVolochay/russian_jokes] и предназначена для генерации осмысленного текста в пределах контекста
≤250 токенов
.
This model has been pushed to the Hub using the
PytorchModelHubMixin
integration:
Library: [More Information Needed]
Docs: [More Information Needed]
