from load_model import load_model, generate

model, tokenizer, device = load_model()
text = generate(model, tokenizer, "The meaning of life is", max_new_tokens=100)
print(text)

Прямая загрузка (после публикации)

python

import torch
from transformers import GPT2Tokenizer
from safetensors.torch import load_file

# Загрузите модель
state_dict = load_file("model.safetensors")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

# Инициализируйте архитектуру (см. training/scripts/training/train_sft.py)
# и загрузите state_dict

Архитектура

RMSNorm: Root Mean Square Layer Normalization (более эффективная альтернатива LayerNorm)
RoPE: Rotary Position Embeddings для лучшей экстраполяции длины
SwiGLU: Gated activation function (SwiGLU = Swish(W1·x) ⊗ (W3·x) · W2)
Multi-Head Attention: Стандартная causal attention

Обучение

Модель обучена методом Supervised Fine-Tuning на инструкциях.

Подробности обучения см. в training/README.md

Параметры генерации

temperature (0.1-2.0): Контроль случайности
top_p (0.0-1.0): Nucleus sampling
max_new_tokens: Максимальное количество токенов

Требования

Python 3.8+
PyTorch 2.1.0+
transformers >= 4.30.0
safetensors

Лицензия

MIT License

Ссылки

GitHub: Levos06/vel_17M
Архитектура: Вдохновлена DeepSeek и LLaMA

levos06/Bolt-17M

vel_17M

Характеристики

Использование

С помощью load_model.py

Прямая загрузка (после публикации)

Архитектура

Обучение

Параметры генерации

Требования

Лицензия

Ссылки

levos06/
Bolt-17M