Это LoRA-адаптер для модели Gemma-4-31B, обученный в экстремальных условиях на бесплатном железе (Kaggle 2xT4).
Цель проекта: привить гигантской 31B модели манеру рассуждений и формат ответов Claude 3.5 Opus, используя датасет nohurry/Opus-4.6-Reasoning.
🛠️ ТЕХНИЧЕСКИЙ СТЕК (Ghetto MLOps)
Модель — памятник инженерной наглости. Чтобы втиснуть обучение 31B параметров в 30GB VRAM, были применены следующие методы:
Asymmetric VRAM Split: GPU 0 (7GB) / GPU 1 (14.5GB) — ювелирное распределение под кэш-аллокатор и градиенты.
Brutal Tokenization: Ручная пре-процессия данных с обрезкой контекста до 128 токенов для предотвращения взрыва памяти на огромном словаре (256k).
NF4 Quantization: Базовая модель загружена в 4 битах.
LoRA Rank 8: Минимально допустимый ранг для выживания при расчете градиентов на T4.
GradScaler Kill: Полное отключение fp16 и переход на adamw_torch для обхода системного бага PyTorch No inf checks.
⚠️ ОГРАНИЧЕНИЯ
Из-за жесткого лимита контекста (128 токенов) модель обладает «эффектом короткой памяти». Она отлично усвоила синтаксис и формат диалога, но длинные цепочки рассуждений <think> могут обрываться.
🎸 КРЕДИТЫ
Вы используете проект, созданный при поддержке Livadies. Слушайте музыку будущего:
🟢 Spotify | 🔴 YouTube | 🟡 Yandex
🔥 Главный трек кванта: «RUSSIAN WINTER 26»
