Этот репозиторий содержит финальный DPO-adapter для student-модели Gemma-3-1B-it, обученной на задаче Countdown task в рамках тестового задания по дистилляции LLM для Контура.

В решении использован комбинированный многоэтапный подход к дистилляции с разными токенизаторами: Учитель: Qwen3-8B Ученик: Gemma-3-1B-it

Для использования необходимо отдельно загрузить базовую модель:

Base model: google/gemma-3-1b-it
Adapter: slavalovesfoxes/kontur-gemma-3-1b-it-countdown-dpo

LoRA-конфигурация:

task type: CAUSAL_LM
rank r: 8
alpha: 16
dropout: 0.05
bias: none
target modules:
- q_proj
- k_proj
- v_proj
- o_proj
- gate_proj
- up_proj
- down_proj

Загрузка адаптера поверх модели:

python

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_id = "google/gemma-3-1b-it"
adapter_id = "slavalovesfoxes/kontur-gemma-3-1b-it-countdown-dpo"

tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base_model = AutoModelForCausalLM.from_pretrained(base_model_id)
model = PeftModel.from_pretrained(base_model, adapter_id)