항목	값
베이스	`Qwen/Qwen3.6-27B` (GDN 하이브리드, 4bit NF4 로 로드)
방식	QLoRA, r=256 / α=512
대상 모듈	`q,k,v,o,gate,up,down_proj` (비전 타워 포함, GDN 층은 동결)
학습 가능 파라미터	1,275,068,416 (4.4533%)

사용법

베이스 모델을 학습 때와 동일한 4bit NF4 로 로드한 뒤 어댑터를 얹어야 정합합니다.

python

import torch
from transformers import AutoModelForImageTextToText, BitsAndBytesConfig
from peft import PeftModel

bnb = BitsAndBytesConfig(
    load_in_4bit=True, bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True,
)
model = AutoModelForImageTextToText.from_pretrained(
    "Qwen/Qwen3.6-27B", dtype=torch.bfloat16, attn_implementation="sdpa",
    device_map="cuda", quantization_config=bnb,
)
model = PeftModel.from_pretrained(model, "cjm-n0/snu-ai-challenge-lobstar")

전체 추론 파이프라인(24순열 로그확률 채점 · KV 캐시 스냅샷 · 셔플 TTA)과 재현 절차는 제출 저장소의 README 를 참조하세요.

라이선스

베이스 모델의 Apache-2.0 을 따릅니다.