전체 학습/추론 코드: https://github.com/lky473736/snuaichallenge-2026 (이 저장소의 v20_32b_qlora/ 폴더)
공식 리더보드 점수: public 0.91099 / private 0.90650 — 이 체크포인트가 예선 최종 제출본(submission_v20_best.csv)을 만들었습니다.

과제 설명

4장으로 셔플된 비디오 프레임과, 그 프레임들이 담고 있는 사건을 설명하는 문장(caption)이 주어집니다. 모델은 이 4장이 원래 사건의 시간 순서대로라면 어떤 순서였는지(4! = 24가지 경우의 수)를 맞혀야 합니다.

방법론 요약

문제를 이진분류로 변환: "이 프레임 순서가 문장이 설명하는 사건의 올바른 시간 순서인가?"를 VLM에게 Yes/No로 묻는 형태로 바꿉니다. 실제로 텍스트를 생성(generate)시키지 않고, teacher-forcing 방식의 단일 forward pass만으로 Yes/No 토�큰의 로짓을 읽어 log P(Yes) - log P(No) 점수를 계산합니다(속도상 이점).
추론: 4장의 순서 조합은 24가지뿐이므로, 24개 순열을 전부 모델에 넣어 점수를 매기고 가장 높은 점수를 받은 순서를 정답으로 채택합니다(근사 없는 전수조사).
학습(ListwiseSoftmaxLoss): 정답 순서(positive) 1개와, 정답과의 켄달타우 거리(몇 번의 인접 스왑으로 정답이 되는지, 1~6)가 고르게 분포하도록 뽑은 오답(hard negative) 7개를 한 그룹(8개)으로 묶어, 이 8개를 하나의 8-way joint softmax cross-entropy로 학습합니다. 이는 Plackett-Luce top-1 랭킹 모델과 수학적으로 동일한 구조이며, 일반적인 이진분류나 margin ranking loss보다 "가장 헷갈리는 오답을 더 세게 밀어내는" self-hardening 그래디언트를 자연스럽게 얻습니다.
v20의 변경점: 위 레시피(loss, hard-negative 샘플링, LoRA 설정, 학습률, epoch 수)는 이전 버전(v14, Qwen3-VL-8B 기반)과 완전히 동일하게 고정하고, 베이스 모델만 Qwen3-VL-8B → Qwen3-VL-32B로 교체한 단일 변수 실험입니다. 32B 모델을 제한된 GPU 메모리에 학습시키기 위해 QLoRA(4bit NF4 양자화)를 적용했습니다.

학습 설정

항목	값
Base model	Qwen/Qwen3-VL-32B-Instruct
양자화	4bit NF4 (bitsandbytes), double quant 적용, vision tower(`visual`)는 양자화 제외(bf16 유지)
LoRA	r=128, alpha=256, dropout=0.05, target: q/k/v/o_proj, gate/up/down_proj (language model 전용)
Loss	ListwiseSoftmaxLoss (1 positive + 7 hard negative, 8-way joint softmax)
Hard negative 샘플링	켄달타우 거리 1~6 전 구간 커버 (`SAMPLE_COUNTS = {1:2, 2:1, 3:1, 4:1, 5:1, 6:1}`)
Epochs	3
Learning rate	5e-5
분산학습	DDP, 4×NVIDIA H100 80GB (`accelerate launch --num_processes=4 --mixed_precision=bf16`)

검증 결과

Held-out validation(train.csv에서 5% 분리, seed=42, 476개 샘플) exact-match: 0.6176 (epoch 3, best)
공식 Kaggle 리더보드: public 0.91099 / private 0.90650

사용 방법

python

from transformers import Qwen3VLForConditionalGeneration, AutoProcessor, BitsAndBytesConfig
from peft import PeftModel
import torch

MODEL_PATH = "Qwen/Qwen3-VL-32B-Instruct"
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
    llm_int8_skip_modules=["visual"],
)
base_model = Qwen3VLForConditionalGeneration.from_pretrained(
    MODEL_PATH, quantization_config=bnb_config, torch_dtype=torch.bfloat16, device_map="auto",
)
processor = AutoProcessor.from_pretrained(MODEL_PATH)
model = PeftModel.from_pretrained(base_model, "lky473736/snuaichallenge-v20-qwen3vl32b-qlora")
model.eval()

구체적인 추론 파이프라인(24-permutation 전수조사, 배치 처리, OOM 자동 대응 등)은 GitHub 저장소의 v20_32b_qlora/inference.py를 참고하세요.

Framework versions

PEFT 0.19.1