Qwen3-14B을 기반으로 Knowledge Distillation 방식으로 학습한 후 GPTQ 4-bit 양자화를 적용한 모델입니다.
수능 풀이 특화 CoT(Chain-of-Thought) 데이터셋을 통해 추론 능력을 향상시켰으며, 원본 대비 +2.8% 성능 향상을 달성했습니다.

모델 정보

항목	내용
Base Model	Qwen/Qwen3-14B
Teacher Model	DeepSeek-v3.2 (OpenRouter API)
양자화 방식	GPTQ 4-bit
파라미터 수	14.8B
학습 언어	한국어 (주), 영어
학습 데이터	2,031건 한국어 학술 지문 (CoT 포함)

학습 방법

1. CoT 데이터 증류

DeepSeek-v3.2(Teacher)를 사용해 2,031건의 한국어 학술 지문에 대한 Chain-of-Thought 데이터를 생성했습니다.

증류 전략 (Zero-shot + Guided Fallback)

1차: Teacher 모델이 <think> 태그 포함 사고 과정 생성
2차: 실패 시 정답 힌트 제공 후 재생성
3차: 완전 실패 시 Ground Truth 기반 기본 답변 사용

품질 관리 결과

CoT 태그 완결성: 100% (</think> 포함 보장)
정답 포맷 준수율: 100%
커버리지: 2,031건 / 2,031건 (100%)
평균 CoT 길이: 1,200자

2. GPTQ 양자화

학습 완료 후 GPTQ 4-bit 양자화 적용.

⚠️ 14B 모델은 양자화 후에도 +2.8% 성능 향상이 유지되었습니다.
(32B 이상 대형 모델에서는 과적합으로 인한 양자화 성능 저하 패턴이 확인됩니다.)

성능

지표	결과
기본 모델 대비 성능 변화	+2.8%
정답 추출 성공률	100%
데이터 커버리지	100% (2,031건)

사용 방법

python

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("xeker/qwen3-14b-distilled-gptq")
model = AutoModelForCausalLM.from_pretrained(
    "xeker/qwen3-14b-distilled-gptq",
    device_map="auto"
)

messages = [
    {"role": "system", "content": "당신은 한국어 학술 지문을 분석하고 추론하는 전문가입니다."},
    {"role": "user", "content": "다음 지문을 읽고 질문에 답하세요.\n\n[지문 내용]"}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
text += "<think>\n"  # Prompt Pre-filling: CoT 추론 강제

inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=2048, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=False))

Prompt Pre-filling (<think>\n)을 사용하면 모델이 Tool Call 없이 Chain-of-Thought 추론을 수행합니다.

기술 스택

Python PyTorch Transformers vLLM GPTQ Knowledge Distillation OpenRouter API

프로젝트 배경

네이버 부스트캠프 AI Tech 8기 팀 프로젝트의 일환으로 진행된 수능 풀이 특화 LLM 개발 프로젝트에서 파생된 모델입니다.
CoT 데이터 증류, Prompt Pre-filling, Soft Voting 앙상블, GPTQ 양자화 실험을 수행했습니다.

GitHub: boostcampaitech8/pro-nlp-mrc-nlp-01
관련 모델: xeker/qwen3-vl-32b-distilled-gptq