팀 MISHULTA의 다른 버전(v2 이후) 중 일부는 Upstage Solar Pro 4를 teacher로 사용했으며, 해당 활용은 비상업·해커톤 목적에 한하여 업스테이지의 별도 확인(컨펌)을 거쳐 진행되었습니다. 현 Upstage 이용약관상 Solar 결과물을 활용한 distillation은 원칙적으로 허용되지 않으므로, 이를 일반적으로 허용된 것으로 해석해서는 안 됩니다.

학습 데이터

모두 공개 데이터 또는 자체 생성 데이터이며, 평가용 test 스플릿은 사용하지 않았습니다.

구분	출처
한국어 객관식 자기증류	HAERAE-HUB/KMMLU train 스플릿
교사 증류	deepseek-ai/DeepSeek-R1-0528
자체 생성	한국 문화·언어 문항, 합성 추론 문항 (신규 생성, 평가 벤치마크 원문항 미사용)

평가 대상 벤치마크와의 문항 중복은 사전 대조를 통해 제거했습니다.

사용법

python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "smllms/HyperCLOVA-X-SEED-MISHULTA-v1.5"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "다음 문제의 정답을 고르시오. ..."}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, do_sample=False, stop_strings=["<|endofturn|>", "<|stop|>"], tokenizer=tok)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

정답은 출력 마지막의 정답: X 형식으로 제시됩니다.

라이선스

베이스 모델의 HyperCLOVA X SEED Model License Agreement를 따릅니다. 라이선스 §3.1에 따라 파생 모델명은 "HyperCLOVA X"로 시작합니다.

팀

MISHULTA — 미술전시 큐레이션 서비스 운영팀. K-DS 해커톤(NIA) 참가.