You can deploy this model and start earning money today!

NEXTITS/
QUANTUS-L-SLM-2509-v0.9.1

Name: QUANTUS-L-SLM-2509-v0.9.1
Availability: InStock

Views

No views yet

소개

개발 목적 : 한국어 동의어/유의어 리라이팅이 중요한 이유

RAG 시스템에서 검색 단계에서 입력 표현과 저장된 문서 표현이 다르면 (즉, 동의어나 유의어로 표현되면) 문서를 제대로 찾지 못하는 경우
예컨대, 사용자가 “BEP분석 도표”라고 입력했지만 문서에는 “손익 분기점 분석 도표”라는 용어만 쓰여 있다면, 일반 키워드 매칭 방식(BM25 등)은 이를 연결 못 해서 정답 문서를 누락할 수 있다
특히 한국어는 어형 변화, 조사 결합, 합성어 등이 복잡해서 동의어나 유의어 처리가 더 까다로운 편이다.
따라서, 한국어 질의나 텍스트를 자동으로 유의어/동의어 변환하거나 확장해 주는 Rewriter가 있다면,
- 검색의 커버리지를 높임 (더 다양한 표현을 매핑)
- 생성 응답의 표현 다양성도 확보
- 유저 질문–문서 간 매칭률을 개선.

베이스 모델

Qwen 3-0.6B: Qwen 시리즈는 대규모 언어모델로, Transformer 기반 아키텍처를 사용하는 사전학습 언어모델.
본 프로젝트에서는 Qwen 3-0.6B를 **기반(Base)**으로 하여 학습 진행.

학습 데이터 (Dataset)

본 모델은 한국어 동의어/유의어 리라이팅 태스크에 특화된 커스텀 데이터셋을 사용하여 학습되었습니다.

데이터셋은 Direct Preference Optimization(DPO) 학습을 위해 다음과 같은 구조로 설계되었습니다:

prompt: 사용자 입력 문장
chosen: 선호되는 출력 (의미 보존 + 자연스러운 동의어/유의어 변환)
rejected: 비선호되는 출력 (의미 왜곡, 맥락에 맞지 않음, 표현 부자연스러움 등)

예시

prompt	chosen	rejected
"가장자리에 있는 저 물건은 뭐야?"	"가에 있는 저 물건은 뭐야?" / "모퉁이에 있는 저 물건은 뭐야?"	"한가운데에 있는 저 물건은 뭐야?"
"가냘프다는 건 얇다는 거야 약하다는 거야?"	"가냘프다는 건 연약하다는 의미야"	"튼튼하다는 건 얇다는 거야 강하다는 거야?"
"사과를 쪼개어 줄래?"	"사과를 갈라줄래?" / "사과를 나누어 줄래?"	"사과를 통째로 줄래?"

이 데이터셋은 한국어 어휘의 의미 보존과 표현 다양성을 동시에 고려하여,

리라이팅 모델이 더 적절한 표현을 선택할 수 있도록 설계되었습니다.

추론 코드

python

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "NEXTITS/QUANTUS-L-SLM-2509-v0.9.1"

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

# prepare the model input
prompt = "이 햄버거는 존맛탱이야"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False # Switches between thinking and non-thinking modes. Default is True.
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# conduct text completion
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=128,
    temperature=0.2,
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist() 

# parsing thinking content
try:
    # rindex finding 151668 (</think>)
    index = len(output_ids) - output_ids[::-1].index(151668)
except ValueError:
    index = 0

thinking_content = tokenizer.decode(output_ids[:index], skip_special_tokens=True).strip("\n")
content = tokenizer.decode(output_ids[index:], skip_special_tokens=True).strip("\n")

print("thinking content:", thinking_content)
print("content:", content)

Citation

THANKS TO QWEN:

@misc{qwen3technicalreport,
      title={Qwen3 Technical Report},
      author={Qwen Team},
      year={2025},
      eprint={2505.09388},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.09388},
}