Qwen2.5-GenX-14B는 Qwen2.5 backbone을 450 MB (130M tokens)의 제조 도메인, 특히 사출 성형 및 금형 도메인 말뭉치에 연속 사전학습시켜 제조 도메인에 특화시킨 뒤 Instruction tuning을 수행하였습니다. Qwen2.5-GenX-14B-AWQ는 Qwen2.5-GenX-14B 모델을 AWQ (Activation-aware Weight Quantization) 방식으로 양자화한 모델입니다.
사전학습 데이터셋은 자체적으로 수집한 제조 도메인 논문과 웹 블로그 데이터, 일반 한국어 데이터 (AI-Hub) 및 합성 데이터를 이용하여 구축했습니다.
Supervised Fine-tuning (SFT) 데이터셋은 수집한 도메인 데이터를 컨텍스트로 사용하여 약 185만 건(약 380 MB)의 instruction following data를 합성하여 사용했습니다.
GenX는 Molding 도메인에 속하는 592개의 전문 용어(한국어 및 영어)를 vocabulary에 추가하여 학습하였습니다.
추가된 vocabulary를 효과적으로 학습하고자 모델의 일부 레이어만 먼저 학습한 뒤 전체 파라미터를 학습하는 단계적 학습(Multi-stage training)을 도입하였습니다.

Inference example

Input	Qwen2.5-7B	Qwen2.5-GenX-7B
사출성형이 뭐야?	사출성형은 고체 상태의 재료를 가열하여 용융시킨 후, 이를 형성하는 공정입니다. 주로 플라스틱, 금속, 고무 등의 재료를 사용하며, 다양한 제품을 제작할 수 있습니다.	사출성형은 플라스틱과 같은 재료를 가열하여 녹인 후, 이를 금형에 주입하여 원하는 형태로 만드는 제조 공정입니다. 이 과정은 고온에서 재료를 액체 상태로 만들어 금형에 주입하고, 냉각하여 고체 형태로 만드는 방식으로 진행됩니다. 사출성형은 복잡한 형상을 정밀하게 제작할 수 있으며, 대량 생산에 적합한 공정입니다.
래핑작업에 있어서 습식법 혹은 건식법과 관련하여 설명하시오.	습식법은 천연재료를 사용하여 래핑을 하는 방법으로, 재료가 젖어서 래핑이 이루어지며, 건식법은 건조한 상태에서 래핑을 하는 방법으로, 재료가 건조한 상태에서 래핑이 이루어진다.	습식법은 래핑작업에서 접착제를 사용하여 작업하는 방법으로, 표면을 습윤시키고 접착제를 바르는 방식입니다. 이 방법은 표면의 오염물질을 제거하고, 접착제가 잘 붙도록 도와줍니다. 반면, 건식법은 접착제를 사용하지 않고, 표면을 건조시키고 접착제를 바르는 방식입니다. 이 방법은 접착제를 사용하지 않기 때문에 환경에 더 안전하며, 작업 후 청소가 용이합니다. 두 방법 모두 각각의 장단점이 있으며, 작업 환경과 요구 사항에 따라 선택됩니다.
로크웰 경도시험에서 C 스케일 시험법을 설명하시오.	C 스케일 시험법은 Rockwell 경도시험법 중 하나로, 표면 경도를 측정하는 방법입니다. C 스케일은 일반적으로 하드메탈, 강철, 알루미늄, 플라스틱, 고무, 유리, 금속, 비금속, 합금, 합성수지, 유리섬유, 섬유강화플라스틱, 섬유강화유리, 섬유강화알루미늄, 섬유강화폴리에스터, 섬유강화폴리카보네이트, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬유강화폴리프로필렌, 섬⚠️	로크웰 경도시험은 금속의 경도를 측정하는 방법 중 하나로, C 스케일 시험법은 주로 경화된 금속의 경도를 측정하는 데 사용됩니다. 이 시험법은 시험 시편의 표면을 연마하여 매끄럽게 만든 후, 로크웰 경도계의 압자로 시험합니다. 압자가 시험 시편에 접촉할 때, 시편이 압축되면서 경도가 증가하게 됩니다. 이 과정에서 압자의 하중을 증가시키며, 시편의 경도가 변하는 것을 관찰합니다. 로크웰 경도시험은 일반적으로 HRC 60 정도 이상의 경도를 가진 금속에 적합하며, 경도값은 시험 시편의 두께와 재료의 종류에 따라 달라질 수 있습니다.
와이어 컷 가공에서 가공액의 역할에 대하여 설명하시오.	Wire EDM (Electrical Discharge Machining)에서 가공액은 주요한 역할을 합니다. 주로 사용되는 가공액은 라이트 오일 (Light Oil)과 같은 기름 기반의 가공액입니다. 이 가공액은 다음과 같은 역할을 합니다.	와이어 컷 가공에서 가공액은 여러 가지 중요한 역할을 수행합니다. 첫째, 가공액은 절연체로 작용하여 전기 방전 시 발생하는 스파크를 방지합니다. 둘째, 가공액은 열을 흡수하여 와이어와 가공 부위의 온도를 낮추는 데 도움을 줍니다. 셋째, 가공액은 와이어와 가공 부위 사이의 마찰을 줄여주어 가공 효율을 높입니다. 넷째, 가공액은 와이어의 마모를 줄이고, 가공 품질을 향상시키는 데 기여합니다. 마지막으로, 가공액은 와이어와 가공 부위의 표면을 청소하여 가공 품질을 유지하는 데 도움을 줍니다. 이러한 역할 덕분에 가공액은 와이어 컷 가공에서 매우 중요한 요소로 작용합니다.

⚠️: max_new_token 도달로 인해 종료

Quickstart

아래 예시 코드를 활용하면 Qwen2.5-GenX-14B-AWQ를 transformers 기반으로 불러와 사용할 수 있습니다.

python

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig
model_id = "INTERX/Qwen2.5-GenX-14B-AWQ"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype="auto", trust_remote_code=True)
prompt = "사출성형이 뭔가요?"
messages = [{"role": "user", "content": prompt}]
tokenized_chat = tokenizer.apply_chat_template(
		messages,
		tokenizer=True,
		add_generation_prompt=True,
		return_tensors='pt'
).to(model.device)
generated_ids = model.generate(tokenized_chat, max_new_tokens=512)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(tokenized_chat, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

Citation

@misc{qwen2_5-genx-14b-awq,
    title = {Qwen2.5-GenX-14B-AWQ},
    url = {https://huggingface.co/INTERX/Qwen2.5-GenX-14B-AWQ/blob/main/README.md},
    author = {Gen.AI@INTERX},
    month = {May},
    year = {2025}
}