K-AX Spartan OSS 27B는 스파르타AX가 Qwen 3.5 아키텍처를 기반으로 한국어에 특화시킨 Open-Weight 모델입니다.
자체 구축한 한국어 말뭉치 중심의 K-AX 데이터셋 및 엔진을 통해 Continual Pre-training 과 도메인 적응 강화학습을 수행하였습니다.
한국어 토크나이저를 약 24.8만 규모로 확장했으며, 자체 다단계 정렬을 적용했습니다.
본 모델은 OSS 에디션으로서, 추론 엔진 호환성을 위해 Qwen 3.5 아키텍처를 채택했으며, K-AX Spartan Adapter 제품군의 베이스 모델로 설계되었습니다
별도로 연구 중인 자체 아키텍처(HGLQA)는 현재 릴리즈에 포함되지 않으며, 검증 후 공개 예정입니다
Highlights
자체 코퍼스 기반 Continual Pre-Training 및 Domain-Adaptive Pre-Training 수행
자체 구성한 다단계 정렬(Multi-Stage Alignment) 파이프라인 적용
K-AX Spartan Adapter 제품군과의 네이티브 호환
한국어 전문 지식, 법률, 문화, 전문직 시험 등 한국 고유 도메인 최적화
vLLM, SGLang, TensorRT-LLM 등 주요 추론 엔진 호환
Training
본 모델은 다음의 학습 파이프라인을 거쳐 제작되었습니다.
Stage
Description
Pre-Training
자체 구축 다국어 코퍼스 기반 Continual Pre-Training
Domain Adaptation
한국어 법률, 전문직 시험, 문화, 과학 등 도메인별 적응
Alignment
자체 보상 모델 및 정렬 방법 적용 (상세 비공개)
Specialization
어댑터 호환 구조 최적화 및 챗 템플릿 적용
정렬 단계의 보상 모델 및 메소드는 스파르타AX의 자체적인 연구 결과물이며, 정렬 방법은 내부 연구 결과물로, 추후 공개를 검토 중입니다.
K-AX Spartan Adapter
K-AX Spartan은 HGLQA 및 Gemma, Qwen, Llama 등 주요 파운데이션 모델(Baseline) 위에 도메인 전문 어댑터를 저비용으로 구축할 수 있는 어댑터 네이티브 구조를 채택하고 있습니다.
-900?style=for-the-badge){kind=icon}
