기존 공개 양자화들은 영어 위주 코퍼스로 importance matrix를 생성합니다. 이 릴리스는 한국어 79% / 영어+코드 21% 코퍼스(위키백과 111편, 퍼블릭 도메인 문학 191편, 허용 라이선스 대화 데이터 6종, 영어/코드 — 1차 릴리스와 동일)로 보정했습니다.

🔰 처음이신가요? (ollama가 뭔지 몰라도 됩니다)

LM Studio 설치 (무료, Windows/Mac/Linux)
🔍 검색에 augustine223 → 이 모델 선택
파일은 하나만: RAM 24GB면 IQ3_M, 32GB면 IQ4_XS(추천), 48GB+면 Q5_K_M
다운로드 후 💬 채팅 탭에서 대화 — 응답이 비면 max tokens를 4000+로 (이 모델은 답하기 전에 "생각"하는 리즈닝 모델입니다)

터미널이 편하다면 한 줄:

ollama run hf.co/augustine223/Qwen3.6-35B-A3B-KO-i1-GGUF:IQ4_XS

상세 가이드(KoboldCpp/llama.cpp 포함): 실행 가이드

측정 결과 (한국어 held-out 텍스트, KLD vs BF16)

보정 언어 효과 (영어 보정 mradermacher i1 대비):

타입	이 릴리스 (한국어 보정)	영어 보정 (mradermacher i1)	ΔKLD	유의성
Q4_K_M	0.02320	0.02445	-5.1%	2.3σ
IQ4_XS	0.02890	0.03058	-5.5%	2.3σ
IQ3_M	0.07045	0.07194	-2.1%	1.0σ
IQ3_XXS	0.11155	0.11963	-6.8%	3.6σ
IQ2_M	0.20487	0.21951	-6.7%	4.3σ

정직한 요약: IQ3_M을 제외한 전 타입에서 통계적으로 유의한 이득(2.3~4.3σ)이며, 저비트일수록 커집니다(IQ2_M -6.7%, 4.3σ). kanana 1차 릴리스와 달리 4비트에서도 유의한 차이가 관측됐습니다. (비교 대상과는 보정 코퍼스 외에 레시피 세부도 다를 수 있어 ΔKLD 전부가 보정 언어 효과만은 아닐 수 있습니다.)

우리 사다리 전체 (기준 PPL 8.5328):

파일	크기	한국어 KLD	Same-top	권장 용도
KO-i1-Q8_0	36GB	0.00446	96.8%	사실상 무손실
KO-i1-Q6_K	28GB	0.00987	94.8%	고품질
KO-i1-Q5_K_M	24GB	0.01185	94.3%	균형
KO-i1-Q4_K_M	21GB	0.02320	91.9%	표준 권장
KO-i1-IQ4_XS	18GB	0.02890	91.6%	32GB 통합메모리 스윗스팟
KO-i1-IQ3_M	15GB	0.07045	86.1%	저메모리
KO-i1-IQ3_XXS	14GB	0.11155	83.3%
KO-i1-IQ2_M	12GB	0.20487	78.0%	극한 압축

Qwen3.6-35B-A3B.imatrix.gguf(184MB)도 동봉 — 다른 타입을 직접 만들 수 있습니다.

재현성

llama.cpp build 10449 CPU 백엔드, 전 측정 -c 512 동일
imatrix: Q8_0 기반 수집(대형 MoE 표준 관행), 708청크(~36만 토큰), expert 커버리지 ≥99.61%
평가: KLUE-MRC 검증셋 + 2026-08 korea.kr 기사 (보정 코퍼스와 오염 검사 통과, 1차 릴리스와 동일 코퍼스)
코퍼스 전체 공개: korean-imatrix-calibration-corpus (세그먼트 원문 + 302개 출처 문서 + 빌드 스크립트 + 평가셋)
blk.40(MTP/nextn)은 추론 그래프 비활성 텐서 — imatrix가 수집되지 않아 IQ3_XXS/IQ2_M에서는 q4_K로 고정(다른 타입은 각자 기본 믹스). MTP 추측 디코딩을 쓰려면 ggml-org의 별도 mtp-Qwen3.6-35B-A3B GGUF를 -md로 지정하세요.
제작 하드웨어: AMD Ryzen AI 9 HX PRO 370 (32GB, Radeon 890M iGPU)

사용

llama-server -m Qwen3.6-35B-A3B.KO-i1-IQ4_XS.gguf -ngl 99 -c 32768 --jinja -fa on

RDNA3.5 APU(890M 등) Vulkan 사용자 주의: 이 모델은 -b 1024 -ub 1024가 필수입니다 (기본 배치에서 크래시, llama.cpp #22425). 통합메모리 기기에서는 --no-mmap 권장.

라이선스

원본 모델 Apache 2.0 (Alibaba/Qwen). 이 양자화판도 Apache 2.0. 보정 코퍼스 출처: 전부 PD / CC BY / CC BY-SA / Apache / MIT / KOGL-1 (문서화됨).

고지 (Disclaimer)

이 모델은 있는 그대로(as-is) 제공됩니다. 생성된 출력과 그 사용으로 발생하는 모든 결과에 대한 책임은 전적으로 사용자에게 귀속되며, 사용자는 자신의 관할지 법률과 원본 모델 라이선스를 준수할 책임이 있습니다.

Provided as-is. All responsibility for generated outputs and any consequences of use rests solely with the user, who must comply with applicable laws and the base model's license.