Views
No views yet
v3.1/ (2026-07-23)파일 (v3.1/) | 크기 | 설명 |
|---|---|---|
v3.1/Qwen3.5-0.8B-enko-distill-v3c-Q4_K_M-imatrix-domain.gguf | 419MB | 텍스트 본체 (v3c 가중치·Q4_K_M·도메인 imatrix) |
v3.1/louie-v3.1-f16.gguf | 12.2MB | 페르소나 어댑터(LoRA) — 5번째 캐릭터 "루이" |
Qwen3.5-0.8B-enko-mmproj-q8_0.gguf (루트 공용) | 111MB | 비전 프로젝터 |
--lora … --lora-init-without-apply로 로드한 뒤 요청별로 스케일을 토글한다 — 기존 4인은 scale 0(본체와 출력이 글자까지 동일=항등), 루이는 scale 1. 캐릭터 추가에 본체 재배포가 필요 없다.1# llama-server 기동
2llama-server -m v3.1/Qwen3.5-0.8B-enko-distill-v3c-Q4_K_M-imatrix-domain.gguf \
3 --mmproj Qwen3.5-0.8B-enko-mmproj-q8_0.gguf \
4 --lora v3.1/louie-v3.1-f16.gguf --lora-init-without-apply
5
6# 요청 본문에서 페르소나별 스케일 (루이=1, 그 외=0)
7curl .../completion -d '{"prompt":"...", "lora":[{"id":0,"scale":1}]}'Qwen3.5-0.8B-enko-Q4_K_M.gguf (419MB, 증류 전 base 텍스트 본체)Qwen3.5-0.8B-enko-mmproj-q8_0.gguf (111MB, 비전 프로젝터 — 전 버전 공용)v3.1/ — 현재 배포(위 참조)variants/ — 증류 개선 이력(아래)adapters/ — 페르소나 어댑터 원본 위치(louie-v1-f16.gguf, v3.1/louie-v3.1과 동일 가중치)variants/ — 증류 개선 이력warmly-qwen35-08b-enko-distill)를 병합·재양자화한 GGUF. imatrix는 모델 종속이라 각 병합본에서 재산출한다(캘리브레이션 = 도메인 calib.txt).| 버전 | 파일 | 판정 |
|---|---|---|
| v3c ★현행 배포 계보 | variants/…-distill-v3c-{IQ4_XS 395MB, Q4_K_M 419MB, Q5_K_M 466MB}-imatrix-domain.gguf + imatrix-domain-distill-v3c.gguf | 혼합 피벗(하드워드 접지를 페르소나 목소리로 재생성해 혼합). 심사 결함율 v2 51%→45%·사물오접지 20→6·자기비하동조 0. 배포는 Q4_K_M(양자화 재검 gold144 N=288에서 IQ4_XS≤Q4_K_M≤Q5_K_M, Q5 우위는 표본 노이즈였음) |
| v2 | variants/…-distill-v2-{IQ4_XS 414MB, Q4_K_M 440MB}-… + imatrix | 입력 커버리지 보강 — 자기비하 동조 0·영어누출 2→0·지명환각 11→0. v3c로 교체 |
| v1 | variants/…-distill-v1-{IQ4_XS 395MB, Q4_K_M 419MB}-… + imatrix | 레시피 이식 실증(블라인드 승률 ~79% vs base). 배포 부적합, 폴백 후보 |
enable_thinking: false 필수(안 끄면 출력이 빔).llama-mtmd-cli -m <본체>.gguf --mmproj ...mmproj-q8_0.gguf --image 사진 -p "Describe..."