평가	n	v3.1 (0.6B)	4B	해석
Ko-FaithBench Standard	982	0.882 (0.951)	0.970 (0.994)	같은 생성기 계열의 영향으로 다소 후한 평가
Ko-FaithBench Hard	380	0.758 (0.824)	0.808 (0.920)	프런티어도 어려워한 적대적 문항
교차 생성기	162	0.704 (0.776)	0.833 (0.931)	DeepSeek 출제, 학습·표준 벤치와 생성기 분리. 보수적 실전 추정치

추가 검증에서 in-distribution 0.932 (AUROC 0.980), KLUE 기반 뉴스 OOD 0.958 (AUROC 0.977)을 기록했습니다. 평가 데이터와 스크립트 설계는 Ko-FaithBench를 참고하세요.

사용법

transformers>=5.5.0과 PyTorch가 필요합니다. 병합된 BF16 가중치는 약 8.6GB입니다.

참고용 실측: NVIDIA GB10에서 프로세스 최초 로드는 40.8초, 로드 후 짧은 입력 2개 배치의 warm forward는 0.235초(약 8.5쌍/초)였습니다. 입력 길이·배치·런타임에 따라 달라지므로 모델을 요청마다 다시 로드하지 말고 상주 서비스로 운영하세요. GB10에서는 compute capability 12.1을 정식 지원하는 PyTorch 빌드를 권장합니다.

python

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_id = "jismsy/ko-hallucheck-4b"
device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(
    model_id,
    dtype="auto",
).to(device).eval()

context = "세종대왕은 조선의 제4대 왕이며 훈민정음을 창제했다."
answer = "세종대왕은 훈민정음을 창제했다."
inputs = tokenizer(
    context,
    answer,
    truncation="longest_first",
    max_length=512,
    return_tensors="pt",
).to(device)
if "token_type_ids" not in inputs:
    inputs["token_type_ids"] = torch.zeros_like(inputs["input_ids"])

with torch.inference_mode():
    logits = model(**inputs).logits.float()
prob_supported = torch.softmax(logits, dim=-1)[0, 1].item()
label = "SUPPORTED" if prob_supported >= 0.5 else "HALLUCINATED"
print({"label": label, "prob_supported": prob_supported})

저장소의 inference_4b.py는 동일한 로직의 CLI 예제입니다.

권장 운영 구조

ko-hallucheck-v3로 전체 요청을 저비용 선별합니다.
점수가 임계값 주변이거나 계약·귀속·법률처럼 오류 비용이 큰 사례를 이 모델로 재판정합니다.
두 모델이 불일치하거나 개체 역할이 핵심인 사례는 사람 또는 더 강한 외부 심판으로 보냅니다.

점수는 도메인 간에 완전히 보정된 확률이 아닙니다. 실제 데이터의 검증셋으로 임계값을 다시 선택하세요.

알려진 약점

주체·역할 혼동은 4B에서도 해결되지 않았습니다. hard 주체혼동 45건의 환각 recall은 v3.1의 0.20에서 4B의 0.25로만 올랐습니다. 관계연쇄 recall은 0.17에서 0.58로 개선됐지만 여전히 단독 자동판정에 부족합니다.
다중 오류와 부분적으로만 충실한 긴 답변은 충분히 검증되지 않았습니다.
학습과 주요 평가는 위키백과 문체 중심입니다. 뉴스 OOD는 검증했지만 구어·의료·법률·사내 문서는 별도 검증이 필요합니다.
학습 환각은 합성 및 LLM 생성 데이터 중심이며 자연 발생 환각의 전체 분포를 대표하지 않습니다.
이 모델은 사실 검색기가 아닙니다. 오직 제공된 문맥과 답변 사이의 충실성을 판정합니다.

학습

Base: unsloth/gemma-3-4b-it
Task: 2-label sequence classification
Method: 4-bit QLoRA, rank 16, 1 epoch; 이후 BF16 베이스에 어댑터 병합
Max length: 512
Data: v3.1과 동일한 context-group 분할 학습셋
Benchmark isolation: Ko-FaithBench 본체와 교차 생성기 평가는 학습에 사용하지 않음

라이선스

이 파생 모델은 Gemma 기반 모델입니다. 사용자는 Gemma Terms of Use를 준수해야 합니다.

Citation

bibtex

@misc{kohallucheck4b2026,
  title={ko-hallucheck-4b: A Strong-Tier Korean Faithfulness Classifier},
  author={ianwoo},
  year={2026},
  url={https://huggingface.co/jismsy/ko-hallucheck-4b}
}