단일 모델의 한계를 극복하기 위해 역할별로 특화된 모델들을 체인(Chain) 형태로 연결합니다.
Antidote의 다단계 추론 파이프라인은 단계별로 특화된 두 가지 핵심 딥러닝 모델의 정밀한 튜닝과 최적화를 통해 완성되었습니다.
-
역할: 입력된 계약서 조항 중 독소 의심 조항만 빠르고 정확하게 선별하는 '게이트키퍼(수문장)' 모델
-
베이스 모델: KoELECTRA-small (약 60MB의 경량화된 한국어 특화 인코더)
-
개발 과정 및 문제 해결:
- 문제점: 초기 3,000개의 시드 데이터로는 "수당을 일방적으로 삭감하지 않는다"와 같은 방어형 표준 조항을 독소로 오탐하거나, 아주 짧은 독소 조항을 놓치는 현상이 발견되었습니다.
- 해결책: LLM(Gemini)을 활용해 모델 스스로 약점을 진단하고 타겟팅된 공략 데이터를 자동 생성하여 학습 풀을 채우는 하이브리드 자율 학습 시스템을 구축 및 적용했습니다.
-
최종 성과:
- 성능 지표: F1-Score 0.95, Recall(검출률) 0.94
- 효과: 높은 검출률(Recall)을 통해 실제 독소 조항의 누락(미탐)을 최소화하면서도, 가벼운 용량 덕분에 매우 빠른 속도로 동작합니다. 이로 인해 무거운 후단 모델의 호출량을 약 60% 절감하여 전체 파이프라인 응답 속도를 크게 개선했습니다.
-
역할: 2차 임베딩 검색으로 도출된 법령 및 판례 후보군 중, 실제 위반 사실을 완벽히 입증할 '진짜 정답'을 확정하는 최종 '판사' 역할
-
베이스 모델: klue/roberta-base (법적 매칭 및 문맥 파악의 정밀도가 매우 우수)
-
개발 과정 및 문제 해결:
- 문제점: 초기 3,000개 데이터셋 학습만으로는 미묘한 법리적 인과관계를 모두 학습하기 부족하여 무관한 판례를 매칭하는 오탐(False Positive) 비율이 존재했습니다.
- 해결책: 실제 판례 2,400여 건의 핵심 요약과 근로기준법 420여 개 전 조항을 상황별로 교차 매칭하는 '데이터 연금술' 과정을 통해 7,000건의 고품질 데이터셋을 재구축했습니다. 이와 더불어 상위 레이어를 개방하는 고도화된 학습 기법을 적용했습니다.
-
최종 성과:
- 성능 지표: 최적 임계값 0.54 기준 F1-Score 0.93, Precision(정밀도) 0.95
- 효과: 정밀도 95%라는 압도적인 수치를 달성하여 연관 없는 판례를 잘못 매칭하는 오탐 리스크를 원천 차단했습니다. 결과적으로 최종 LLM 답변 시 발생하는 환각(Hallucination) 현상을 차단하고, 전문가 수준의 신뢰성 높은 법률 기반 답변 생성이 가능해졌습니다.
