LogicKor는 한국어 언어모델 다양한 분야에서의 사고력을 측정하기위해 구성된 LLM-as-a-judge 방식의 멀티턴 벤치마크 데이터셋입니다. 본 데이터셋은 6가지(추론, 수학, 글쓰기, 코딩, 이해, 국어)의 카테고리의 멀티턴 프롬프트 총 42개로 구성되어있습니다.
추론 및 평가 코드는 StableFluffy/LogicKor 저장소를 참고해주세요.
각 카테고리별 세부정보
추론 (Reasoning) - 논리적 사고, 문제 해결
수학 (Math) - 수학적 개념, 계산
글쓰기 (Writing) - 문장간의 호응, 창의력
코딩 (Coding) - 코딩 지식, 기능 구현
이해 (Understanding) - 지문 이해, 정보 추출, 지시 이행
문법 (Grammar) - 한글 맞춤법, 표준 발음법
