ko-answerable: Passage와 Question이 답변을 할 수 있는가?의 2진 분류
Model Details
SelfCheckGPT의 Answerable model에 감명받아 제작하게 되었습니다. (
https://arxiv.org/abs/2303.08896)
Max Seq Len: 4096
Input Text Style: <BOS>Question<SEP>Title<SEP>Passage<EOS>
Return: 1: 응답 없음, 0: 응답 가능 (sigmoid score 사용 가능)
사용된 데이터셋 (해당 데이터셋에서 'is_impossible'을 기준으로 50:50으로 랜덤 추출(0,1 비중이 맞도록))
- KLUE
- AIHub-도서자료 기계독해
- AIHub-뉴스 기사 기계독해 데이터
- AIHub-행정 문서 대상 기계독해 데이터
- 표기반 질의응답 데이터 (매튜님에게 개인적으로 받음)
AIHub-기계독해 데이터도 존재하나, 데이터 전처리하기 구조가 좀 복잡하게 달라서 제외함.
예측 시간: 건당 평균 0.05초 이내 (RTX 3090 사용)
사용 GPU MEM: About 20GB (Seq가 길면 많이 먹음)
