ccw7463/

Ko_QnA_ver0.4

🚀 Dataset Info

simple qna : 157469 개

context qna : 88012 개

Ref (used)

beomi/KoAlpaca-v1.1a : 21155 개 HumanF-MarkrAI/WIKI_QA_Near_dedup : 137505 개 squad_kor_v1 : 66181 개 https://github.com/KLUE-benchmark/KLUE/tree/main/klue_benchmark/klue-mrc-v1.1 : 21831개

preocessing

(1) beomi/KoAlpaca-v1.1a : '추가 정보...', '추가 답변...', '덧붙이는 답변...' (2) all : change formatting (3) all : 이는, 이은 처럼 앞에 대상에대한 설명이 없는 Instruction일 경우 제거

Note (not used because of quality)

GSON-backup/KoInstruct-QA… See the full description on the dataset page: https://huggingface.co/datasets/ccw7463/Ko_QnA_ver0.4.