kyujinpy/KOR-OpenOrca-Platypus-v3 포함.
추가적으로, skt/kobest_v1 데이터셋 중 COPA와 Hellaswag를 adaptLLM의 논문을 참고하여서 instruction-output dataset으로 만들어서 추가함.
데이터셋 이용하셔서 모델이나 데이터셋을 만드실 때, 간단한 출처 표기를 해주신다면 연구에 큰 도움이 됩니다😭😭

[\n\t-=+,#/\＄?:^$.@*"–∼①②③④⑤ⓐⓑⓒ㉮㉯㉰㈜®...(중략)...∂Σ∩∅φμσℝλΛ≥℃∉⊂θ±€Øπ√≠≤ε∈∫ωηαβ÷≈ס̊°²/]

위의 정규표현식을 이용하여, 한국어 및 영어를 제외한 다양한 외국어, 이모지, 특수 문자 등등 제거. Output 답변이 너무 짧은 경우 제거. 번역 task 최대한 제거. (~번역… See the full description on the dataset page: https://huggingface.co/datasets/kyujinpy/Ko-various-dataset.