NIA와 AI-Hub와의 저작권 협의 하에, 조금 혼선이 생긴것 죄송합니다.
이에 기존에 저희가 code베이스로 SSL 데이터를 생성했던 코드를 그대로 공개드립니다.
다만, 이 과정에서는 저희 이후 파이프라인인, 자체 로컬 모델을 가지고 필터링하거나 수정하는 과정이 없어, 어느정도 감안을 해주시면 감사하겠습니다.
Dataset: KoCommercial-Dataset
Info
kyujinpy/KOpen-platypus (*Except non-commercial datasets)… See the full description on the dataset page:
https://huggingface.co/datasets/MarkrAI/KoCommercial-Dataset.