YukiTomita-CC/

AKU-d_ms-0.5B-v0.1_dataset

	AKU-d_ms-0.5B-v0.1_dataset




	
	Overview

このリポジトリは、私の開発しているAKUシリーズの1つ目となる、AKU-d_ms-0.5B-chat-v0.1の事前学習に使用したテキストデータを集めています。 これには次で説明するように複数の公開データセットから作成したテキストファイルが含まれており、それぞれのライセンスや著作権は各データセットに従います。また、各データセットに対する処理スクリプトは、上記GitHubリポジトリ内にて公開しています。 合計トークン数は 1.56 B tokensとなります。(モデルに使用しているTokenizerによる計算)

	Each Dataset Description




	

Dataset Name License URL or Repository token count

Accommodation Search Dialog Corpus (in Japanese) CC-BY-4.0 GitHub 139,246… See the full description on the dataset page: https://huggingface.co/datasets/YukiTomita-CC/AKU-d_ms-0.5B-v0.1_dataset.