erhwenkuo/

c4-chinese-zhtw

	Dataset Card for "c4-chinese-zhtw"




	
	內容

Common Crawl 是一個非營利組織，負責抓取網路並向公眾免費提供其檔案和資料集。Common Crawl 的網路檔案包含自 2008 年以來收集的 PB 級資料。它一般每月完成一次抓取。 Common Crawl 的爬蟲程式遵守 nofollow 和 robots.txt 政策。用於處理 Common Crawl 資料集的開源程式碼是公開可用的。 這個繁中的數據來是來自 Common Crawl 2023-14 的 data archive 下載并進行清理 。 這是 jed351 準備的版本，託管在這個位址：

C4主要用於預訓練語言模型(pretrain language model)。

一個樣本的範例: {… See the full description on the dataset page: https://huggingface.co/datasets/erhwenkuo/c4-chinese-zhtw.