繁體中文 Aya 是一個精心策劃的資料集,源自 CohereForAI 的綜合 Aya 集合,特別關注繁體中文文本資料。
此資料集結合了來自 CohereForAI/aya_collection,過濾掉除繁體中文、簡體中文內容之外的所有內容。
繁體中文 Aya 的目標是為研究人員、技術專家和語言學家提供即用型繁體中文文本資源,顯著減少專注於繁體中文的 NLP 和 AI 專案中數據預處理所需的時間和精力。
資料來源: 從 CohereForAI/aya_collection 64 個子集而來。
語言: 繁體中文、簡體中文('zho')
應用: 非常適合語言建模、文本分類、情感分析、和機器翻譯等任務。
論文連結: 2402.06619
維護人: Heng666
License: Apache-2.0… See the full description on the dataset page:
https://huggingface.co/datasets/Heng666/Traditional_Chinese-aya_collection.