matsuo-lab/

JP-LLM-Corpus-PII-Filtered-10B

本データセットは、CommonCrawlより抽出した約100億（10B）トークン規模の日本語テキストデータから、特に配慮が必要な「要配慮個人情報」をフィルタリング処理したものです。

元データソース: CommonCrawl（https://commoncrawl.org/） トークン数: 約10Bトークン 言語: 日本語 処理内容: 要配慮個人情報をルールベースおよび機械学習分類器を用いてフィルタリング

フィルタリングには以下のコードを使用しております。https://github.com/matsuolab/jp-llm-corpus-pii-filter/

本データセットは、非常に大規模なテキストから自動的に要配慮個人情報を除去したものであり、完全な排除を保証するものではありません。そのため、二次的な活用に際しては、目的に応じた適切な管理・配慮が必要です。… See the full description on the dataset page: https://huggingface.co/datasets/matsuo-lab/JP-LLM-Corpus-PII-Filtered-10B.