Dataset Card for Dataset Name日英LLM向けのimatrix蒸留用データセットです。
既存のデータセットとしてはTFMC/imatrix-dataset-for-japanese-llmがありますが、
テキストの品質が低いように感じたので、
青空文庫、日英Wikipedia,Project Gutenbergよりデータをシャッフルして作成しました。
fujiki/wiki40b_ja
globis-university/aozorabunko-clean
manu/project_gutenberg
blo05/cleaned_wiki_en_80-100
llama-imatrix -m /path/to/model-file/original-f16.gguf -f imatrix_sample.txt
