This dataset was created by automatically translating "OpenAssistant/oasst2" into Japanese by DeepL.
"OpenAssistant/oasst2" を DeepL翻訳を用いて日本語に自動翻訳したデータセットになります。
以下のコードを用いることで、 Instruction と Output (prompterの命令とassistantの回答)の形式に変換することができます。
ファインチューニングで使用する場合はこちらのコードで変換して下さい(変換には5分程度かかります)。
変換コード参考
https://github.com/h2oai/h2o-llmstudio/blob/5ebfd3879e226b4e1afd0a0b45eb632e60412129/app_utils/utils.py#L1888
pip install… See the full description on the dataset page:
https://huggingface.co/datasets/kunishou/oasst2-135k-ja.