cyberagent/

YokaiEval

このリポジトリには、「LLM は日本の民話を知っているか？ 妖怪知識評価データセットの構築へ向けて」（NLP2025）のデータが含まれています。

本データセットはLLMの日本文化に関する知識を特に妖怪を用いて評価するためのデータセットです。 特徴

妖怪に関する4択問題を810件の日本語データです。 問題の出典が全件人手で確認されています。

from datasets import load_dataset dataset = load_dataset("cyberagent/YokaiEval")

2025/3/18: version 1.0公開

以下の6種類の知識に関する問題が含まれています。

妖怪の行う行動 妖怪の形状・見た目 妖怪の生まれ・生態 妖怪の典拠 妖怪の伝承のある地域 現代における伝承… See the full description on the dataset page: https://huggingface.co/datasets/cyberagent/YokaiEval.