生徒モデル選定目的でtakaさん評価コード(運営から提供されたコードを動作するように変更版)で評価してみた結果(佐々木分)です。
https://www.notion.so/23de14b94af5807a87b5c6292a3d3520https://matsuokenllmcommunity.slack.com/archives/C095PS80YTE/p1753979349212189?thread_ts=1753437729.053739&cid=C095PS80YTE
<predictionsフォルダ>素の Qwen3で hle_eval推論した結果hle_Qwen3-14B.jsonhle_Qwen3-32B.jsonhle_Qwen3-235B-A228B.json(441問回答版)、この後に追加で100問程度推論したファイルも別途あり(判定は未だ行っていない)(再度、推論するとpredictionsフォルダに入っている推論済の問題以外を追加で推論してくれる動作になっている)
<judgedフォルダ>素の Qwen3で… See the full description on the dataset page:
https://huggingface.co/datasets/llm-compe-2025-kato/test_eval_hle.