こちらのデータは、「kazuyamaa/Tanuki-8B-dpo-magpie-v001」に対して品質をアノテーションしたデータセットです。
※合計307,129件のデータセット
※OpenAI Chatテンプレート形式で作成
※モデルは、「elyza/ELYZA-Thinking-1.0-Qwen-32B」を使用
!pip install json_repair
!pip install -U "fsspec<2024" datasets huggingface_hub
!pip install bitsandbytes>=0.45.0
!pip install vllm
-- coding: utf-8 --
"""
高速版 ‒ calm3 / Qwen‑32B 用アノテーションスクリプト（Jupyter 対応 fix）
- 事象: vLLM 0.9 系で
prefill_chunk_size が EngineArgs に存在しない環境がある
- 対応:
prefill_chunk_size は… See the full description on the dataset page: https://huggingface.co/datasets/kazuyamaa/Tanuki-8B-dpo-magpie-annotated-v001.
