fxiao0369/

deepseek-v4-pro-swebench-replay

	deepseek-v4-pro-swebench-replay




	


	中文

这是一个 DeepSeek V4 Pro 在 SWE-bench 上的 agentic replay 数据集仓库。 用户不需要部署 SWE-bench，也不需要复现 Docker/benchmark 环境，即可直接查看和重放模型的多轮推理、工具调用和最终 patch 轨迹。

使用 EvalScope 收集 使用 EvalScope 中的 official SWE-bench agentic benchmark 模型：deepseek-v4-pro 运行模式：thinking + toolcall agentic loop 评测环境：rootless Docker + SWE-bench 官方 benchmark containers

verified_agentic: 500 / 500 traces lite_agentic: 300 / 300 traces… See the full description on the dataset page: https://huggingface.co/datasets/fxiao0369/deepseek-v4-pro-swebench-replay.