Chenyuwen/

welm-benchmark

	模型性能评测




	
	注意

请求数据prompt进行了脱敏，但prompt token长度等信息与真实数据保持一致； 由于prompt是随机生成的，会导致prefix cache无效； 不要设置stop token，直接生成到max tokens。

启动模型服务，默认模型服务提供了openai compatible http server, 以vllm为例：

python -m vllm.entrypoints.openai.api_server
--served-model-name ./model
--model ./model
--port 8081
--host 0.0.0.0
--trust-remote-code
--tensor-parallel-size 2

启动relayer，回放请求数据：cat tape1.jsonl | go run replay.go --endpoint… See the full description on the dataset page: https://huggingface.co/datasets/Chenyuwen/welm-benchmark.