jiangnanboy/

llm_benchmarking

LLM 推理服务器基准测试工具是一款专业的性能测试软件，用于评估大语言模型（LLM）推理服务的性能。软件支持测试外部 API 服务（如 DeepSeek、OpenAI）和本地部署的模型，能够全面评估客户端和服务器端的性能指标。