快速开始
1. 安装
需要 Python 3.10 或更新版本。推荐在独立的虚拟环境安装:
python -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade ai-infra-bench
aib --help
Windows 使用 .venv\Scripts\activate 激活环境。
如需内置数据集或 Hugging Face tokenizer:
python -m pip install --upgrade 'ai-infra-bench[data]'
2. 连接推理服务
以下示例假设你已经启动服务,地址为 http://127.0.0.1:30000。将 your-model 替换为服务端公开的模型名称;鉴权服务还需要传入 --api-key。
aib req \
--base-url http://127.0.0.1:30000 \
--model your-model \
--prompt "请用一句话介绍你自己"
你会看到模型的流式回复和请求指标。连接失败时,先检查地址、模型名称和服务端日志。
3. 使用文本请求压测
创建 requests.jsonl,每行一个完整的请求体:
{"messages":[{"role":"user","content":"Explain what a GPU does."}],"max_tokens":128}
{"messages":[{"role":"user","content":"Explain what a KV cache does."}],"max_tokens":128}
aib bench \
--base-url http://127.0.0.1:30000 \
--model your-model \
--payload-regex-path requests.jsonl \
--max-concurrency 1 2 \
--num-warmup-requests 1 \
--disable-flush-cache \
--metric-path metrics.jsonl
这是连通性和输出流程检查,只包含两条正式请求,不适合作为性能结论。正式测试请扩大请求集,并阅读性能压测。--disable-flush-cache 适用于没有清缓存接口的服务。
4. 查看结果
aib plot-metrics metrics.jsonl -o metrics.html
使用浏览器打开 metrics.html,对比不同并发下的延迟和吞吐量。指标解释见指标与结果。