性能压测
aib bench 支持随机 token、内置文本数据集和自定义请求回放。先固定请求内容,再比较不同负载,能让结果更容易复现。
随机 token 工作负载
服务端需支持整数 token ID 的 completions 请求和 ignore_eos,模型词表还需覆盖生成的 ID(0–9999)。
aib bench \
--base-url http://127.0.0.1:30000 \
--model your-model \
--dataset random \
--input-len 1024 --output-len 256 \
--num-requests 100 \
--max-concurrency 1 4 16 \
--repeat 2 \
--disable-flush-cache \
--label baseline \
--metric-path metrics.jsonl
--max-concurrency 接受多个值,逐个测试;--repeat 为每个并发值重复测试。--request-rate 设置请求到达速率(请求/秒),默认为 inf,尽可能保持并发饱和。有限速率下,请求可能在客户端排队;请求延迟从实际发起 HTTP 请求时计时,不包括此前的客户端排队。
--num-requests 是正式阶段请求数。启用普通预热时,最多使用前 10 条请求预热;预热不计入正式指标,正式阶段仍运行完整列表。当前 --disable-flush-cache 也会跳过 bench 的预热;如需预热,请使用支持清缓存的服务并去掉该选项。
长度分布和前缀缓存
--random-range-ratio 0.5 使输入、输出长度分别在目标长度的一半到目标长度之间均匀采样整数。默认 1.0 为固定长度。
使用 --dataset random --cache-ratio 0.5 可共享前缀,长度为 int((input_len - 1) * 0.5)。启用预热和清缓存时,每次正式测试前会使用该前缀执行预热请求,数量由 --num-warmup-requests 决定;服务端是否命中缓存取决于缓存配置。若同时随机采样长度,共享前缀必须小于最短输入长度。
默认会尝试调用 /flush_cache;通用服务可以使用 --disable-flush-cache,但测试间可能保留缓存。请记录该设置以便比较。
使用内置数据集
python -m pip install 'ai-infra-bench[data]'
aib bench --dataset gpqa --num-requests 198 \
--max-concurrency 16 --disable-flush-cache
支持 gsm8k、gpqa 和 sharegpt。这是性能测试;测回答正确率请用 eval-dataset。
ShareGPT 按指定长度截断或重复文本,并设置输出长度,需要 tokenizer:
aib bench --dataset sharegpt \
--model your-model --tokenizer /path/to/tokenizer \
--input-len 1024 --output-len 256 \
--num-requests 100 --disable-flush-cache
回放自定义请求
aib bench --payload-regex-path 'requests/**/*.jsonl' \
--model your-model --max-concurrency 16 \
--disable-flush-cache --dump-path outputs.jsonl
文件格式为 JSON 数组(.json)或每行一个请求体(.jsonl)。路径使用 glob 模式,建议加引号;普通回放使用 chat completions 接口。请求数最多为实际加载的数据条数,不会通过 --num-requests 自动扩充数据。
普通回放不保证同一会话的顺序;有顺序依赖时使用会话回放。