跳到主要内容

命令行参考

通过 aib --help 列出命令;通过 aib <command> --help 查看已安装版本的完整参数。

命令一览​

命令用途
req发送单个请求
bench性能压测与普通请求回放
sloYAML 驱动的 SLO 搜索
session-bench按会话回放;别名 session-reply-bench
eval-dataset数据集正确性评测
eval-logits比较端点的 Top-K logprob
eval-hidden-states比较隐藏状态扩展输出
plot-metrics将聚合指标导出为交互 HTML
monitor管理本地监控栈
reply回放 token ID 输入/输出数据
check-device检查 NVIDIA GPU 的硬件属性,无需 torch
check-weight检查 safetensors 模型权重
profile-sgl启动或停止 SGLang profiling
token使用 Hugging Face tokenizer 编码/解码;别名 tokenize

部分高级命令需要服务端扩展或额外依赖,使用前请查看各自帮助。

GPU 硬件检查​

aib check-device                         # 默认检查全部 CUDA 可见 GPU
aib check-device --device 0 # 指定一个 CUDA 设备编号
aib check-device --device 0 --device 1 # 指定多个设备
aib check-device --json # 输出 JSON

仅使用 Python 标准库和 NVIDIA 驱动,无需额外 Python 依赖、torch 或 CUDA Toolkit。 输出包括计算能力(sm_XX)、SM 数量、每 block/SM 的共享内存限制、L1 支持情况、L2 容量、显存容量与位宽、时钟频率与周期,以及估算显存带宽。 CUDA 没有通用的 L1 容量查询接口,因此该字段显示 N/A(JSON 为 null);不支持的属性也以此表示。 时钟是驱动报告的设备属性,并非实时采样;周期是频率的倒数,不代表指令延迟。 带宽按 DDR 公式 2 × 显存时钟 × 位宽 / 8 估算,并非实测值,该假设未必适用于所有显存技术。 设备编号遵循 CUDA_VISIBLE_DEVICES,可能与 nvidia-smi 不同。无可见 GPU、驱动不可用或设备编号越界时返回非零退出码。

核心数量按已知架构的每 SM 配置乘以可见 SM 数量估算,包含 CUDA Core(FP32 单元)和 Tensor Core。 理论吞吐包括 CUDA FP32,以及 Tensor TF32、FP16、BF16、FP8(TFLOPS)和 INT8(TOPS),分别列出稠密与 2:4 结构化稀疏峰值。 浮点 Tensor 模式使用 FP32 累加,INT8 使用 INT32 累加;FMA 计作两次运算。 计算公式为 SM 数量 × 每 SM 每周期运算次数 × 时钟(kHz) / 10^9,并非实测吞吐。 Tensor 吞吐按型号匹配:V100、T4、A100/A800/A30、A10/A40、L4/L40/L40S、H100/H200/H800;未匹配的型号或不支持的精度显示 N/A。 L40 与 L40S 虽然具有相同的 SM 版本,但 Tensor 吞吐不同,使用独立配置。未知 SM 版本不会套用相近架构的核心数量。

通用连接参数​

以下参数适用于 req、bench、eval-logits、session-bench 和 HTTP 数据集评测。eval-logits 使用 --base-urls 指定一个或多个端点,也接受 --base-url 别名;必须显式提供地址。

参数默认值说明
--base-url127.0.0.1:30000服务根地址,可带 /v1
--api-keyOPENAI_API_KEY 或 JustKeepMe显式参数优先于环境变量
--model未设置请求模型名;要求 model 的服务必须设置
--override-payload未设置JSON 对象,覆盖请求顶层字段
--seed42随机请求生成种子;eval-logits 不使用此参数

req、bench、eval-logits 均支持 --prompt(别名 --user-prompt)和 --output-len(别名 --max-tokens)。文本 prompt 通过 chat completions 发送;bench 会重复该 prompt,默认 100 个请求,不能同时指定 dataset 或 payload 文件。--input-len 不控制文本 prompt 的长度。重复 prompt 可能命中服务端前缀缓存。

请求字段优先级:输入请求体/默认值 < 显式参数 < --override-payload。JSON 必须是对象,按顶层覆盖,嵌套对象整体替换。流式模式按工具职责控制:bench 使用流式统计,req 使用 --disable-stream 切换,eval-logits 仅支持非流式,拒绝 stream:true。

SLO 通过 YAML 中的 endpoint 配置连接信息,不使用上述 CLI 参数。

常用 bench 参数​

参数默认值说明
--datasetrandom与 --payload-regex-path 互斥
--num-requestsrandom/ShareGPT 为 100其他工作负载由数据量决定
--max-concurrency32可指定多个正整数
--request-rateinf请求到达速率
--input-len / --output-len8192 / 1024random/ShareGPT 目标长度
--num-warmup-requests10预热请求上限
--repeat1每个并发值重复次数
--metric-pathaib-metric.jsonl聚合指标文件
--disable-warmup关闭跳过普通预热
--disable-flush-cache关闭跳过清缓存和 bench 预热

Token 工具​

python -m pip install 'ai-infra-bench[data]'
aib token --tokenizer /path/to/tokenizer "Hello world"
aib token --tokenizer /path/to/tokenizer --decode '[1, 2, 3]'

token ID 与模型/tokenizer 相关,请使用与服务端一致的 tokenizer。