命令行参考
通过 aib --help 列出命令;通过 aib <command> --help 查看已安装版本的完整参数。
命令一览
| 命令 | 用途 |
|---|---|
req | 发送单个请求 |
bench | 性能压测与普通请求回放 |
slo | YAML 驱动的 SLO 搜索 |
session-bench | 按会话回放;别名 session-reply-bench |
eval-dataset | 数据集正确性评测 |
eval-logits | 比较端点的 Top-K logprob |
eval-hidden-states | 比较隐藏状态扩展输出 |
plot-metrics | 将聚合指标导出为交互 HTML |
monitor | 管理本地监控栈 |
reply | 回放 token ID 输入/输出数据 |
check-device | 检查 NVIDIA GPU 的硬件属性,无需 torch |
check-weight | 检查 safetensors 模型权重 |
profile-sgl | 启动或停止 SGLang profiling |
token | 使用 Hugging Face tokenizer 编码/解码;别名 tokenize |
部分高级命令需要服务端扩展或额外依赖,使用前请查看各自帮助。
GPU 硬件检查
aib check-device # 默认检查全部 CUDA 可见 GPU
aib check-device --device 0 # 指定一个 CUDA 设备编号
aib check-device --device 0 --device 1 # 指定多个设备
aib check-device --json # 输出 JSON
仅使用 Python 标准库和 NVIDIA 驱动,无需额外 Python 依赖、torch 或 CUDA Toolkit。
输出包括计算能力(sm_XX)、SM 数量、每 block/SM 的共享内存限制、L1 支持情况、L2 容量、显存容量与位宽、时钟频率与周期,以及估算显存带宽。
CUDA 没有通用的 L1 容量查询接口,因此该字段显示 N/A(JSON 为 null);不支持的属性也以此表示。
时钟是驱动报告的设备属性,并非实时采样;周期是频率的倒数,不代表指令延迟。
带宽按 DDR 公式 2 × 显存时钟 × 位宽 / 8 估算,并非实测值,该假设未必适用于所有显存技术。
设备编号遵循 CUDA_VISIBLE_DEVICES,可能与 nvidia-smi 不同。无可见 GPU、驱动不可用或设备编号越界时返回非零退出码。
核心数量按已知架构的每 SM 配置乘以可见 SM 数量估算,包含 CUDA Core(FP32 单元)和 Tensor Core。
理论吞吐包括 CUDA FP32,以及 Tensor TF32、FP16、BF16、FP8(TFLOPS)和 INT8(TOPS),分别列出稠密与 2:4 结构化稀疏峰值。
浮点 Tensor 模式使用 FP32 累加,INT8 使用 INT32 累加;FMA 计作两次运算。
计算公式为 SM 数量 × 每 SM 每周期运算次数 × 时钟(kHz) / 10^9,并非实测吞吐。
Tensor 吞吐按型号匹配:V100、T4、A100/A800/A30、A10/A40、L4/L40/L40S、H100/H200/H800;未匹配的型号或不支持的精度显示 N/A。
L40 与 L40S 虽然具有相同的 SM 版本,但 Tensor 吞吐不同,使用独立配置。未知 SM 版本不会套用相近架构的核心数量。
通用连接参数
以下参数适用于 req、bench、eval-logits、session-bench 和 HTTP 数据集评测。eval-logits 使用 --base-urls 指定一个或多个端点,也接受 --base-url 别名;必须显式提供地址。
| 参数 | 默认值 | 说明 |
|---|---|---|
--base-url | 127.0.0.1:30000 | 服务根地址,可带 /v1 |
--api-key | OPENAI_API_KEY 或 JustKeepMe | 显式参数优先于环境变量 |
--model | 未设置 | 请求模型名;要求 model 的服务必须设置 |
--override-payload | 未设置 | JSON 对象,覆盖请求顶层字段 |
--seed | 42 | 随机请求生成种子;eval-logits 不使用此参数 |
req、bench、eval-logits 均支持 --prompt(别名 --user-prompt)和 --output-len(别名 --max-tokens)。文本 prompt 通过 chat completions 发送;bench 会重复该 prompt,默认 100 个请求,不能同时指定 dataset 或 payload 文件。--input-len 不控制文本 prompt 的长度。重复 prompt 可能命中服务端前缀缓存。
请求字段优先级:输入请求体/默认值 < 显式参数 < --override-payload。JSON 必须是对象,按顶层覆盖,嵌套对象整体替换。流式模式按工具职责控制:bench 使用流式统计,req 使用 --disable-stream 切换,eval-logits 仅支持非流式,拒绝 stream:true。
SLO 通过 YAML 中的 endpoint 配置连接信息,不使用上述 CLI 参数。
常用 bench 参数
| 参数 | 默认值 | 说明 |
|---|---|---|
--dataset | random | 与 --payload-regex-path 互斥 |
--num-requests | random/ShareGPT 为 100 | 其他工作负载由数据量决定 |
--max-concurrency | 32 | 可指定多个正整数 |
--request-rate | inf | 请求到达速率 |
--input-len / --output-len | 8192 / 1024 | random/ShareGPT 目标长度 |
--num-warmup-requests | 10 | 预热请求上限 |
--repeat | 1 | 每个并发值重复次数 |
--metric-path | aib-metric.jsonl | 聚合指标文件 |
--disable-warmup | 关闭 | 跳过普通预热 |
--disable-flush-cache | 关闭 | 跳过清缓存和 bench 预热 |
Token 工具
python -m pip install 'ai-infra-bench[data]'
aib token --tokenizer /path/to/tokenizer "Hello world"
aib token --tokenizer /path/to/tokenizer --decode '[1, 2, 3]'
token ID 与模型/tokenizer 相关,请使用与服务端一致的 tokenizer。