跳到主要内容

本地监控

aib monitor 在本机管理 Prometheus 和 Grafana,预置 SGLang 仪表盘,适合在压测期间观察服务端指标。SGLang 需启用 --enable-metrics 并提供 /metrics。

启动​

aib monitor --base-urls http://127.0.0.1:30000 --open

默认 Prometheus 为 http://127.0.0.1:9090,Grafana 为 http://127.0.0.1:3000。命令打印具体 URL,并进入交互终端;退出终端时会停止其启动的进程。

多个目标可在 --base-urls 后依次列出。使用 --prometheus-port 和 --grafana-port 解决端口冲突。

运行时选项​

参数说明
--runtime auto默认;使用已有程序或下载经过校验的独立二进制
--runtime system使用本地安装的程序
--runtime download使用下载的程序
--no-grafana只运行 Prometheus
--scrape-interval 5s采集间隔,默认 5 秒
--runtime-dir ./monitor-runtime保存配置与运行日志
--dry-run只生成配置,不下载或启动程序
aib monitor --base-urls http://127.0.0.1:30000 \
--runtime-dir ./monitor-runtime --dry-run

无网络环境使用 --runtime system,也可以通过 --prometheus-bin、--grafana-bin、--grafana-home 指定现有程序。默认只绑定本机回环地址。

服务端监控反映引擎内部状态,客户端的端到端延迟与吞吐量仍以 aib bench 结果为准。