4ROUTER / 性能

优化推理路径

定位延迟、吞吐与资源占用之间的取舍。

工程笔记

先拆分等待时间

一次请求的等待可能发生在入口队列、提示词处理、逐 token 生成或网络传输。总耗时无法直接说明瓶颈。先记录请求到达、进入执行、首个 token 与完成的时点，再对照输入长度和输出长度分析。

比较参数时保持模型、硬件、请求样本和到达模式一致。只看平均吞吐可能掩盖排队时间变长；只看单请求延迟又可能忽略并发场景。为交互和批处理分别定义可接受的等待，再判断优化是否符合使用目的。

批处理上限、缓存策略、精度和算子实现都会改变资源使用。先建立基线，再记录每次改动和相同口径的测量。若涉及量化或算子替换，还要检查任务质量与数值行为，避免把输出变化误认为纯性能收益。