4ROUTER / 性能

理解连续批处理

请求持续到达时，如何安排生成工作。

工程笔记

批次为什么会变化

在线请求不会同时开始和结束。连续批处理允许推理调度器随着生成推进，加入新的请求并移除已完成的请求。这样可以利用释放的容量，但具体的吞吐和延迟仍取决于输入、输出和调度设置。

长提示词处理与逐 token 生成有不同的计算特征。将它们放在同一运行队列时，需要考虑长输入对正在生成的请求产生的影响。分块预填充等策略改变执行顺序，应通过交互负载验证。

增加同时处理的请求并不必然改善用户体验。容量不足会增加等待，还可能挤压缓存空间。配置批次时，应一起观察队列、首 token 时间、生成间隔和失败请求，并为取消与超时保留处理路径。