4ROUTER / 弹性服务

随负载扩展

让容量变化与请求行为相匹配。

工程笔记

先选择有意义的信号

GPU 利用率描述设备活动，但不直接表示调用方等待。队列长度、等待时间、活跃请求和生成速度提供不同视角。扩容规则需要说明使用哪些信号，以及为何它们能够反映当前工作负载。

指标被采集、规则被执行、资源被调度、模型被加载，都需要时间。在突发流量到来后才扩容，可能无法解决已经形成的等待。容量计划需要同时考虑热资源、队列上限和过载时的响应。

缩容时先停止给目标副本分配新工作，并说明在途请求如何结束。长生成任务可能影响关闭时间。反复扩缩会浪费加载成本，也会增加运行波动，因此策略需要稳定窗口与明确的最低容量。