4ROUTER / 弹性服务

把推理组织为弹性服务

从一个运行进程，到有明确边界的服务。

工程笔记

划定服务的责任

面向调用方，服务需要说明输入格式、流式行为、超时和错误。面向运行端，则需要说明模型加载、并发限制、健康状态和关闭流程。将两侧边界写清楚，才能在副本变化时保持一致的调用体验。

进程启动不代表模型已经可接受请求。下载权重、加载到设备和必要的预热都可能仍在进行。就绪检查应反映服务是否能够接收新请求；关闭时应先停止接收，再处理或明确终止在途请求。

扩容信号可以参考队列等待、活跃请求与资源余量，但副本启动需要时间。保留热容量与按需启动之间存在成本和等待的取舍。对外应说明具体部署的边界，而不把按需运行等同于随时无等待。