4ROUTER / 弹性服务

设计冷启动路径

把服务从启动到可用的过程拆开。

工程笔记

启动不止一个阶段

从调度资源到可响应请求，可能经历镜像准备、进程启动、权重读取、设备加载与预热。把这些阶段分别记录，才能知道等待发生在哪里。不要用进程创建完成替代服务就绪。

本地权重缓存可以减少重复下载，但需要容量和版本管理。保留热副本可以减少启动等待，同时占用资源。选择哪种策略，应结合请求频率、模型切换情况和允许的等待时间。

权重损坏、加载失败和资源不足应有明确的错误与恢复流程。新副本未就绪前不应接收流量。测试扩容与滚动更新时，除了检查最终成功，也要检查等待期间调用方看到了什么。