4ROUTER / 路由
当路由需要回退
把替代路径与失败边界说明白。
工程笔记

先区分失败原因
鉴权错误、请求格式错误、限流与上游暂时不可用,不应共享同一种重试行为。回退前先确认失败是否可恢复,以及替代模型是否满足接口、上下文和任务要求。
流式输出改变恢复边界
尚未向调用方输出内容时,更换执行路径相对清楚。一旦已经输出部分结果,直接拼接另一个模型的内容可能破坏语义或协议。服务应明确流式开始后的错误处理,让客户端知道结果是否完整。
记录每次尝试
最终成功并不代表没有发生额外成本或等待。保留候选、实际尝试、失败原因和最终结果,才能解释回退的影响。重试次数、总超时与预算应有明确限制,避免故障期间放大负载。
实施前需要确认
- 错误分类与可恢复条件
- 流式开始后的处理
- 重试、时间与成本边界


