返回工程笔记

4ROUTER / 路由

当路由需要回退

把替代路径与失败边界说明白。

工程笔记

先区分失败原因

鉴权错误、请求格式错误、限流与上游暂时不可用,不应共享同一种重试行为。回退前先确认失败是否可恢复,以及替代模型是否满足接口、上下文和任务要求。

流式输出改变恢复边界

尚未向调用方输出内容时,更换执行路径相对清楚。一旦已经输出部分结果,直接拼接另一个模型的内容可能破坏语义或协议。服务应明确流式开始后的错误处理,让客户端知道结果是否完整。

记录每次尝试

最终成功并不代表没有发生额外成本或等待。保留候选、实际尝试、失败原因和最终结果,才能解释回退的影响。重试次数、总超时与预算应有明确限制,避免故障期间放大负载。

实施前需要确认

  • 错误分类与可恢复条件
  • 流式开始后的处理
  • 重试、时间与成本边界

参考资料

4Router · Integration

4ROUTER / 系统研究

深入机制与实验设计

理解算子、KV 状态与调度怎样共同决定一条推理路径。

在 Resources 中阅读系统笔记
GEMM / KERNELS

从算子到服务:cuBLAS 与 cuDNN

先识别限制执行的资源,再选择算子实现。

STATE / CAPACITY

KV cache:从张量形状到容量预算

上下文长度是一个随并发增长的状态预算。

TIERS / TRANSFER

LMCache:把 KV 状态放进存储层级

少算一次 prefill,要先付一次状态访问的成本。

聊聊你的基础设施需求。

接入平台,或讨论模型、性能与部署方案。