返回工程笔记

4ROUTER / 路由

路由引擎内部

沿着一次请求,理解候选选择与分发。

工程笔记

从候选集合开始

在 4Router 的网关中,路由引擎负责从模型池中选择候选。模型描述、任务上下文与成本约束参与决策。候选评分用于解释选择过程,不能直接视为本次回答质量的保证。

决策与执行分开记录

选择了哪个模型,与调用该模型是否成功,是两个不同的问题。排查一次请求时,需要同时看到候选、选择结果和实际尝试。引擎页展示已有的录制决策,评测页说明用于比较的模型池、样本与测量口径。

让引擎保持平台内的边界

接入协议、账户、计费与审计属于平台能力,路由是其中一个环节。调用方可以根据接口支持的方式使用模型选择,或指定模型。集成时还应确认错误处理、流式结束和用量记录,避免只验证成功响应。

实施前需要确认

  • 模型池与约束
  • 候选和执行记录
  • 接口错误与流式结束

参考资料

4Router · Enthalpy

4ROUTER / 系统研究

深入机制与实验设计

理解算子、KV 状态与调度怎样共同决定一条推理路径。

在 Resources 中阅读系统笔记
GEMM / KERNELS

从算子到服务:cuBLAS 与 cuDNN

先识别限制执行的资源,再选择算子实现。

STATE / CAPACITY

KV cache:从张量形状到容量预算

上下文长度是一个随并发增长的状态预算。

TIERS / TRANSFER

LMCache:把 KV 状态放进存储层级

少算一次 prefill,要先付一次状态访问的成本。

聊聊你的基础设施需求。

接入平台,或讨论模型、性能与部署方案。