返回工程笔记

4ROUTER / 可观测性

跟踪一次完整请求

把接入、执行与结算放到同一条时间线上。

工程笔记

给请求一个关联身份

一次调用经过网关、模型服务与记录系统时,需要能够关联这些阶段。请求标识与 trace 上下文服务于不同层级,但都应在跨服务边界时保持清楚。日志中的时间点要能够对应到同一次工作。

记录阶段而非复制内容

Trace 中的 span 描述一段工作及其时间关系。可以记录排队、模型选择、上游调用和写入记录等阶段。提示词、响应与凭据不应因为方便调试就全部写入日志;采集范围需要与访问权限和保留策略一致。

从现象回到路径

看到慢请求时,先定位等待发生在哪一段,再对照错误和资源状态。看到费用差异时,需要关联尝试和实际用量,而不是只看一次最终响应。采样的追踪也不能替代必须完整保留的业务账目。

实施前需要确认

  • 关联标识的传递
  • 敏感内容采集边界
  • 记录保留与访问权限

参考资料

OpenTelemetry · Traces

4ROUTER / 系统研究

深入机制与实验设计

理解算子、KV 状态与调度怎样共同决定一条推理路径。

在 Resources 中阅读系统笔记
GEMM / KERNELS

从算子到服务:cuBLAS 与 cuDNN

先识别限制执行的资源,再选择算子实现。

STATE / CAPACITY

KV cache:从张量形状到容量预算

上下文长度是一个随并发增长的状态预算。

TIERS / TRANSFER

LMCache:把 KV 状态放进存储层级

少算一次 prefill,要先付一次状态访问的成本。

聊聊你的基础设施需求。

接入平台,或讨论模型、性能与部署方案。