返回工程笔记

4ROUTER / 可靠性

隔离不同工作负载

分别处理资源、数据与故障的边界。

工程笔记

隔离不止是资源配额

限制并发或资源数量可以约束占用,但不能单独建立完整的安全边界。模型缓存、文件系统、网络访问、账户权限和日志都可能跨越工作负载。需要按数据敏感程度与部署方式逐项确定。

让故障范围可控

一个任务资源耗尽时,应能识别并限制它对其他请求的影响。超时、队列上限、取消和资源回收需要配合。共享副本、独立进程与独立节点的隔离程度不同,选择时应说明代价和限制。

验证边界是否成立

测试不仅覆盖正常调用,也覆盖超额请求、异常退出、缓存清理和权限拒绝。私有化部署还需要核对模型文件、遥测出口与备份路径。交付说明应与实际运行配置一致,避免将部署位置当作完整的数据保护措施。

实施前需要确认

  • 资源和数据边界
  • 网络出口与权限
  • 异常退出及清理测试

参考资料

Kubernetes · Multi-tenancy

4ROUTER / 系统研究

深入机制与实验设计

理解算子、KV 状态与调度怎样共同决定一条推理路径。

在 Resources 中阅读系统笔记
GEMM / KERNELS

从算子到服务:cuBLAS 与 cuDNN

先识别限制执行的资源,再选择算子实现。

STATE / CAPACITY

KV cache:从张量形状到容量预算

上下文长度是一个随并发增长的状态预算。

TIERS / TRANSFER

LMCache:把 KV 状态放进存储层级

少算一次 prefill,要先付一次状态访问的成本。

聊聊你的基础设施需求。

接入平台,或讨论模型、性能与部署方案。