产品

网关平台

一个 OpenAI 兼容的多模型网关。请求在这一层被决策、执行、记账并留档;本页说明四个组成部分各自负责什么。

端点

协议为 OpenAI 兼容:更换 base_url,现有客户端照常工作。服务模型名 enthalpy-1 表示由网关选择;填池内真实模型 id 则跳过路由直连。

接入文档 →

决策记录

每一次调用的候选表、每次尝试与拒绝原因写入 route_decisions,响应中的 enthalpy_route 对象给出同一份信息。按 request_id 可在控制台查回任意一次决策。

决策如何做出:引擎页 →

账本

按上游真实用量逐条记账,金额精确到 1e-8 美元;每笔可展开到 token 计数,对账差异单独列出。

计费口径 →

控制台

密钥签发与吊销、额度与速率、用量汇总、决策与审计记录,随账户提供。

打开控制台 →

4ROUTER / 系统研究

把配置选择,放回系统原理。

理解算子、KV 状态与调度怎样共同决定一条推理路径。

在 Resources 中阅读系统笔记
GEMM / KERNELS

从算子到服务:cuBLAS 与 cuDNN

先识别限制执行的资源,再选择算子实现。

STATE / CAPACITY

KV cache:从张量形状到容量预算

上下文长度是一个随并发增长的状态预算。

SCHEDULING / SLO

从 Prefill 到 Decode:调度的实验设计

提升吞吐时,仍要知道谁在等待。

聊聊你的基础设施需求。

接入平台,或讨论模型、性能与部署方案。