NOTE / 05TIERS / TRANSFER
LMCache:把 KV 状态放进存储层级
当可复用上下文超过 GPU 常驻容量,问题从“有没有缓存”变成“缓存在哪里、何时搬运、是否值得搬运”。LMCache 为推理引擎提供 KV 存储与传输连接,将复用扩展到 CPU、磁盘和远端层级。它改变的是状态的生命周期和位置。
FIG. 01TIERS / TRANSFER
TIER 00GPU · HBM
TIER 01CPU · DRAM
TIER 02NVMe / Remote
资源 / 技术指南
这条路径复跑离线评测机制。要逐项重现公开结果,还需相同的矩阵、检查点、参数与软件版本。
以下命令从已安装 Enthalpy 的项目根目录执行,不会自动准备你的业务数据或生产凭据。
下面使用你已准备的 mine.jsonl.gz。若尚无矩阵,可用 enthalpy data list 查看公开来源,再按其说明下载。
enthalpy data matrix stats data/matrices/mine.jsonl.gz
enthalpy train sft \
--matrix data/matrices/mine.jsonl.gz \
--name gen1训练和评测回放矩阵,不调用供应商。若矩阵带有来源划分,则来源划分优先于下方哈希划分参数;保留划分日志。
enthalpy eval \
--matrix data/matrices/mine.jsonl.gz \
--checkpoint gen1 \
--test-fraction 0.3 --split-seed 0 \
--reference best_single --sweep-cost \
--out reports/gen1.json评测复核和对外引用应使用生成文件,而不是手工重录结果。
python3 scripts/sweep_table.py reports/gen1.sweep.json先排除输入与环境差异,再解释算法差异。
核对模型标识、供应商、模型名称与描述。不要跳过一致性检查来加载不匹配的检查点;改用对应池或重新训练。
核对数据版本、官方划分、任务过滤、训练参数与检查点。重新训练一个同名实验不等于获得公开案例的同一检查点。
继续阅读
继续:检查报告是否可引用