【华为将发布AI推理创新技术UCM 实现高吞吐、低时延体验】8月12日，在2025金融AI推理应用落地与发展论坛上，华为将发布AI推理创新技术UCM（推理记忆数据管理器）。作为一款以KV Cache为中心的推理加速套件，其融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，扩大了推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Tokenr的推理成本。（上证报）
真灼财经 >
真灼快讯 >
正文
【华为将发布AI推理创新技术UCM 实现高吞吐、低时延体验】
来源：真灼财经 时间：2025-08-12 13:22:12
字号
微信扫码 > 右上角点击 > 分享