浪潮信息宣布元脑企智一体机已率先完成对Kimi K2万亿参数大模型的适配支持，并实现单用户70 tokens/s的流畅输出速度。Kimi K2是月之暗面推出的开源万亿参数大模型，模型总参数量达1万亿，激活参数为320亿。元脑企智一体机采用元脑服务器NF5688G7作为算力底座，其搭载FP8计算引擎，配备1128GB HBM3e高速显存，单台服务器即可支持K2万亿参数全量模型部署，为Kimi K2提供了专家间高速并行通信，最大化并行效率。（美通社）
真灼财经 >
公司 >
正文
微信扫码 > 右上角点击 > 分享