IT之家 6 月 20 日音讯，在当天举行的华为设立者大会 2025（HDC 2025）上，华为常务董事、华为云推断 CEO 张祯祥晓示基于 CloudMatrix384 超节点的新一代昇腾 AI 云干事全面上线，为大模子应用提供“倾盆算力”。

跟着大模子锻练和推理对算力需求的爆炸式增长，传统推断架构已难以守旧 AI 技能的代际跃迁。华为云新一代昇腾 AI 云干事基于 CloudMatrix384 超节点，始创将 384 颗昇腾 NPU 和 192 颗鲲鹏 CPU 通过全新高速收罗 MatrixLink 全平等互联，变成一台超等“AI 干事器”，单卡推理糊涂量跃升到 2300 Tokens / s。

超节点架构能更好地支抓羼杂群众 MoE 大模子的推理，不错赶走“一卡一群众”，一个超节点不错支抓 384 个群众并行推理，请示成果。同期，超节点还不错支抓“一卡一算力任务”，生动分派资源，请示任务并行科罚，减少恭候，将算力灵验使用率（MFU）请示 50% 以上。

关于万亿、十万亿参数的大模子锻练任务，在云数据中心，还能将 432 个超节点级联成最高 16 万卡的超大集群；同期，超节点还不错支抓训推算力一体部署，如“日推夜训”，训推算力可生动分派，匡助客户资源使用最优。

新浪与华为云深度互助，基于 CloudMatrix384 昇腾 AI 云干事，为“奢睿小浪”智能干事体系构建了和洽的推理平台，底层由昇腾 AI 算力提供支抓。推理的托付成果请示了杰出 50%，模子上线速率成倍加速；通过软硬协同调优，NPU 诓骗率请示杰出 40%。

硅基流动正在使用 CloudMatrix384 超节点，为数百万用户高效提供 DeepSeek V3、R1 的推理干事。面壁智能使用 CloudMatrix384 超节点，让他们的小钢炮模子的推理业务性能取得了 2.7 倍请示。

在科研鸿沟，中国科学院基于 CloudMatrix384 超节点打造了我方的模子锻练框架，快速构建了中国科学院 AI for Science 科研大模子，解脱了对国际高性能 AI 算力平台的依赖。

在互联网鸿沟，360 打造的纳米 AI 搜索，为用户提供超等 AI 搜索干事，也已开启了 CloudMatrix384 超节点的测试。

IT之家从大会获悉，现时，昇腾 AI 云干事为杰出 1300 家客户提供 AI 算力。

开云体育