AI 新时代，决胜于系统层面

我们已经过了仅凭演示效果来评判人工智能 (AI) 基础设施的阶段。如今，更关键的问题在于，这些能力能否以可靠、可扩展且具备成本效益的方式交付。这正是我们在设计下一代 AI 基础设施过程中，与云服务提供商、芯片合作伙伴及系统构建商共同面对的挑战。

Arm 云 AI 执行副总裁 Mohamed Awad

在电力、空间和预算等现实约束下，行业需要支撑不断增长的 AI 推理工作负载，更要能够为客户提供持续创造价值的服务。这一挑战正在重塑基础设施设计：从关注单个芯片和服务器，到关注整个机架；从提升单个组件性能到优化整个系统。

我们得出一个明确的结论：AI 基础设施不会走向单一的通用设计。智能体 AI (agentic AI) 需要系统级的优化，不同工作负载将需要不同架构。我们希望为生态系统提供统一的基础，同时让合作伙伴能够在最具价值的领域实现差异化创新。原因如下：

机架成为新的计算单元

处理器插槽和单台服务器仍然是计算体系的重要基础，但在 AI 时代，仅关注这些已远远不够。

在机架层面，AI 基础设施构建者能够统筹优化整个系统中的计算、内存、网络、电力及散热资源。这些机架将成为集群、超大规模集群，以及跨多个数据中心园区 AI 部署的基础模块。随着智能体 AI 的算力需求大幅攀升，基础设施必须持续实现更高效率与资源利用率，同时控制成本。

智能体 AI 将基础设施要求推向新高度

随着 AI 从简单的提示词问答模式逐步演进至智能体工作流，这种系统级视角变得愈发重要。

AI 智能体并不会在生成答案后就停止运行。它需要整合上下文信息、选择合适的模型、调用相应的工具、存储和检索状态信息、路由请求，并持续监测和评估执行结果。

智能体 AI 让系统协同设计变得至关重要，因为最高效率并非来自对每个组件进行单独优化，而是来自让整个系统协同工作，实现整体优化。

从模型吞吐量转向实际任务完成度

这一演进也正在改变我们衡量 AI 基础设施的方式。每秒生成 Token（词元）的数量和模型时延依然十分重要，但这些指标并不能说明智能体是否真正完成了任务。

用户真正关心的是任务是否被准确完成；而基础设施运营者更关注资源利用率、可靠性、能耗以及实现这一结果所需的成本。