从单卡TOPS到真实Token吞吐，为何AI算力评估范式正

过去，AI芯片的性能几乎围绕一个核心指标展开：TOPS（每秒万亿次运算）。在厂商的发布会上比拼峰值算力，在客户在采购清单上比较TOPS数字，资本市场更是用TOPS为芯片公司估值。

这套逻辑，在模型训练时代大体成立——训练是计算密集型的，更大的算力意味着更短的收敛时间。但是，进入推理和Agent时代，TOPS的局限性开始暴露。根本原因在于，算力瓶颈已经不再是矩阵乘法的理论计算上限，而是显存容量、HBM带宽、KV缓存调度、跨卡互联、多级存储协同等访存与系统工程问题。

不难发现，Agent时代的AI算力评估范式正在发生根本性转变！

Agent场景带来新的系统级挑战，瓶颈从单卡转移到集群

我们知道，Agent不是单次问答，而是多轮循环的闭环任务：规划→工具调用→结果读取→上下文追加→再次思考。每一轮循环，上下文不断追加，KV缓存持续膨胀，并且大量上下文片段可以跨请求复用（前缀缓存）。

在大规模Agent集群中，挑战不再局限于单卡显存，而是分布式KV缓存池、GPU直通存储、RDMA网络、跨卡缓存共享。部分场景下，需要把冷的KV缓存从GPUHBM卸载到主机内存、NVMeSSD，构建多级缓存体系，也就是AI记忆存储。此时系统是一个算力-内存-存储-网络协同的综合体，单卡TOPS只是整个系统里很小的一个变量。

高TOPS芯片如果配套的HBM带宽不足、互联延迟高、不支持全局KV缓存池，放到Agent集群中，单卡的理论算力根本无法转化为集群整体Token产出。

除此之外，商业落地的核心指标，是每百万Token的生成成本，而不是每卡TOPS。由于TOPS不包含成本、能耗、延迟等业务约束，高TOPS芯片往往伴随更高功耗、更高采购成本、更高供电与冷却成本。如果一张卡TOPS很高，但功耗巨大，单位兆瓦所能产出的Token吞吐反而更低，在大规模智算集群中，长期运营成本会显著增加。

同时，业务还要关注TTFT（首token生成延迟）、TPOT（每输出token耗时）。同样Token吞吐，TTFT过高会导致Agent任务卡顿、多轮循环等待。TOPS完全不覆盖延迟指标，无法评估用户与智能体交互体验。

综上所述，TOPS的本质是芯片硬件理论上限，只适合评估离线矩阵计算。面对长上下文、