把握历史性时刻，谷歌决意投资GPU计算

在一年前的谷歌I/O 2022大会上，谷歌向全世界展示了其内部机器学习中心使用的8-pod TPUv4加速器，包含总计32768个第四代原研矩阵数学加速器。另外一套TPUv4 pod则部署在硅谷周边的一处数据中心。接下来的一年当中，相信谷歌持续部署了更多TPUv4 pod。

尽管还不清楚谷歌具体如何利用TPUv4引擎承载搜索引擎和广告服务平台上的推理任务，但从市场动态来看，谷歌确实是全球最大的英伟达GPU买家之一。另外，谷歌还在大量采购AMD Instinct GPU加速器，毕竟随着大语言模型的迅速爆发，大厂们手头掌握的GPU资源无疑越多越好。谷歌自己还是一家云服务商，必须能够提供客户需要和未来想要的东西。目前，希望在英伟达GPU上运行AI训练的客户明显是越来越多。

生成式AI功能全面入驻谷歌软件产品组合，成为本周谷歌I/O 2023大会的核心。这也在情理之中，毕竟业界公认OpenAI/微软这对组合已经在新一轮AI竞赛中取得领先，谷歌3月发布的Bart聊天机器人公测版本仍存在一定差距。如今谷歌最不愿看到的，就是OpenAI和微软最终在AI软件和硬件领域形成双头垄断，如同30年前数据中心/40年前PC兴起之时微软和英特尔形成的双头垄断一样。

颇为讽刺的是，在可能出现的双头垄断当中，OpenAI成了软件供应商，而微软Azure则扮演硬件供应商。据称微软已经使用10000个英伟达A100 GPU训练来自OpenAI的GPT-4大语言模型；更有传闻说微软将砸下25000个GPU训练后继模型GPT-5。这里我们大胆做出推测，这25000个GPU可能是英伟达A100加H100的组合。毕竟一口气买到2.5万个H100 GPU绝非易事，即使是微软和OpenAI也很难垄断如此珍贵的热门资源。

除了微软和OpenAI两位本家之外，客户能从Azure云上获取高端GPU资源就更有限了。从最近与微软Azure HPC与AI总经理Nidhi Chappell的对话中，我们获悉Azure在构建AI超级计算机系统方面并没有太多过激的尝试。微软使用的仍是标准的八路HGX-H100 GPU和来自英伟达的双插槽英特尔“Sapphire Rapids”至强SP主机节点。此外，Azure实例还搭载了400 Gb/秒的Quantum 2 InfiniBand交换机和ConnectX-7网络接口以实现节点互连，使得各实例能够扩展至4000个GPU（对应500个节点）。

谷歌将A3 GPU实例称为“超级计算机”，其中匹配的是与谷歌主干网络相同的“Apollo”光路交换（OCS）网络互连。这套Apollo OCS网络可针对不同拓扑实现重新配置，支持多种数据中心互连任务，将4096个GPU pod中的各TPUv4节点相互连接起来。OCS层则替代叶/脊Clos拓扑中的脊层。

谷歌AI基础设施现场照

A3实例使用同样的HGX-H100系统板和Sapphire Rapids主机系统，由英伟达作为整体单元统一交付。其他超大规模企业和云服务商也会在这套单元上部署“Hopper”GH100 SXM5 GPU加速器。HGX-H100卡上的8个GPU使用非阻塞NVSwitch互连，提供3.6 TB/秒对分带宽，能够将GPU及其内存接入类似NUMA的GPU计算复合体中，由此在内部实现内存共享计算。主机节点运行两块来自英特尔的56核至强SP-8480+ Platinum CPU，运行主频为2 GHz，作为双路服务器的顶部bin通用部分。这台强调性价比的设备配备2 TB DDR5内存，运行频率为4.8 GHz。