已部署数十台！谷歌称自家 AI 超算系统优于英伟达

【CNMO 新闻】聚财联社报道，当地时间周二（4 月 4 日），谷歌公布了其用于训练人工智能（AI）模型的超级计算机的最新细节。该公司称，这些系统比英伟达公司的同期系统更快、更节能。

谷歌

据了解，谷歌张量处理器（tensor processing unit，简称 TPU 芯片）是该公司为机器学习定制的专用芯片（ASIC），第一代发布于 2016 年，为当时大热的 AlphaGo 提供算力。与 GPU 相比，TPU 采用低精度计算，在几乎不影响深度学习处理效果的前提下大幅降低了功耗、加快运算速度。同时，TPU 使用了脉动阵列等设计来优化矩阵乘法与卷积运算。

谷歌第四代 TPU 芯片

谷歌表示，目前公司 90% 以上的 AI 训练工作都是通过谷歌自主研制的 TPU 芯片完成的。其 AI 训练的过程是：通过给模型输入数据，使其能够用类似人类的文本回应、并具备生成图像等功能。当前谷歌使用的是最新的第四代 TPU 芯片，谷歌公司周二发布的一篇论文详细阐述了该公司是如何利用自己定制的光开关，将 4000 多个芯片组合到一台超级计算机中，从而帮助连接一台台独立机器。谷歌表示，其已经部署了数十台采用第四代 TPU 打造的超级计算机，供内部使用和外部通过谷歌云使用。

相关论文

谷歌在论文中表示，对于同等大小的系统，其芯片比基于英伟达 A100 芯片的系统快 1.7 倍，能效高 1.9 倍。英伟达 A100 芯片与第四代 TPU 同时上市，并被用于 GPT-4 的训练。不过英伟达目前的旗舰是 H100 芯片，谷歌并为与之进行对比，因为 H100 在谷歌芯片之后上市，并且采用了更先进的制程。