Google Cloud

Google Cloud昨（30）日公布最新版云端超级电脑基础服务Hypercomputer，并预览第6代TPU（Tensor Processing Unit）Trillium。

高速运算（Hypercomputing）基础架构Hypercomputer是Google Cloud专为运行AI负载设计，集结AI优化的TPU、CPU与GPU的集成硬件、开源软件而成的依用量计价服务。去年12月公布以TPU v5p为基础的版本后，本周Google Cloud在App Dev & Infrastructure高峰会上，公布以第6代TPU Trillium为基础的新版Hypercomputer，以及超运算相关软、硬件，包括Nvidia H200 Tensor Core GPU的A3 Ultra VM（预览版）和最新集群Hypercompute Cluster、Google自建Arm处理器Axion为基础的C4A VM，以及最新上线的Jupiter光纤交换网络（optic circuit network fabric）与AI/ML专用的区块存储（block storage）服务Hyperdisk ML。

Google强调，现为预览版的Trillium是当今浮点运算性能最高的TPU，单一TPU集群提供91 exaflops性能。和去年TPU v5e相较，训练AI模型性能提升4倍，推论吞吐量增加3倍，每颗芯片尖峰运算性能也拉高为4.7倍。而高频内存（HBM）容量和芯片间互连带宽都增加为2倍，但同时间能源耗用却少了67%。

HBM容量和带宽增倍让Trillium可更有效运行和训练权重更多与key-value缓存更大的模型，像是Gemma 2与Llama 2、或是专用专家混合（mixture of expert，MoE）实作。此外Trillium在运算密集的推论，包括大型扩散模型如Stale Diffusion XL。在单一高带宽低延迟Pod中Trillium以芯片互连技术（interchip interconnect，ICI）最高可扩充到256个芯片，以串连数百pods的上万颗芯片，以Google 13 Petabit/s的Jupiter数据中心网络打造超级电脑，而以Multislice软件，Trillium将可实现几近直线扩充的性能，来训练AI模型。。

在标竿测试上，Trillium运行Gemma 2-27B、MaxText Default-32B及Llama2-70B，性能是TPU v5p的4倍有余，运行Llama 2-7B及Gemma 2-9B则是超过3倍。而以每单位成本性能计算，Trillium是v5e的1.8倍、v5p的2倍，是最具成本效益的TPU。

其他新发布方面，采用Nvidia H200 Tensor Core GPU的A3 Ultra VM，将在11月整合到Google Cloud中，届时将推出集群Hypercompute Cluster。比起前代的A3 Mega，A3 Ultra VM特色包括GPU对GPU网络带宽增加2倍，LLM推论性能提升为最高2倍。在单一集群内最高可扩充到数千颗GPU以运行AI和HPC任务。

今天Google Cloud并宣布自家Arm架构Axion CPU为基础的C4A VM服务推出，强调性价比高于别家VM 10%，而比x86 CPU-based VM相比，性价比和能源效率都提升65%和60%，适合运行一般任务如Web或应用服务器、容器化微服务、开源数据库、内存内缓存、数据分析、媒体处理及AI推论应用等。

最后，Google Cloud还宣布Jupiter光纤交换网络（optic circuit network fabric）、以及AI/ML专用的区块存储（block storage）服务Hyperdisk ML今天上线。Jupiter光纤交换网络提供原生400 Gb/s连接速度和13.1Pb/s的对分带宽（bisection bandwidth），号称可处理地球上所有视讯影像。4月宣布的区块存储（block storage）服务Hyperdisk ML今天上线，可用于AI及HPC作业的存储需求，数据加载速度更快，一个volume可附加2500 instance，每volume集结传输量达1.2TB/s，是竞争者100倍有余。