
第5代EPYC處理器支援Scale-up向上擴充及Scale-out橫向,其中Scale-up版本內建16個Zen 5 CCDs,擁有128個核心、256個執行緒,而Scale-out版本內建12個Zen 5c CCDs,雖然CCDs數量比較少,但是最多有192個Zen 5c核心、384個執行緒。
回顧EPYC處理器從2017年的第1代EPYC,到2024年的第5代,處理器內的CPU核心數從最初的32個核心,到現在的192個核心,核心數增加6倍,效能方面,第5代EPYC處理器比第1代EPYC提升11倍的效能。
AMD也從不同角度比較新一代EPYC處理器所能帶來的效益,例如在虛擬化的軟體授權成本方面,以同樣64個核心的第5代EPYC處理器9575F和第4代EPYC的9554、英特爾第5代Xeon 8592+作比較,第5代EPYC處理器9575F的單一核心效能,較AMD前一代EPYC,英特爾第5代Xeon處理器效能分別高出1.2倍、1.6倍;單單以第5代EPYC處理器和競爭對手英特爾的產品相比,相當於在相同虛擬化軟體授權成本下,效能多出60%。
在AI及推論效能方面,相同處理器在機器學習及端到端AI,第5代EPYC和競爭對手相比擁有3倍、3.8倍的AI效能。
第5代EPYC處理器更多的CPU核心,在資料中心有限的空間、供電下,可減少伺服器數量,AMD以1000臺老舊的2P英特爾Xeon Platium 8280伺服器為例,如果汰換為現代伺服器,採用第5代EPYC處理器的伺服器,伺服器數量可減少至131臺,相當於7:1伺服器數量整併比例,減少伺服器數量,意謂著降低TCO總持有成本,減少伺服器用電。
同步發表Instinct MI325X加速器,明年下半年再推MI350
在資料中心專用GPU方面,去年夏天AMD發表Instinct MI300系列,包括APU設計的MI300A,以及MI300X,AMD也推廣ROCm開放軟體平臺,擴大ROCm對AI函式庫的支援,向開發社群招手,擴大Instinct加速器的生態系。
蘇姿丰表示,ROCm經過不斷的調整,在推論及訓練效能已提升2倍效能,支援的模型數量上,透過和Hugging face深化合作,現在支援的模型數量已超過1百萬個。此外,也和AI開發社群、新創深化合作,例如PyTorch、ONNX、TensorFlow,擴大AI生態系統。
今年AMD更新Instinct系列加速器,發表MI325X加速器,採用CDNA 3架構,內建更大的256GB HBM3E記憶體,記憶體頻寬提高到每秒6TB,FP16效能測試下,可達到1.3PF,在FP8效能測試下,可達到2.6PF。
AMD 以MI325X和Nvidia H200 HGX相比,MI325X最大可支援2TB HBM3E,為H200HGX的1.8倍記憶體容量,記憶體頻寬最多可每秒48TB,為H200的1.3倍,在AI模型訓練及推論效能也有所提升。MI325X並未公布價格,但將在今年第4季開始生產,相關系統將在明年第1季推出,根據AMD公布的資料,Dell、技嘉、HPE、Lenovo、Supermicro將會採用。
根據AMD的Instinct系列產品規畫,明年下半年將會發表MI350系列,MI350將會採用3奈米製程,支援FP4及FP6資料類型,並且有別於先前採用的CDNA 3架構,MI350開始採用新的CDNA 4架構,和舊架構相比,推論效能可望達到35倍之多。
AMD展示Instinct MI355X在FP16及FP8測試下,其效能表要比MI325X高出1.8倍,在FP6及FP4,可達到9.2PF。
看好資料中心AI加速器市場持續成長,年複合成長率超過6成,可望從2023年450億美元成長到2028年的5,000億美元,AMD展現持續投入資料中心GPU市場的決心,除了明年下半年的MI350系列,先預告2026年將推出MI400系列,採用下一代CDNA架構。
因應資料中心處理AI工作負載的需求增加,除了發表新一代EPYC處理器,以及Instinct系列AI加速器,資料中心網路產品方面,AMD發表第3代P4引擎,每秒處理多達1.2億個封包,400GB/s傳輸速度。
今天發表採用新的P4引擎資料中心DPU產品,包括AMD Pensando Salina 400,以及另一款也採用P4引擎的Pensando Pollara 400,Pollara支援Ultra Ethernet Consortium聯盟即將推出的UEC1.0標準,支援可編程的硬體Pipeline,提供最高6倍效能加速。