AI基礎設施的競爭正從「堆算力」轉向系統級優化。隨着AI從模型訓練進一步進入推理、智能體和長上下文工作流，算力芯片已不再是唯一瓶頸，網絡互聯、內存帶寬與容量，以及數據在不同層級之間的傳輸效率，正成為下一階段基礎設施升級的關鍵。

據追風交易台，花旗發布的AI基礎設施峯會紀要顯示，博通、Marvell、三星及AWS等公司在峯會第二天集中闡述了各自在網絡、存儲和定製芯片領域的佈局，釋放出一個共同信號：AI工作負載持續複雜化後，基礎設施需要同時解決互聯效率、內存容量、帶寬、功耗和成本等問題。

博通明確認為，以太網將成為大規模AI基礎設施的首選互聯方案，並稱其架構相較替代方案可實現超過30%的五年總擁有成本（TCO）節省。三星則披露HBM路線圖，預計新一代zHBM較HBM5可實現4至8倍的單GPU性能提升，同時將熱阻降低75%至90%。

從博通的高速以太網，到Marvell針對KV緩存的內存層級優化，再到三星推動HBM架構升級、AWS通過定製芯片提升內存帶寬經濟性，AI基礎設施的競爭正在從單純追求算力規模，轉向提升整個系統的數據流動效率。

網絡與內存，成為AI擴展的新瓶頸

博通產品管理副總裁Hasan Siraj在峯會上介紹了公司的AI網絡佈局。博通認為，以太網正在成為大規模AI基礎設施的首選互聯技術，Tomahawk和Jericho系列則是其核心網絡產品。

博通目前已形成覆蓋網卡（NIC）、交換機和軟件的AI以太網方案。其中，Tomahawk系列持續以每代翻倍的速度提升帶寬，最新Tomahawk 6達到102.4 Tbps，面向更大規模AI集群。博通稱，更高的網絡效率能夠同步降低功耗、散熱及基礎設施運營成本，其方案相比替代方案可節省超過30%的五年TCO。

Marvell數據中心網絡集團執行副總裁兼總經理Dave Lazovsky則將重點放在內存層級。隨着AI進入推理密集型和長上下文場景，KV緩存規模快速增長，可能超過HBM容量上限，系統因此需要從速度更慢的內存層級重新加載數據，甚至重新計算上下文。

Marvell指出，這一過程會推高推理延遲、內存流量和功耗，成為AI系統進一步擴展的瓶頸。由此來看，未來AI基礎設施不僅需要增加算力，也需要重新優化內存層級和數據傳輸路徑，讓數據能夠更高效地在不同計算與存儲層級之間流動。

HBM與定製芯片，爭奪系統效率

三星DRAM產品規劃與業務拓展副總裁In Dong Kim判斷，AI將沿「生成式AI→智能體AI→物理AI」的路徑演進。三星預計，訓練需求將增長約3倍，推理需求可能增長約100倍，內存、存儲、功耗和散熱的重要性隨之提升。

三星預計，HBM4E將實現每GPU 16 TB/s帶寬，性能功耗比相比HBM4提升20%；HBM5較HBM4E實現2倍性能提升。更激進的zHBM則被三星視為潛在顛覆性技術，其單GPU性能較HBM5提升4至8倍，性能功耗比提升3倍，熱阻降低75%至90%。

三星同時介紹了Z-NAND方案，採用SLC NAND與TSV堆疊，讀取性能可比肩LPDDR5 DRAM，比特密度約為DRAM的10倍，預計2028年開始送樣。

AWS則通過定製芯片提升AI系統效率。AWS基礎AI模型、定製芯片及量子計算高級副總裁Peter DeSantis表示，公司已形成Graviton、Inferentia和Trainium自研芯片體系，並將Trainium的核心優勢歸結為「單位成本內存帶寬」，認為這一指標直接影響AI訓練經濟性和token效率。

隨着AI從模型訓練走向智能體和真實工作流，基礎設施競爭的焦點也在發生變化。算力規模仍然重要，但網絡連接、內存帶寬與容量，以及數據傳輸效率，正成為決定AI系統性能和成本的關鍵變量。