Nvidia 對組合封裝光學(xué)器件的認可意味著時機成熟

期待已久的新興計算機網(wǎng)絡(luò)組件可能終于迎來了它的時刻。在 上周于圣何塞舉行的 Nvidia GTC 大會上，該公司宣布將生產(chǎn)一款光網(wǎng)絡(luò)交換機，旨在大幅降低 AI 數(shù)據(jù)中心的功耗。該系統(tǒng)稱為組合封裝光學(xué)器件 （CPO） 交換機，每秒可以將數(shù)十 TB 從一個機架中的計算機路由到另一個機架中的計算機。與此同時，初創(chuàng)公司 Micas Networks 宣布，它正在使用基于 Broadcom 技術(shù)的 CPO 交換機進行批量生產(chǎn)。

在當(dāng)今的數(shù)據(jù)中心中，計算機機架中的網(wǎng)絡(luò)交換機由專用芯片組成，這些芯片與插入系統(tǒng)的光收發(fā)器電氣連接。（機架內(nèi)的連接是電氣的，但一些初創(chuàng)公司希望改變這一點?？刹灏问瞻l(fā)器結(jié)合了激光器、光電路、數(shù)字信號處理器和其他電子設(shè)備。它們與交換機建立電氣鏈路，并在交換機側(cè)的電子位和沿光纖飛過數(shù)據(jù)中心的光子之間轉(zhuǎn)換數(shù)據(jù)。

共封裝光學(xué)器件通過將光/電數(shù)據(jù)轉(zhuǎn)換盡可能靠近開關(guān)芯片來提高帶寬和降低功耗。這簡化了設(shè)置，并通過減少所需的獨立組件數(shù)量和電子信號必須傳輸?shù)木嚯x來節(jié)省功耗。先進的封裝技術(shù)允許芯片制造商用多個硅光收發(fā)器小芯片包圍網(wǎng)絡(luò)芯片。光纖直接連接到封裝上。因此，除激光器外，所有組件都集成到一個封裝中，激光器由于使用非硅材料和技術(shù)制造，因此保持外部。（即便如此，CPO 在 Nvidia 硬件中的每 8 個數(shù)據(jù)鏈路中只需要一個激光器。

“具有 400000 個 GPU 的 AI 超級計算機實際上是一臺 24 兆瓦的激光器?！薄?nbsp;Ian Buck，Nvidia 公司

盡管這項技術(shù)看起來很有吸引力，但它的經(jīng)濟性使其無法部署?！拔覀円恢痹诘却?CPO，”加州大學(xué)圣巴巴拉分校 （University of California Santa Barbara） 的共封裝光學(xué)專家兼 IEEE 研究員 Clint Schow 說，他已經(jīng)研究這項技術(shù) 20 年了。談到 Nvidia 對技術(shù)的認可，他說該公司“不會這樣做，除非 [GPU 密集型數(shù)據(jù)中心] 無力花費電力。所涉及的工程是如此復(fù)雜，Schow 認為除非“用老辦法做事”是不值得的。

事實上，Nvidia 指出，即將到來的 AI 數(shù)據(jù)中心的功耗是一個動機。Nvidia 超大規(guī)模和高性能計算副總裁 Ian Buck 表示，在 AI 數(shù)據(jù)中心，可插拔光學(xué)器件消耗的“占 GPU 總計算能力的 10%，令人震驚”。在一個擁有 400,000 GPU 的工廠中，這將轉(zhuǎn)化為 40 兆瓦，其中一半以上僅用于為可插拔光學(xué)收發(fā)器中的激光器供電?！耙慌_擁有 400000 個 GPU 的 AI 超級計算機實際上是一臺 24 兆瓦的激光器，”他說。

光調(diào)制器

Broadcom 的方案與 Nvidia 的方案之間的一個根本區(qū)別是光調(diào)制器技術(shù)，該技術(shù)將電子位編碼到光束上。在硅光子學(xué)中，有兩種主要類型的調(diào)制器——Broadcom 使用的 Mach-Zender 調(diào)制器，它是可插拔光學(xué)器件的基礎(chǔ)，以及 Nvidia 選擇的微環(huán)諧振器。在前者中，通過波導(dǎo)傳播的光被分成兩個平行的臂。然后，每個臂都可以通過施加的電場進行調(diào)制，從而改變通過的光的相位。然后，臂重新連接形成單個波導(dǎo)。根據(jù)這兩個信號現(xiàn)在是同相還是異相，它們將相互抵消或合并。因此，電子位可以編碼到光上。

微環(huán)調(diào)制器要緊湊得多。環(huán)形波導(dǎo)不是沿兩條平行路徑分割光線，而是懸掛在光線主路徑的一側(cè)。如果光的波長可以在環(huán)中形成駐波，它將被虹吸掉，從主波導(dǎo)中過濾掉該波長。與磁環(huán)共振的確切波長取決于結(jié)構(gòu)的折射率，該折射率可以通過電子方式控制。

然而，微環(huán)的緊湊性是有代價的。微環(huán)調(diào)制器對溫度敏感，因此每個調(diào)制器都需要一個內(nèi)置的加熱電路，必須仔細控制并消耗功率。另一方面，馬赫-Zender 器件要大得多，導(dǎo)致更多的光線損失和一些設(shè)計問題，Schow 說。

期待已久的新興計算機網(wǎng)絡(luò)組件可能終于迎來了它的時刻。在 上周于圣何塞舉行的 Nvidia GTC 大會上，該公司宣布將生產(chǎn)一款光網(wǎng)絡(luò)交換機，旨在大幅降低 AI 數(shù)據(jù)中心的功耗。該系統(tǒng)稱為共封裝光學(xué)器件 （CPO） 交換機，每秒可以將數(shù)十 TB 從一個機架中的計算機路由到另一個機架中的計算機。與此同時，初創(chuàng)公司 Micas Networks 宣布，它正在使用基于 Broadcom 技術(shù)的 CPO 交換機進行批量生產(chǎn)。

在當(dāng)今的數(shù)據(jù)中心中，計算機機架中的網(wǎng)絡(luò)交換機由專用芯片組成，這些芯片與插入系統(tǒng)的光收發(fā)器電氣連接。（機架內(nèi)的連接是電氣的，但一些初創(chuàng)公司希望改變這一點?？刹灏问瞻l(fā)器結(jié)合了激光器、光電路、數(shù)字信號處理器和其他電子設(shè)備。它們與交換機建立電氣鏈路，并在交換機側(cè)的電子位和沿光纖飛過數(shù)據(jù)中心的光子之間轉(zhuǎn)換數(shù)據(jù)。

共封裝光學(xué)器件通過將光/電數(shù)據(jù)轉(zhuǎn)換盡可能靠近開關(guān)芯片來提高帶寬和降低功耗。這簡化了設(shè)置，并通過減少所需的獨立組件數(shù)量和電子信號必須傳輸?shù)木嚯x來節(jié)省功耗。先進的封裝技術(shù)允許芯片制造商用多個硅光收發(fā)器小芯片包圍網(wǎng)絡(luò)芯片。光纖直接連接到封裝上。因此，除激光器外，所有組件都集成到一個封裝中，激光器由于使用非硅材料和技術(shù)制造，因此保持外部。（即便如此，CPO 在 Nvidia 硬件中的每 8 個數(shù)據(jù)鏈路中只需要一個激光器。

“具有 400000 個 GPU 的 AI 超級計算機實際上是一臺 24 兆瓦的激光器?！薄?nbsp;Ian Buck，Nvidia 公司

盡管這項技術(shù)看起來很有吸引力，但它的經(jīng)濟性使其無法部署?！拔覀円恢痹诘却?CPO，”加州大學(xué)圣巴巴拉分校 （University of California Santa Barbara） 的共封裝光學(xué)專家兼 IEEE 研究員 Clint Schow 說，他已經(jīng)研究這項技術(shù) 20 年了。談到 Nvidia 對技術(shù)的認可，他說該公司“不會這樣做，除非 [GPU 密集型數(shù)據(jù)中心] 無力花費電力。所涉及的工程是如此復(fù)雜，Schow 認為除非“用老辦法做事”是不值得的。

事實上，Nvidia 指出，即將到來的 AI 數(shù)據(jù)中心的功耗是一個動機。Nvidia 超大規(guī)模和高性能計算副總裁 Ian Buck 表示，在 AI 數(shù)據(jù)中心，可插拔光學(xué)器件消耗的“占 GPU 總計算能力的 10%，令人震驚”。在一個擁有 400,000 GPU 的工廠中，這將轉(zhuǎn)化為 40 兆瓦，其中一半以上僅用于為可插拔光學(xué)收發(fā)器中的激光器供電。“一臺擁有 400000 個 GPU 的 AI 超級計算機實際上是一臺 24 兆瓦的激光器，”他說。

光調(diào)制器

Broadcom 的方案與 Nvidia 的方案之間的一個根本區(qū)別是光調(diào)制器技術(shù)，該技術(shù)將電子位編碼到光束上。在硅光子學(xué)中，有兩種主要類型的調(diào)制器——Broadcom 使用的 Mach-Zender 調(diào)制器，它是可插拔光學(xué)器件的基礎(chǔ)，以及 Nvidia 選擇的微環(huán)諧振器。在前者中，通過波導(dǎo)傳播的光被分成兩個平行的臂。然后，每個臂都可以通過施加的電場進行調(diào)制，從而改變通過的光的相位。然后，臂重新連接形成單個波導(dǎo)。根據(jù)這兩個信號現(xiàn)在是同相還是異相，它們將相互抵消或合并。因此，電子位可以編碼到光上。

微環(huán)調(diào)制器要緊湊得多。環(huán)形波導(dǎo)不是沿兩條平行路徑分割光線，而是懸掛在光線主路徑的一側(cè)。如果光的波長可以在環(huán)中形成駐波，它將被虹吸掉，從主波導(dǎo)中過濾掉該波長。與磁環(huán)共振的確切波長取決于結(jié)構(gòu)的折射率，該折射率可以通過電子方式控制。

然而，微環(huán)的緊湊性是有代價的。微環(huán)調(diào)制器對溫度敏感，因此每個調(diào)制器都需要一個內(nèi)置的加熱電路，必須仔細控制并消耗功率。另一方面，馬赫-Zender 器件要大得多，導(dǎo)致更多的光線損失和一些設(shè)計問題，Schow 說。

Schow 說，Nvidia 成功地將基于微環(huán)的硅光子引擎商業(yè)化是“一項了不起的工程壯舉”。

Nvidia CPO 交換機

據(jù) Nvidia 稱，在新的 AI 數(shù)據(jù)中心采用 CPO 交換機將使激光器數(shù)量增加四分之一，將傳輸數(shù)據(jù)的功率效率提高 3.5 倍，將信號從一臺計算機準(zhǔn)時傳輸?shù)搅硪慌_計算機的可靠性提高 63 倍，使網(wǎng)絡(luò)對中斷的彈性提高 10 倍，并允許客戶將部署新數(shù)據(jù)中心硬件的速度提高 30%。

Nvidia 首席執(zhí)行官黃仁勛表示：“通過將硅光子學(xué)直接集成到交換機中，Nvidia 打破了超大規(guī)模和企業(yè)網(wǎng)絡(luò)的舊限制，并為擁有數(shù)百萬個 GPU 的 AI 工廠打開了大門。

該公司計劃推出兩類交換機，即 Spectrum-X 和 Quantum-X。該公司表示，Quantum-X 將于今年晚些時候推出，它基于 Infiniband 網(wǎng)絡(luò)技術(shù)，這是一種更面向高性能計算的網(wǎng)絡(luò)方案。它從 144 個端口中的每個端口提供 800 Gb/s，其兩個 CPO 芯片是液冷而不是風(fēng)冷，越來越多的新 AI 數(shù)據(jù)中心也是如此。網(wǎng)絡(luò) ASIC 包括 Nvidia 的 SHARP FP8 技術(shù)，該技術(shù)允許 CPU 和 GPU 將某些任務(wù)卸載到網(wǎng)絡(luò)芯片。

Spectrum-X 是一種基于以太網(wǎng)的交換機，可以從總共 128 或 512 個端口提供每秒約 100 TB 的總帶寬，從 512 或 2048 個端口提供 400 Tb/s 的總帶寬。硬件制造商預(yù)計將于 2026 年準(zhǔn)備好 Spectrum-X 交換機。

Nvidia 多年來一直致力于基礎(chǔ)光子學(xué)技術(shù)。但是，需要與 11 個合作伙伴（包括 TSMC、Corning 和 Foxconn）合作，才能實現(xiàn)商業(yè)化狀態(tài)。

Nvidia 光互連產(chǎn)品總監(jiān) Ashkan Seyedi 強調(diào)，這些合作伙伴帶來的技術(shù)必須經(jīng)過協(xié)同優(yōu)化以滿足 AI 數(shù)據(jù)中心需求，而不是簡單地從這些合作伙伴的現(xiàn)有技術(shù)組裝而成，這一點非常重要。

“CPO 實現(xiàn)的創(chuàng)新和節(jié)能與您的包裝方案、包裝合作伙伴和包裝流程密切相關(guān)，”Seyedi 說?！靶路f性不僅在于直接的光學(xué)元件，還在于它們?nèi)绾我愿弋a(chǎn)量、可測試的方式進行封裝，您可以以合理的成本進行管理?！?/p>

測試尤為重要，因為該系統(tǒng)是許多昂貴組件的集成。例如，Quantum-X 系統(tǒng)中的兩個 CPO 中每個 CPO 都有 18 個硅光子學(xué)小芯片。每個激光器都必須連接到 2 個激光器和 16 根光纖。Seyedi 說，該團隊必須開發(fā)幾個新的測試程序才能正確無誤并追蹤錯誤悄然出現(xiàn)的位置。

Micas Networks 交換機

Micas Networks 已經(jīng)投入生產(chǎn)，其交換機基于 Broadcom 的 CPO 技術(shù)。云母網(wǎng)絡(luò)

Broadcom 光學(xué)系統(tǒng)部門產(chǎn)品營銷高級經(jīng)理 Robert Hannah 解釋說，Broadcom 為其 Bailly CPO 開關(guān)選擇了更成熟的 Mach-Zender 調(diào)制器，部分原因是它是一種更加標(biāo)準(zhǔn)化的技術(shù)，可能使其更容易與現(xiàn)有的可插拔收發(fā)器基礎(chǔ)設(shè)施集成。

Mica 的系統(tǒng)使用單個 CPO 組件，該組件由 Broadcom 的 Tomahawk 5 以太網(wǎng)交換芯片組成，周圍環(huán)繞著八個 6.4 Tb/s 硅光子學(xué)光引擎。風(fēng)冷硬件現(xiàn)已全面投產(chǎn)，領(lǐng)先于 Nvidia 的 CPO 開關(guān)。

Hannah 稱 Nvidia 的參與是對 Micas 和 Broadcom 時機的認可?！皫啄昵?，我們決定滑到冰球要去的地方，”Micas 的首席運營官 Mitch Galbraith 說。他說，隨著數(shù)據(jù)中心運營商爭先恐后地為其基礎(chǔ)設(shè)施供電，CPO 的時代似乎已經(jīng)到來。

與配備標(biāo)準(zhǔn)可插拔收發(fā)器的系統(tǒng)相比，新交換機有望節(jié)省 40% 的功耗。然而，Mica 企業(yè)戰(zhàn)略副總裁 Charlie Hou 表示，CPO 更高的可靠性同樣重要。他說，“鏈路抖動”是可插拔光鏈路瞬態(tài)故障的術(shù)語，是導(dǎo)致本已非常長的 AI 訓(xùn)練運行延長的罪魁禍?zhǔn)字弧PO 預(yù)計鏈路抖動會更少，因為信號路徑中的組件較少，以及其他原因。

未來的 CPO

Schow 建議，數(shù)據(jù)中心希望從 CPO 中獲得的大型節(jié)能產(chǎn)品大多是一次性的好處。在那之后，“我認為這將成為新常態(tài)。然而，對電子設(shè)備其他功能的改進將使 CPO 制造商至少在一段時間內(nèi)繼續(xù)提高帶寬。

Schow 懷疑單個硅調(diào)制器（在 Nvidia 的光子引擎中以 200 Gb/s 的速度運行）是否能夠超過 400 Gb/s。然而，其他材料，如鈮酸鋰和磷化銦，應(yīng)該能夠超過這個數(shù)字。訣竅是以經(jīng)濟實惠的方式將它們與硅組件集成，總部位于圣巴巴拉的 OpenLight 和其他小組正在研究這一點。

與此同時，可插拔光學(xué)器件并沒有停滯不前。本周，Broadcom 推出了一種新的數(shù)字信號處理器，該處理器可能會導(dǎo)致 1.6 Tb/s 收發(fā)器的功耗降低 20% 以上，部分原因是采用了更先進的硅工藝。

Avicena、Ayar Labs 和 Lightmatter 等初創(chuàng)公司正在努力將光學(xué)互連一直引入 GPU 本身。前兩者開發(fā)了小芯片，旨在與 GPU 或其他處理器放在相同的封裝中。Lightmatter 更進一步，使硅光子學(xué)引擎成為未來芯片 3D 堆疊的封裝基板。