資料中心的黑科技——到底什麼是NPO/CPO?

大家好,我是小棗君。

今天這篇文章,我們來聊聊資料中心的兩項最新黑科技—NPO/CPO。

故事還是要從頭開始講起

故事還是要從頭開始講起。

去年,國家發佈了「東數西算」戰略,吸引了全社會的關注。

所謂「東數西算」,其實就是資料中心的任務分工調整。我們將東部沿海地區的部分算力需求,轉移到西部地區的資料中心完成。

之所以這麼做,就是因為西部地區能源資源比較充沛,而且自然溫度較低,可以大幅減少電費以及碳排放。

我們都知道,資料中心是算力的載體,現階段我們大搞數字化轉型和數字經濟,離不開算力,也離不開資料中心。但是,資料中心的耗電問題,無法忽視。

根據資料顯示,2021年全國資料中心總用電量為2166億千瓦時,佔全國總用電量的2.6%,相當於2個三峽水電站的年發電量,1.8個北京地區的總用電量。

如此恐怖的耗電量,對我們實現「雙碳」目標造成了很大壓力。

於是乎,行業開始加緊研究,究竟如何才能將資料中心的能耗降下來。

資料中心(IDC)

資料中心(IDC)

大家應該都知道,資料中心有一個重要的參數指標,那就是PUE(Power Usage Effectiveness,電能使用效率)

PUE=資料中心總能耗/IT設備能耗。其中資料中心總能耗,包括IT設備能耗,以及製冷、配電等其它系統的能耗。

我們可以看出,除了用在主設備上的電量之外,還有很大一部分能耗,用在散熱和照明上。

所以,搗鼓資料中心的節能減排,思路就在兩點:

1、減少主設備的功耗

2、減少散熱和照明方面的功耗(主要是散熱)

█主設備的功耗挑戰

說起主設備,大家馬上就想到了伺服器。是的沒錯,伺服器是資料中心最主要的設備,它上面承載了各種業務服務,有CPU、記憶體等硬體,可以輸出算力。

但實際上,主設備還包括一類重要的設備,那就是網路設備,也就是交換機、路由器、防火牆等。

目前,AI/ML(人工智慧/機器學習)的加速落地,再加上物聯網的高速發展,使得資料中心的業務壓力越來越大。

這個壓力不僅體現在算力需求上,也體現在網路流量上。資料中心的網路接入頻寬標準,從過去的10G、40G,一路提升到現在100G、200G甚至400G。

網路設備為了滿足流量增長的需求,自身也就需要不斷迭代升級。於是乎,更強勁的交換晶片,還有更高速率的光模組,統統開始用上。

我們先看看交換晶片

交換晶片是網路設備的心臟,它的處理能力直接決定了設備的能力。這些年,交換晶片的功耗水漲船高,如下圖所示:

交換機晶片功耗變化趨勢

交換機晶片功耗變化趨勢

值得一提的是,雖然網路設備的總體功耗在持續提升,但是,單Bit(比特)的功耗是持續降低的。也就是說,能效越來越高。

再看光模組

光模組在光通訊領域,擁有重要的地位,直接決定了網路通訊的頻寬。

早在2007年的時候,一個萬兆(10Gbps)的光模組,功率才1W左右。

隨著40G、100G到現在的400G,800G甚至以後的1.6T光模組,功耗提升速度就像坐上了火箭,一路飆升,直逼30W。大家可要知道,一個交換機可不止一個光模組,滿載的話,往往就有幾十個光模組(假如48個,就是48×30=1440 W)。

一般來說,光模組的功耗大約佔整機功耗的40%以上。這就意味著,整機的功耗極大可能會超過3000 W。

一個資料中心,又不止一交換機。這背後的功耗,想想都很可怕。

除了交換晶片和光模組之外,網路設備還有一個大家可能不太熟悉的「耗電大戶」,那就是——SerDes

SerDes是英文SERializer(序列器)/DESerializer(解串器)的簡稱。在網路設備中,它是一個重要器件,主要負責連接光模組和網路交換晶片。

簡單來說,就是將交換晶片出來的並行資料,轉換成序列資料進行傳輸。然後,在接收端,又將序列資料轉換成並行資料。

前面提到,網路交換晶片的能力在不斷提升。因此,SerDes的速率也必須隨之提升,以便滿足資料傳輸的要求。

SerDes的速率提升,自然就帶動了功耗的增加。

在102.4Tbps時代,SerDes速率需要達到224G,晶片SerDes(ASIC SerDes)功耗預計會達到300W。

需要注意的是,SerDes的速率和傳輸距離,會受到PCB材料工藝的影響,並不能無限增加。換句話說,當SerDes速率增加、功耗增加時,PCB銅箔能力不足,不能讓信號傳播得更遠。只有縮短傳輸距離,才能保證傳輸效果。

這有點像扔鉛球比賽,當鉛球越重(SerDes速率越高),你能扔的距離就越短。

具體來說,SerDes速率達到224G時,最多只能支持5~6英寸的傳輸距離。

這意味著,在SerDes沒有技術突破的前提下,網路交換晶片和光模組之間的距離,必須縮短。

綜上所述,交換晶片、光模組、SerDes,是網路設備的三座「功耗」大山。

根據設備廠商的資料顯示,過去的12年時間,資料中心的網路交換頻寬提升了80倍,背後的代價就是:交換晶片功耗提升約8倍,光模組功耗提升26倍,交換晶片SerDes功耗提升25倍。

資訊來源:2020 Cisco and/or its affiliates.All rights reserved.Cisco Public

在此情況下,網路設備在資料中心內的功耗佔比,隨之不斷攀升。

網路設備(紅色)的能耗佔比

網路設備(紅色)的能耗佔比

資料來源:Facebook-OIF CPO Webinar 2020

█散熱的功耗挑戰

前面小棗君仔細介紹了網路設備的功耗挑戰。接下來,我們再看看散熱。

事實上,相比對網路設備的功耗提升,散熱的功耗才是真正的大頭

根據資料統計,交換設備在典型資料中心總能耗中的佔比,僅僅只有4%左右,還不到伺服器的1/10。

但是散熱呢?根據CCID資料統計,2019年中國資料中心能耗中,約有43%是用於IT設備的散熱,基本與45%的IT設備自身的能耗持平。

即便是現在國家對PUE提出了嚴格要求,按照三級能效(PUE=1.5,資料中心的限定值)來算,散熱也佔了將近40%。

傳統的散熱方式(風冷/空調製冷),已經不能滿足當前高密資料中心的業務發展需求。於是,我們引入了液冷技術

液冷,是使用液體作為冷媒,為發熱部件散熱的一種新技術。引入液冷,可以降低資料中心能近90%的散熱能耗。資料中心整體能耗,則可下降近36%。

這個節能效果,可以說是非常給力了,直接省電三分之一。

除了散熱更強更省電之外,液冷在噪音、選址(不受環境氣候影響)、建設成本(可以讓機櫃採用高密度佈局,減少機房佔地面積)等方面也有顯著優勢。

所以,現在幾乎所有的資料中心,都在採用液冷。有的液冷資料中心,甚至可以將PUE幹到1.1左右,接近1的極限值。

液冷,是不是把整個設備全部浸沒在液體裡呢?

不一定。

液冷的方案,一般包括兩種,分別是浸沒式冷板式

浸沒式,也叫直接式,是將主設備裡發熱量大的元器件,全部浸入冷卻液中,進行散熱。

冷板式,也稱間接式,是將主要散熱部件與一塊金屬板貼合,然後金屬板裡有冷媒液體流動,把熱量帶走。現在很多DIY組裝電腦,就是冷板式。

伺服器採用液冷,已經是非常成熟的技術。那麼,既然要上液冷,當然是伺服器和網路設備一起上,會更好啊,不然還要搞兩套體系。

問題來了,咱們的網路設備,能上液冷嗎?

█NPO/CPO,閃亮登場

噹噹噹!鋪墊了那麼多,我們的主角,終於要閃亮登場了。

為了儘可能地降低網路設備的自身工作功耗以及散熱功耗,在OIF(光網際網路絡論壇)的主導下,業界多家廠商,共同推出了——NPO/CPO技術

2021年11月,國內設備廠商銳捷網路(Ruijie Networks),發佈了全球第一款25.6T的NPO冷板式液冷交換機。2022年3月,他們又發佈了51.2T的 NPO冷板式液冷交換機(概念機)。

NPO冷板式液冷交換機

NPO冷板式液冷交換機

NPO,英文全稱Near packaged optics,近封裝光學。CPO,英文全稱Co-packaged optics,共封裝光學。

簡單來說,NPO/CPO是將網路交換晶片和光引擎(光模組)進行「封裝」的技術。

我們傳統的連接方式,叫做Pluggable(可插拔)。光引擎是可插拔的光模組。光纖過來以後,插在光模組上,然後通過SerDes通道,送到網路交換晶片(AISC)。

CPO呢,是將交換晶片和光引擎共同裝配在同一個Socketed(插槽)上,形成晶片和模組的共封裝。

NPO是將光引擎與交換晶片分開,裝配在同一塊PCB基板上。

大家應該能看出來,CPO是終極形態,NPO是過渡階段。NPO更容易實現,也更具開放性。

之所以要做集成(「封裝」),目的很明確,就是為了縮短了交換晶片和光引擎間的距離(控制在5~7cm),使得高速電信號能夠高質量的在兩者之間傳輸,滿足系統的誤位元速率(BER)要求。

縮短距離,保證高速信號的高質量傳輸

縮短距離,保證高速信號的高質量傳輸

集成後,還可以實現更高密度的高速埠,提升整機的頻寬密度。

此外,集成使得元件更加集中,也有利於引入冷板液冷。

NPO交換機內部(揭開冷板後)

NPO交換機內部(揭開冷板後)

可以看到,交換晶片和光引擎之間的距離大幅縮短

NPO/CPO技術的背後,其實就是現在非常熱門的矽光技術

矽光,是以光子和電子為資訊載體的矽基光電子大規模集成技術。簡單來說,就是把多種光器件集成在一個矽基襯底上,變成集成「光」路。它是一種微型光學系統。

矽光之所以這麼火,根本原因在於微電子技術已經逐漸接近性能極限,傳統的「電晶片」在頻寬、功耗、時延方面,越來越力不從心,所以,就改走了「(矽)光晶片」這個新賽道。

█NPO/CPO交換機的進展

NPO/CPO技術是目前各大廠商研究的熱門方向。尤其是NPO,因為擁有最優開放生態,產業鏈更加成熟,可以獲得成本及功耗的最快收益,所以,發展落地更快。

前面提到了銳捷網路的25.6T矽光NPO冷板式液冷交換機。

這款NPO交換機基於112G SerDes的25.6T的交換晶片,1RU的高度,前面板支持64個聯結器的400G光接口,由16個1.6T(4×400G DR4)的NPO模組組成,支持8個ELS/RLS(外接鐳射源模組)。

散熱方面,採用了非導電冷卻劑的冷板冷卻方式。

那款51.2T矽光NPO冷板式液冷交換機,高度不變,將NPO模組從1.6T升級到了3.2T,前面板支持64個800G聯結器,每個聯結器還可以分成2個400G埠,實現向前兼容。外接光源模組增加到了16個。

51.2T NPO冷板式液冷交換機

51.2T NPO冷板式液冷交換機

在實際組網中,51.2T的NPO交換機(最快在2023年底商用發佈),可以應用於100G/200G的接入網路,作為接入&匯聚設備,實現高速互聯。

值得一提的是,NPO/CPO的技術和產品研發,並不是一件簡單的事情,背後是對一家企業整體研發實力的考驗。

這次銳捷網路能夠全球首發NPO/CPO產品,是他們持續投入資源進行艱苦研發和創新的成果,也體現了他們在這個領域的技術領先性。

銳捷網路在2019年開始關注矽光領域技術,2020年6月正式成立研發及產品團隊。作為OIF/COBO的成員,他們一直都有參與工作組全球會議,參加相關標準的討論和制定。

OIF工作組全球會議現場

OIF工作組全球會議現場

在矽光這個方向上,銳捷網路已經走在了世界前列,未來可期。

█結語

好了,介紹了這麼多,相信大家已經看明白,到底什麼是NPO/CPO了。

這兩項技術,是資料中心網路設備毫無疑問的發展方向。在目前的數字化浪潮下,我們對算力和網路通訊能力的追求是無止境的。在追求性能的同時,我們也要努力平衡功耗。畢竟,我們要走的是可持續性發展的道路。

希望以NPO/CPO為代表的矽光科技,能夠進一步加速落地,為資訊基礎設施的綠色低碳做出貢獻。

未來,矽光技術究竟還會帶來怎樣的技術創新?讓我們拭目以待吧!

——全文完——

——全文完——

相關文章

關於「資料中心」的最強入門科普

關於「資料中心」的最強入門科普

小棗君注:前幾天介紹「東數西算」的時候,很多同學問到了關於資料中心的問題。今天專門寫一篇,與大家交流探討。 資料中心,英文縮寫叫IDC,也就...

到底是無線最難?還是核心網最難?

到底是無線最難?還是核心網最難?

大家好,我是小棗君。 今天這篇文章,我們來探討一個通訊行業的長期爭議話題——到底是無線最難?還是核心網最難? 眾所周知,通訊行業雖然對外統稱...

新人必讀!五分鐘搞懂通訊行業!

新人必讀!五分鐘搞懂通訊行業!

大家好,我是小棗君。 今天這篇文章,是「通訊入門三部曲」的第三篇文章,也是最後一篇文章。 前兩篇文章,給大家介紹了通訊的基本理論(連結),還...

激盪三十年:銀行資料庫的發展與變遷

激盪三十年:銀行資料庫的發展與變遷

大家好,我是小棗君。今天,我們來聊一個和「錢」有關的話題。 在日常緊張的工作生活裡,最歡樂的一件事情,莫過於老闆們發紅包,大家搶紅包。 不知...

關於天線,有史以來最強的科普文

關於天線,有史以來最強的科普文

大家好,我是小棗君。 今天我要給大家介紹的,是天線。 嗯,就是這個東東: 天線,是我們生活中很常見的一種通訊設備。但是,大部分人其實對它並不...

算力網路,到底是如何工作的?

算力網路,到底是如何工作的?

大家好,我是小棗君。 前幾期文章,我給大家詳細介紹了一下算力和算力網路的本質。今天,是算力系列的最後一期,我們詳細看看算力網路的組網架構和技...

1G、3G都失敗了,5G也會失敗嗎?

1G、3G都失敗了,5G也會失敗嗎?

大家好,我是小棗君。 在我們通訊行業裡,一直都有這麼個說法——通訊標準如果是單數,一定失敗,如果是雙數,一定成功。 什麼意思呢?就是說,像1...

年砸4000億!智慧教育,到底有啥用?

年砸4000億!智慧教育,到底有啥用?

大家好,我是小棗君。 上週,我給大家介紹了一下什麼是智慧城市(連結)。今天,我們繼續探討關於「智慧」的話題,聊聊資訊通訊技術在教育領域的應用...

到底該如何看待 5.5G?

到底該如何看待 5.5G?

大家好,我是小棗君。 前段時間是6月6日國內5G發牌紀念日,加上6月9日又是R17標準凍結,所以行業裡特別熱鬧,活動特別多。 這些密集的商業...

到底什麼是「算力網路」?

到底什麼是「算力網路」?

引言: 前幾天,小棗君和大家聊了一下「算力」(連結)。今天,我們再接再勵,聊聊「算力網路」。 █什麼是「算力網路」 直奔主題,到底什麼是算力...