11版權聲明ODCC（開放數(shù)據(jù)中心委員會）發(fā)布的各項成果，受《著作權法》保護，轉載、摘編或利用其它方式使用ODCC成果中的文字或者觀點的，應注明對于未經著作權人書面同意而實施的剽竊、復制、修改、銷售、改編、匯編和翻譯出版等侵權行為，ODCC及有關單位將追究其法律責任，感謝各單位I編寫組數(shù)字經濟時代，算力需求不斷增加，算力基礎設施能耗節(jié)節(jié)攀升，液冷因其顯著的散熱優(yōu)勢，成為數(shù)據(jù)中心的主要散熱技術，滿足政策和行業(yè)雙重需求。其中，冷板式液冷技術發(fā)展成熟、生態(tài)完本規(guī)范制訂的目的主要在于指導行業(yè)進行液冷服務器系統(tǒng)及部件的可靠性測試，提升液冷產品的設計、生由于時間倉促，水平所限，錯誤和不足之處在所難免，歡迎各冷板式液冷服務器可靠性測試規(guī)范O I II IV 1 1 3 4 4 5 7 9 10 10 11 12 13 13 15 17 17 17 17V冷板式液冷服務器可靠性測試規(guī)范O 18 19 20 20 21 22 23 23 24 24 25 26 27 28 29 30 30 31 32 33 34 34 35 36冷板式液冷服務器可靠性測試規(guī)范O 37 37 38 38 39 39 39 40冷板式液冷服務器可靠性測試規(guī)范O冷板式液冷服務器可靠性測試規(guī)范本規(guī)范適用于液冷服務器系統(tǒng)及部件的可靠性測試，包括機電、液冷、結構、軟件以及認證測試的各個場景，本規(guī)范中“液冷服務管路及CDU。本規(guī)范用以指導液冷產品開發(fā)的可靠性測試，項目可二、規(guī)范性引用文件下列文件對于本文件的應用是必不可少的。凡是注日期的引用GB/T2423.2電工電子產品環(huán)境試驗第2部分：試驗方法試驗GB/T2423.3環(huán)境試驗第2部分：試驗方法試驗Cab：恒定濕GB/T2423.5環(huán)境試驗第2部分：試驗方法試驗Ea和導則：沖擊1冷板式液冷服務器可靠性測試規(guī)范OYD/T3980-2021數(shù)據(jù)中心冷板式液冷服務器系統(tǒng)技術要求和測IEC62368-1音頻/視頻、信息和通信技術設備第1部分：安全2冷板式液冷服務器可靠性測試規(guī)范OISO7779信息技術設備和電信設備發(fā)出的空ISO9296Acoustics;declarednoiseemissGB/T14832-2008標準彈性體材料與液壓BSENISO9080Plasticspipingandductingsystems-Determinationofthelong-termhydrostaticstrengthofthermoplasticsmaterialsinpipeETSIEN300753AcousticNoiseEmittedByTelecom三、術語和定義指采用液體作為傳熱工質在冷板內部流道流動，通過熱傳遞對3冷板式液冷服務器可靠性測試規(guī)范O用于向機柜內各液冷冷板分配水或其他冷卻工質，一般介于冷量分配單元與冷板之間的冷卻工質供回裝置。在總線盲插架構中，背門熱交換器Reardoorheatexchanger一種安裝在機柜背面的熱交換器，通過內部流動的液冷，將經過的熱空氣進行冷卻，冷卻后的空氣再循環(huán)到數(shù)據(jù)中心，從而減少對傳統(tǒng)機房空調制冷設備的需求，一般設計成機柜背門形態(tài)。也可冷板式液冷整機柜服務器Coldplateliquidcoolingrack機柜管理單元、分液歧管、背門熱交換器（可選）等集成在機柜內的一體化服務器產品，一般采用冷板式液冷散熱，以整機柜一體化（一）液冷的定義液冷是以液體工質為傳熱介質，帶走設備熱量的散熱方式。液冷散熱系統(tǒng)通常由至少兩個相互隔離的循環(huán)回路組成，其中供給設4備的內循環(huán)也稱作二次側，將熱量傳遞給外界環(huán)境的循環(huán)也叫一次流體工質吸收熱量的方式有兩種：一種是通過流體溫度升高而吸收熱量，此時流體形態(tài)始終保持液態(tài)，也稱作單相液冷；另一種是由液態(tài)轉變?yōu)闅鈶B(tài)通過汽化潛熱轉移熱量，此時流體的形態(tài)發(fā)生（二）液冷一次側的散熱方式一次側的設備通常由客戶根據(jù)實際的應用條件，綜合考慮成本進行部署和安裝。主要的散熱設備包括主要有三種：干冷器、冷卻其中，干冷器通常由管翅式風液換熱器和風扇組成，管內走封5冷卻塔靠蒸發(fā)冷卻，換熱和空氣濕球溫度相關，利用水與空氣流動接觸后進行冷熱交換產生蒸汽，蒸汽揮發(fā)帶走熱量達到蒸發(fā)散熱、對流傳熱和輻射傳熱等原理來散去工業(yè)上或制冷空調中產生的余熱來降低水溫的蒸發(fā)散熱裝置，以保證系統(tǒng)的正常運行，裝置一般為桶狀，故名為冷卻塔；按水和空氣的接觸方式可分為直接冷卻制冷機組則是采用空調式的蒸發(fā)-壓縮-冷凝循環(huán)，利用制冷劑6從能耗上來看，制冷機組>>干冷器>冷卻塔，但是冷卻塔需要消耗大量的水，對于無水區(qū)域則難以使用。從制取水溫上看，制冷機組可以獲得7-12℃的冷卻水；干冷器出來的冷卻水高于環(huán)境干球溫度8.3-11.1℃（即T環(huán)+△T，一般適用于溫度較低的區(qū)域，否則水溫太高，高達到50-60℃);冷卻塔可以獲得高于環(huán)境濕球溫度2.8-3.9℃（開式）/3.9-6.7℃（閉式）的冷卻水（即T環(huán)+△T，一般（三）液冷二次側散熱的實現(xiàn)形式二次側的散熱，根據(jù)工質與發(fā)熱器件的距離可以將液冷分為以78柜級冷卻即機柜內安裝風液熱交換器，工質進熱交換器，設備（四）板級液冷系統(tǒng)的基本構成板級液冷系統(tǒng)主要由CDU、Manifold和冷板構成，三者通過管內部主要部件是泵、板換、管路以及監(jiān)控配電部件，一方面輸送液體到各個機柜，另一方面將來自各個機柜的熱量通過板換交換到一次側；它的控制主要是控制一次側流量和二次側進液溫度，以及負9冷板式液冷服務器可靠性測試規(guī)范O體分配給機柜內各個單板，并將各個單板載熱后的熱流體收集并回冷板（coldplate）則對應原風冷散熱器的位置，通過Tim/硅脂等材料和各發(fā)熱芯片接觸，冷板內部走流體，通過流體進出帶走熱（五）應用技術要求存儲時間3個月以內：-30℃~+60℃（-22℉~+140℉)存儲時間6個月以內：-15℃~+45℃（5℉~113℉)冷板式液冷服務器可靠性測試規(guī)范O存儲時間1年以內：-10℃~+35℃（14℉~95℉)）：a.風液復合半液冷：僅處理器或處理器和內存采用冷板液冷散b.風液復合全液冷：處理器和內存采用冷板液冷散熱，其他部c.全冷板液冷：處理器、內存、硬盤、標卡、PSU以及節(jié)點內d.整機柜服務器供電輸入應支持2N供電系統(tǒng)，宜采用集中供注：2N供電是指供電輸入有2個供電源，呈備份關系，每個供電源提供N(1)柜級分液歧管技術要求：a.應在最高點設置自動排氣閥，用于排放系統(tǒng)部署及運行過程中產生的氣體（自動排氣閥占用空間不應干涉服務器節(jié)點插拔維）；d.柜級分液歧管宜選用不銹鋼、鋁、PPR等材料，且系統(tǒng)中不應有兩種電位差較大的金屬共存，避免電化學腐蝕的發(fā)生，如果必e.盲插系統(tǒng)所使用的分液歧管宜配備防止快接頭故障噴射、漏a.配備快接頭浮動機構（僅采用盲插設計時適用），以滿足節(jié)c.管路設計應滿足相應的彎曲半徑要求，銅管不小于1.6倍管徑（直徑），非金屬軟管不小于3倍，以避免在裝配、運輸、維護冷板式液冷服務器可靠性測試規(guī)范Of.機柜和節(jié)點宜配套完善的漏液導流排出系統(tǒng)，以便在漏液發(fā)g.機柜底部應配備具有漏液檢測功能的傳感器，用于感知漏液五、失效模式液冷產品最有特點的三大失效模式為，堵塞、泄漏、凝露，除此以外還有其他的失效故障，可參考電子產品常見失效模式的分析（一）堵塞與風冷不同，液冷采用液體的循環(huán)流體散熱，有專門的流體通道，當循環(huán)系統(tǒng)中的某個節(jié)點發(fā)生堵塞，工質流道遇阻，會導致設備無法散熱、高溫告警、芯片降頻甚至宕機；堵塞有兩種形式：雜a.雜質（堵塞物）一般來源于加工、現(xiàn)場施工、運行過程沉淀等，聚集在焊接位置、縫隙較小的流道位置或者過濾器位置；零部對于此類堵塞，系統(tǒng)上采用備份方式避免，如下圖一次側、二次側c.堵塞的分析及驗證，應結合以上具體場景，挖掘所有可能出（二）泄漏接口和密封方式眾多，往往產生泄漏點，部冷板式液冷服務器可靠性測試規(guī)范O例3：FEP套寶塔，內部寶塔采用尼龍材質，長期受管路的擠壓產生蠕變，竹節(jié)結構向內變形，管和竹節(jié)之間的密封力下降，產冷板式液冷服務器可靠性測試規(guī)范O（三）凝露熱空氣遇到低溫的工質容易在部件表面產生凝露，溫度、相對濕度液冷系統(tǒng)一般會自動控制進出水溫度，避免產生凝露；但控制六、試驗方法（一）密閉性測試測試目的：確認液冷部件及整機柜（節(jié)點與機柜連接狀態(tài)）的冷板式液冷服務器可靠性測試規(guī)范Oa.將轉接管的其中一端母頭與壓力表對接，將轉接管的另外一b.將無油空壓機（或帶減壓閥的氮氣瓶）與另一個分液歧管液），）；b.測試時間：穩(wěn)壓10Min后當前壓力值記為P1，分別保壓冷板式液冷服務器可靠性測試規(guī)范O測試判據(jù)：壓降值（P1-P2及P1-P3）符合生產企業(yè)內部規(guī)范要（二）液冷管路耐壓力測試a.在管路對外接口處裝上工裝接頭，所有對外接口密封，內部b.通過注液工裝或試驗機，向被測樣品中注入工質，使其壓力c.確定系統(tǒng)內部壓力均勻、穩(wěn)定后，穩(wěn)壓1min后檢查樣品有無e.完成以上測試，如果沒有異常；則繼續(xù)注入壓力，使其壓力f.確定系統(tǒng)內部壓力均勻、穩(wěn)定后，穩(wěn)壓1min后檢查樣品有無a.0.5P壓力情況下：穩(wěn)壓1min，外觀檢查，變形鼓包不超過冷板式液冷服務器可靠性測試規(guī)范Oa.5倍最大正常工作壓力（滿足冷板散熱流量情況下各部件的）；）；（三）液冷接頭插拔測試a.不帶壓狀態(tài)下插拔：在實際系統(tǒng)使用環(huán)境中或模擬系統(tǒng)運行的循環(huán)工裝進行插拔測試，對冷板組件與分液歧管的液冷接頭公、b.對分液歧管充入工質，并加壓至300Kpa（或實際最大工作壓力），再對冷板組件與分液歧管的液冷接頭公、母頭進行250次插（四）雜質堵塞測試測試目的：驗證冷板管路長期沖刷或加工過程中殘余的雜質，工質長期不流通結晶沉淀物在快接頭長期斷開和連接可能存在堵塞冷板式液冷服務器可靠性測試規(guī)范Ob.配比100mL乙二醇污染溶液，通過軟管注入至液冷公頭或母c.24h后，對插液冷公、母頭10次，同時觀察快接頭是否被石英砂和工質沉淀物堵塞不回彈，目測觀察是否存在漏液，及完成后（五）脈沖壓力測試測試目的：評估液冷組件（含冷板組件、分液歧管、液冷接頭a.液冷部件接入壓力脈沖試驗機，排氣注入工質（或去離子）；b.設定壓力循環(huán)模式為正弦波曲線，波峰壓力為350Kpa，波谷）；冷板式液冷服務器可靠性測試規(guī)范Oa.被測樣品，有多種狀態(tài)的部件，連通和斷開狀態(tài)需要分別測試，測試數(shù)據(jù)和基礎數(shù)量一致，如快接頭有插拔連通密封、斷開密（六）沖刷腐蝕測試b.將被測樣品接入實際工作系統(tǒng)或等效工況工裝中，測試樣品a.無上電業(yè)務需求，測試樣品可單獨將液冷服務器內部的冷板冷板式液冷服務器可靠性測試規(guī)范O（七）液冷管路溫度循環(huán)測試），b.測試條件：溫度范圍-40~70℃a；溫度變化速率1℃/min；峰對于產品規(guī)格、或產品實際應用中達到的最高/最低溫度；超過（-40℃~70℃)范圍時，根據(jù)產品能達到的最嚴酷條件來測試。（八）液冷管路溫度沖擊測試a.對待測液冷部件充壓入工質，并加壓至350Kpa，并放入溫箱b.測試條件：溫度范圍5~70℃a；溫度變化速率10℃/min；峰冷板式液冷服務器可靠性測試規(guī)范O按產品規(guī)格、或產品實際應用中達到的最高/最低溫度，超過（5℃~70℃)范圍時，根據(jù)產品能達到的最嚴酷條件來測試。（九）液冷管路高溫高濕測試測試目的：評估管路部件是否能滿足高溫高濕環(huán)境長期運行要a.對待測液冷部件充壓入一半體積工質，加壓至350Kpa，并放管路內充入工質量不宜充滿，至少預留50%空隙以作為壓力變（十）漏液檢測能力測試測試目的：檢驗被測液冷設備的漏液檢測能力是否符合技術規(guī)冷板式液冷服務器可靠性測試規(guī)范Oa.液冷設備灌滿冷卻液，上電自循環(huán)，查詢并記錄漏液檢測狀b.通過排液孔排液將液冷設備冷卻液排放到液冷設備底部，液c.去除液冷設備底部液體，使漏液傳感器處于干燥狀態(tài)，查詢（十一）非金屬介質兼容性測試a.將系統(tǒng)中涉及與工質接觸的所有非金屬材料（參考下表），拉伸性能GB/T528、GB/T1690軟管標準樣條GB/T1690邵氏硬度GB/T531.1、GB/T1690拉伸性能GB/T528、GB/T1690軟管/密封墊標準樣條GB/T11547拉伸性能GB/T1040抗沖性能GB/T1843a.若無法制備標準樣條，可制取一定規(guī)格的樣片進行測試，同c.若O形圈尺寸過小，不易測試，可按照橡膠密封墊的測試方（十二）非金屬老化測試測試目的：評估非金屬材料在液冷工質下長期接觸工質，可能冷板式液冷服務器可靠性測試規(guī)范Oa.選取至少5組樣品，樣品為非金屬部件的零件狀態(tài)，將軟管b.將準備好的零部件放入高壓罐體中，加滿工質，并加壓至c.測試完成后，取出樣品，組裝成成品，分別注入工質并打壓本表推薦的溫度及測試周期是基于特定材料定義，實際可基于（十三）金屬耐腐蝕性測試測試目的：模擬液冷系統(tǒng)中金屬部件在工質中的腐蝕場景，驗a.將金屬樣片（數(shù)量不低于5pcs）固定在工裝上（工裝材質與）；冷板式液冷服務器可靠性測試規(guī)范Oc.或將被測金屬實物樣品接入測試系統(tǒng)（實際工作機柜或等效），b.金屬樣片厚度按照實際樣品最薄壁厚，或直接在樣品最薄壁（十四）中性鹽霧測試測試目的：驗證液冷部件實際使用過程中，在相應環(huán)境下耐腐a.測試條件設置為：5%氯化鈉溶液（NaCl）鹽溶液，pH值冷板式液冷服務器可靠性測試規(guī)范O（十五）電源備份測試測試目的：檢驗被測電源模塊在單路輸入異常時輸出電壓是否a.將被測電源模塊的2路輸入（為了方便描述，分別命名為A路/B路）分別上電，保證輸入電壓在正常范圍內，電源指示燈應處于綠燈常亮狀態(tài)，系統(tǒng)開始運行，待系統(tǒng)運行到穩(wěn)定狀態(tài)后開始測b.將A路輸入下電，觀察系統(tǒng)工作是否出現(xiàn)異常，是否有除輸c.恢復A路供電，將B路輸入下電，觀察系統(tǒng)工作是否出現(xiàn)異d.通過BMC下發(fā)命令切換供電來源，觀察系統(tǒng)工作是否出現(xiàn)e.斷開A路供電，通過BMC下發(fā)命令由B路切換到A路，或a.手工切換輸入源后系統(tǒng)正常工作，無除輸入掉電之外的告警b.BMC命令切換后系統(tǒng)正常工作，電源可準確切換到對應供電冷板式液冷服務器可靠性測試規(guī)范Oc.其中一路供電不具備供電能力的情況下，電源不響應BMC（十六）噪聲測試b.整機柜進入運行狀態(tài)，按照下圖17點法或21點法進行測試）：b.單節(jié)點進入運行狀態(tài)，按照下圖9點法進行測試（依據(jù)尺寸）；（十七）氣候環(huán)境試驗測試目的：模擬氣候要素中溫度/濕度及其變化對單節(jié)點或整機a.受試產品在箱內安裝應保證除必要的支點外，全部暴露在傳冷板式液冷服務器可靠性測試規(guī)范Ob.試驗持續(xù)時間應從樣品在規(guī)定的試驗條件上穩(wěn)定的瞬間開始e.試驗嚴酷度等級的確定應考慮產品在實際的貯存、運輸與使用中出現(xiàn)的概率，一般取20%;f.檢測儀器的精度至少應為被測變量容差的三分之一；（十八）低氣壓測試a.受試產品在箱內安裝應保證除必要的支點外，全部暴露在傳b.試驗持續(xù)時間應從樣品在規(guī)定的試驗條件上穩(wěn)定的瞬間開始冷板式液冷服務器可靠性測試規(guī)范O（十九）工作隨機振動測試c.機箱模擬實際安裝狀態(tài)，緊固在機架或等效固定工裝上。如果機箱在機架內的實際安裝情況有滑道支撐，存在后掛耳等情況，（二十）工作沖擊測試冷板式液冷服務器可靠性測試規(guī)范Oc.機箱模擬實際安裝狀態(tài)，緊固在機架或等效固定工裝上。如果機箱在機架內的實際安裝情況有滑道支撐，存在后掛耳等情況，（二十一）運輸包裝件碰撞測試測試目的：考量產品在包裝運輸時，其包裝緩沖能力是否滿足b.包裝：按實際發(fā)貨要求，將所需的服務器整機及配套附件包a.包裝本體不能失去原有功能，如托盤斷裂、外箱撕裂及緩沖冷板式液冷服務器可靠性測試規(guī)范Ob.內裝設備外觀應無人眼可見的變形、凹坑、掉漆、劃痕或絲c.各部件的機械固定和連接處，如螺釘、鉚接及卡接等部位，（二十二）運輸包裝件跌落測試測試目的：考量產品在包裝運輸時，其包裝緩沖能力是否滿足b.包裝：按實際發(fā)貨要求，將所需的服務器整機及配套附件包a.包裝本體不能失去原有功能，如托盤斷裂、外箱撕裂及緩沖b.內裝設備外觀應無人眼可見的變形、凹坑、掉漆、劃痕或絲c.各部件的機械固定和連接處，如螺釘、鉚接及卡接等部位，（二十三）運輸包裝件滾動測試測試目的：考量產品在包裝運輸時，其包裝緩沖能力是否滿足b.包裝：按實際發(fā)貨要求，將所需的服務器整機及配套附件包a.包裝本體不能失去原有功能，如托盤斷裂、外箱撕裂及緩沖b.內裝設備外觀應無人眼可見的變形、凹坑、掉漆、劃痕或絲c.各部件的機械固定和連接處，如螺釘、鉚接及卡接等部位，（二十四