數據中心間接蒸發冷卻解決方案目錄前言 1術語 2數據中心制冷行業現狀及挑戰 3數據中心政策解讀 3國家及行業標準解讀 4數據中心傳統制冷系統的現狀及挑戰 5傳統制冷系統能耗大 5傳統制冷系統部署周期長 5傳統制冷系統復雜 5傳統制冷系統運維費用高 5數據中心傳統間接蒸發冷卻系統的現狀及挑戰 6間接蒸發冷卻系統需增強與建筑的匹配 6間接蒸發冷卻系統需能滿足在濕熱地區的應用 6間接蒸發冷卻系統需進一步簡化運維 6間接蒸發冷卻系統介紹 7系統原理及組成 7系統原理 7室外空氣處理系統 8水處理系統 9安裝場景及氣流組織 10安裝場景 10氣流組織 10氣候適應性 12間接蒸發冷卻系統與傳統冷凍水系統對比 13PUE和WUE對比 13分期部署能力對比 14部署周期對比 15顆粒度和可靠性對比 15TCO對比 15初始投資對比 15運行投資對比 16間接蒸發冷卻技術應用及發展方向 18增強建筑物適配性 18延長濕熱地區自然冷卻時長 18增強寒冷地區應用可靠性 19簡化運維 19空氣處理系統歸一化 20基于AI的新一代智能間接蒸發冷卻解決方案 21用AI技術進行能效提升 21用AI技術進行故障預測 27間接蒸發冷卻解決方案應用案例 28國內應用案例 28國外應用案例 30附錄：全國部分城市的溫度分布系數表 341.前言1.前言PAGEPAGE1PAGE2PAGE2白皮書收錄于“DC計劃”隨著5G、云計算、數字化轉型的快速發展，大數據中心成為新基建的熱點。作為國家基礎性戰略資源，大數據中心成為國家競爭力的戰略制高點之一，數據中心的建設規模和數量呈現快速增長。近年來，國家相關部委出臺了關于綠色數據中心建設和建設布局的指導意見，北京市、上海市、廣東省、深圳市等地方政府也出臺了數據中心相關政策，對新建數據中心的PUE制定了詳細的準入門檻和激勵機制。數據中心能耗尤其是制冷系統能耗已成為業界普遍關注的焦點。提高制冷系統的能效，既響應國家節能減排的政策導向，也是降低數據中心運營費用的重要目標。數據中心傳統冷凍水制冷系統存在能耗大、部署周期長、系統復雜、以及運維費用高等諸多挑戰。間接蒸發冷卻技術是充分利用自然冷源，降低數據中心制冷系統能耗的有效手段。同時間接蒸發冷卻系統簡單、安裝適配性好、適用氣候區域廣泛；與傳統冷凍水制冷系統相比，更省電省水，在分期部署、建設周期、可靠性、TCO方面更具優勢，受到行業廣泛的認可。同時，隨著間接蒸發冷卻技術的使用量快速增加，該技術又出現了新的發展趨勢，比如空氣處理系統歸一化、用AI技術提升能效、以及用AI技術進行故障預測等。為了更好地推廣間接蒸發冷卻技術，特編寫《》，謹為行業相關人士提供參考。術語數據中心datacenter為集中放置的電子信息設備運行提供運行環境的建筑場所，可以是一棟或幾棟建筑物，也可以是一棟建筑物的一部分，包括主機房、輔助區、支持區和行政管理區等。間接蒸發冷卻indirectevaporativecooling（下文簡稱IEC）間接蒸發冷卻是指產出介質（空氣或水）與工作介質（空氣或水，工作介質發生直接蒸發冷卻）間接接觸，僅進行顯熱交換而不進行質交換，來獲取冷風或冷水。間接蒸發冷卻空氣處理系統indirectevaporativeair-conditioningsystem一種采用間接蒸發冷卻技術，工作介質為空氣或水，產出介質為空氣，提供空氣循環、空氣過濾、冷卻、濕度控制和輔助冷源的空氣調節機組。下文簡稱間接蒸發冷卻系統。機械輔助制冷mechanicalauxiliarycooling機械輔助制冷是間接蒸發冷卻系統無法完全采用自然冷卻或間接蒸發冷卻無法達到額定制冷量，而采用蒸汽壓縮制冷方式補充制冷量的一種輔助制冷方式冗余redundancy重復配置系統的機組或部件，當部分機組或部件發生故障時，冗余配置的機組或部件介入并承擔故障機組或部件的工作，由此延長系統的平均無故障間隔時間。電能利用效率（PUE）powerusageeffectiveness表征數據中心電能利用效率的參數，其數值為數據中心內所有用電設備消耗的總電能與所有電子信息設備消耗的總電能之比。水利用效率（WUE）waterusageeffectiveness表征數據中心水利用效率的參數，其數值為數據中心內所有用水設備消耗的總水量與所有電子信息設備消耗的總電能之比。人工智能（AI）arti?cialintelligence用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統。PAGEPAGE11PAGE10PAGE10白皮書收錄于“DC計劃”數據中心制冷行業現狀及挑戰數據中心政策解讀近年來，工業和信息化部、國家發展和改革委員會、國家機關事務管理局、國家能源局、國土資源部、國家電力監管委員會等部委相繼出臺了關于綠色數據中心建設和建設布局的指導意見，北京市、上海市、廣東省、深圳市等地方政府也出臺數據中心相關政策，對新建數據中心的PUE制定了詳細的準入門檻和激勵機制。在政策牽引下，新建數據中心必將更加重視節能，間接蒸發冷卻解決方案等自然冷卻方案將會得到更廣泛的應用。表1國家和地方政府數據中心相關政策一覽表適用區域發文名稱發文時間發文機構主要內容全國《關于加強綠色數據中心建設的指導意見》2019年2月國家機關事務管理局、國家能源局2022年數據中心平均能耗基本達到國際先進水平，新建大型、超大型數據中心的電能使用效率值達到1.4以下，高能耗老舊設備基本淘汰。《關于數據中心建設布局的指導意見》2019年7月國家發展和改革委員會、國土資數據中心；1.5PUE降2.0的已建數據中心，在電力設施建設、供應及服務等方面給予重點支持。北京市《北京市新增產業的年版）》2018年9月北京市人民政府辦公廳全市范圍內，禁止新建和擴建互聯網數據服務、信息處理和存儲支持服務中的數據中心（PUE1.4數據中心除外）；中心城區（豐臺區、石景山區）上海息基礎設施建設三年行動計劃（2018-2020）》2018年11月上海市經濟和信息化委員會、上海市發展和改革委員會201812萬個，存量改造數據中PUE1.4PUE1.3；2019-202014萬、16萬個，PUE要求不變。《上海市關于加強本市互聯網數據中心統籌建設的指導意見》2019年1月上海市經濟和信息化委員會、上海市發展和改革委員會20206萬架以內；的功能性基礎平臺、全球數據港等樞紐型平臺。適用區域發文名稱發文時間發文機構主要內容1.選址布局：嚴禁在中環以內區域新建IDC，原則上選擇在外環外符合配套條件的既有工業區內，并兼顧區域經濟密度要求；《上海市互聯網數據中心建設導則（2019版）》2019年6月上海市經濟信息化委員會IDC專業運營商、IDC模數據中心運營經驗；3000-5000個機架，平6kW，機架設計總功率不小于18000kW。PUE1.3；4.上海建設IDC關鍵指標要求：PUE（綜合）第一年不高于1.4，第二年不高于1.3；5.WUE第一年不高于1.6，第二年不高于1.4。1.強化技術引導。PUE1.4以上的數據中心不享有支持；深圳《深圳市發展和改革委員會關于數據中心節能審查有關事項的通知》2019年4月深圳市發展和改革委員會2.PUE1.35-1.40（1.35）的數據中心，新增10%及以下的支持；對PUE1.30-1.35（1.30）的數據中心，可給予20PUE1.25-1.30（1.25）30%下的支持；PUE1.25的數據中心可享受新增能源40以上的支持。1.到2022年，PUE值不超過1.3；2.到2025年，PUE值不超過1.25；廣東5G據中心總體布局規劃（2021-2025年）》2020年6月廣東省工業和信息化廳3.PUE≤1.25：優先支持新建和擴建；4.1.25＜PUE≤1.3：支持新建和擴建；5.1.3＜PUE≤1.5：嚴控改建，不支持新建、擴建；6.PUE＞1.5：禁止新建、擴建和改建。國家及行業標準解讀IT18~27℃。《ASHRAETechnicalCommittee(TC)9.9200420~25201518~27℃。近年來，已有部分數據中心嘗試進2732℃。數據中心內溫度環境標準的放寬，為制冷系統的節能創造了條件，數據中心可考慮如何更多地使用自然冷源，減少機械制冷。間接蒸發冷卻等在其他領域成熟的自然冷卻方案開始進入數據中心制冷解決方案的舞臺，且其應用區域范圍越來越廣。數據中心傳統制冷系統的現狀及挑戰傳統制冷系統能耗大隨著數據中心規模不斷加大，功率密度不斷提高，數據中心已成為典型的耗能大戶，以一個IT額定容量1MW，設計PUE為1.5的典型數據中心為例，從建設到投入運行10年的周期來看，電費占比高達總投資的60%以上，其中，制冷系統的能耗占總能耗的30%左右。因此，數據中心的制冷解決方案就很大程度上決定了其能耗上限，制冷系統節能已成為數據中心建設的首要訴求。傳統制冷系統部署周期長數據中心的建設周期會影響到資金占用，業務快速上線，建設周期越短，收益越明顯。一個采用冷凍水制冷系統的中等規模（IT額定容量1MW）數據中心，從建設到投入使用，一般需要10~12個月左右，實際考慮施工天氣影響，可能會更長。在這個建設周期中，因制冷系統涉及安裝、聯調，其施工周期可能長達5~6個月。因此，數據中心面臨制冷系統部署周期長的挑戰。大型數據中心分期建設已常態化，其時間跨度可能會達到2~3年甚至更久，為了配合IT負載分期部署，需要制冷解決方案能方便快速的實現分期部署，每期的方案能快速復制，又能相互解耦。傳統制冷系統復雜對照UptimeTier不同等級的要求，數據中心采用冷凍水方案實現TierⅣ可采用的方案為：N+RN+1。干管上的閥門、儀表等并無冗余備份，存在閥門失效，儀表失效、焊點泄露單點故障的可能性。連續制冷通過另外配置蓄冷罐實現。因此，數據中心面臨制冷系統架構簡化的挑戰。傳統制冷系統運維費用高運維是數據中心生命周期內重點關注的問題，以一個1500機柜、采用冷凍水制冷方案的數據中心為例，每個班次的運維人員需要3~4人，每天3個班次輪換，共需要運維人員9~12人，加上例行的機組、水泵、管路等檢修，以10年運行周期計算，運維人工費用投入占數據中心總投入會達到10%左右，簡化運維能減少運維成本。因此，如何簡化運維工作、提升運維的智能化程度也是數據中心制冷系統面臨的挑戰。PAGEPAGE7PAGE6PAGE6白皮書收錄于“DC計劃”數據中心傳統間接蒸發冷卻系統的現狀及挑戰35%左右，充分利用自然冷源可進一步提高制冷系統的能效，減少制冷系統電耗。以中間接蒸發冷卻系統也可利用水蒸發吸收空氣中的熱，給室外空氣降溫來冷卻機房的空氣，以滿足機房的制冷需求。炎熱天氣情況下，間接蒸發冷卻系統利用壓縮機制冷系統來給數據中心散熱，也解決了冷凍水制冷系統耗水大的問題。當然傳統間接蒸發冷卻系統在應用中也存在以下挑戰。間接蒸發冷卻系統需增強與建筑的匹配間接蒸發冷卻系統在多層數據中心室內使用時，如何對建筑進行針對性的適配設計，如何考慮設備安裝間、風管、維護通道、排風井的布置。需要結合機組的特征和建筑的經濟性綜合考慮。間接蒸發冷卻系統需能滿足在濕熱地區的應用隨著服務器耐溫特性的提升，從節能角度考慮，為了更多的應用自然冷，機房溫度將會越來越高，間接蒸發冷卻機組適宜應用的分界線將會逐漸南移。后續隨著機房送風溫度提高，自然冷可應用時間會進一步增加。同時，間接蒸發冷卻系統相比傳統冷凍水制冷系統，更省水，故障域更小，更適合分期部署和擴容，間接蒸發冷卻系統將會逐漸成為數據中心主流解決方案。但在濕熱區域，存在部分時間段內環境干濕球溫差較小，機組噴淋或噴霧冷卻的效果有限，同時，噴淋還會產生額外的風阻，導致機組運行能效降低。如何延長間接蒸發冷卻在濕熱時間的應用，如何實現最優的運行，也是傳統間接蒸發冷卻系統面臨的挑戰。間接蒸發冷卻系統需進一步簡化運維間接蒸發冷卻系統方案將自然冷卻系統和直膨風冷系統集成在一個設備中，對后期運行維護耗材和維護相對傳統冷間接蒸發冷卻系統介紹系統原理整體式間接蒸發冷卻系統在數據中心現場安裝風管、水管及配電后即可投入使用，機組有三種運行模式，干模式：僅表2間接蒸發冷卻系統的工作模式運行模式風機狀態水泵狀態壓縮機狀態干模式（風機）開啟關閉關閉濕模式（風機+噴淋）開啟開啟關閉混合模式（風機+噴淋+壓縮機制冷）開啟開啟開啟干模式當室外環境低于一定溫度時，機組采用干模式運行即可滿足機房制冷需求，此時室內外側風機運行。室外排風

室內回風室外新風室內送風圖1間接蒸發冷卻系統干模式運行狀態示意圖PAGEPAGE9PAGE8PAGE8白皮書收錄于“DC計劃”濕模式當室外環境溫度高于濕模式啟動溫度時，機組采用濕模式運行，此時水泵啟動運行。室外排風

室內回風室外新風室內送風圖2間接蒸發冷卻系統濕模式運行狀態示意圖混合模式當室外環境溫度高于“濕模式+輔冷模式”啟動溫度時，機組采用混合模式運行，此時壓縮機和水泵均開啟。室外排風

室內回風室外新風室內送風圖3間接蒸發冷卻系統混合模式運行狀態示意圖室外空氣處理系統間接蒸發冷卻機組直接與室外空氣接觸，空氣中的粉塵、雜質、柳絮等會在噴淋水作用下附著在芯體表面或沉積循環水箱內，影響水質，并對噴淋系統的可靠性造成影響。通過機組與建筑合理的布局，可以使室外空氣在進入機組前，先進行轉向、降速沉降，將空氣中的大顆粒雜質先分離出來，不直接被機組吸入，從而避免堵塞過濾網。如下圖布局所示，這種處理方式還可以很好地避免雨雪進入機組內。圖4利用氣流組織進行空氣處理示意圖建議在新風進口處配置不低于G3等級的過濾網，以徹底避免室外質量對機組的不利影響。建議進風表面設計風速應≤3m/s，以保證濾網能達到較好的過濾效果。在柳絮、楊絮飛飄季節，機組配置的過濾網很容易堵塞，人工清理存在工作量非常大，推薦配置全自動除絮裝置，降低運維工作量。在非柳絮、楊絮飛飄季節，除絮裝置自動收起或旁通，降低運行風阻，提升間接蒸發冷卻系統能效比。水處理系統間接蒸發冷卻機組在濕模式和混合模式運行時，噴淋水會直接接觸換熱芯體，在芯體表面蒸發，水中雜質會殘留在芯一般來說，金屬芯體對水的硬度和氯化物含量要求較高，需要采用反滲透水，高分子芯體防腐性能好，只對水的硬度有明確的要求，需要采用軟化水。表3金屬芯體與高分子芯體對水質的要求參數金屬芯體水質要求非金屬芯體水質要求過濾等級≥89μm≥89μmPH值5<PH值<85<PH值<8導電性<1300μS/cm<1300μS/cm總硬度<100mg/L<100mg/L總堿度<50mg/LCaCO3<200mg/LCaCO3氯化物<120mg/L<250mg/L二氧化硅<5mg/L<10mg/L有機質<3mg/L<3mg/L常用水處理系統基本處理流程如下：原水供水→粗效過濾→精密過濾→供水水箱→間接蒸發冷卻機組→循環水供水→粗效過濾→精密過濾→紫外線殺菌裝置→供水水箱PAGEPAGE11PAGE10PAGE10白皮書收錄于“DC計劃”間接蒸發冷卻系統安裝在機房外，通過架空地板或者彌漫式送風將冷風送至機房內，在機房內不需要額外配置末端設備，可使機房內有更多的空間布置機柜，提高機房安裝出柜率。安裝場景間接蒸發冷卻機組應用之初主流場景為大平層或樓頂應用，隨著間接蒸發冷卻的應用逐漸推廣，多層應用安裝場景成為主流，目前應用占比大于60%。多層應用安裝場景分為預制模塊化數據中心、多層樓宇室內、多層樓宇室外三類。多層樓宇室內場景受建筑限制，對機組長、寬、高均有嚴格要求。表4間接蒸發冷卻系統安裝場景分類安裝場景單層應用多層應用大平層樓頂預制模塊化數據中心多層樓宇室內多層樓宇室外示意圖特征大平層：機房同側送回風，室外可直接向上排風樓頂：機房送回風不同側，室外可直接向上排風全集裝箱堆疊、全預制邊沿排風井外鋼架支撐排風井內循環回風管間接蒸發機房氣流組織內循環回風管間接蒸發機房單層樓頂應用（（

圖5間接蒸發冷卻系統樓頂安裝示意圖單層機房側面應用機房間接蒸發機房間接蒸發圖6間接蒸發冷卻系統室外側面安裝示意圖多層機房側面應用機房間接蒸發機房間接蒸發機房間接蒸發圖7間接蒸發冷卻系統多層機房側面安裝示意圖PAGEPAGE13PAGE12PAGE12白皮書收錄于“DC計劃”間接蒸發冷卻解決方案設計的核心思想在于更多的利用自然冷源，根據所使用地域的氣象參數、空氣質量等差異應用歐洲、南美、非洲等氣溫適宜的地域，都適合使用間接蒸發冷卻機組。圖8間接蒸發冷卻技術應用地圖（全球）哈爾濱烏魯木齊長春沈陽哈爾濱烏魯木齊長春沈陽呼和浩特北京石家莊天津西寧銀川太原濟南蘭州西安 鄭州南京拉薩成都武漢合肥上海杭州長沙南昌貴陽福州昆明南寧廣州臺北澳門香港海口熱帶氣候溫帶氣候干旱氣候冰雪氣候極地氣候炎熱/潮濕溫暖/潮濕炎熱/干燥寒冷/干燥極寒/干燥東南亞，中非，拉美北美國東部，中國中/南部，日本，西歐美國西部，中國西北，中東，澳洲西部美洲北部，加拿大、東北歐，俄羅斯冰島，瑞典冷凍水、IEC冷凍水、IEC冷凍水、IECIECIEC具體評估可用推薦圖9間接蒸發冷卻技術應用地圖（中國）具體評估可用推薦間接蒸發冷卻系統與傳統冷凍水系統對比間接蒸發冷卻系統充分利用自然冷源，相比于傳統冷凍水系統有明顯的節電節水優勢，特別是低負載下絕大多時間可以不用機械輔助制冷。下文針對夏熱冬冷和夏熱冬暖的兩個地區的典型城市進行間接蒸發冷卻系統和傳統冷凍水系統的對pPUE指標和耗水量的WUE120001000個，單柜功率8kW/R0.75元/kWh8元/130%，逐年上升，510年總運行費用。間接蒸發冷卻方案：n+1配置，50%機械輔助制冷；冷凍水方案：變頻離心機，帶自然冷卻，供回水溫度：20/27℃。具體數據見下表：6PUEWUE對比北京某數據中心單位冷凍水方案間接蒸發冷卻方案機房負荷kW80008000PUE（供電及其他系統因子按0.1計算）/1.271.21WUE/1.840.937PUEWUE對比上海某數據中心單位冷凍水方案間接蒸發冷卻方案機房負荷kW80008000PUE（供電及其他系統因子按0.1計算）/1.301.23WUE/1.870.898PUEWUE對比深圳某數據中心單位冷凍水方案間接蒸發冷卻方案機房負荷kW80008000PUE（供電及其他系統因子按0.1計算）/1.321.25WUE/1.931.12PAGEPAGE15PAGE14PAGE14白皮書收錄于“DC計劃”冷凍水系統中水泵、水閥、儀表、管路、蓄冷罐及膨脹水箱的成本占整體系統投資約50%左右，現場施工的周期占整個制冷系統的60%以上。管路系統施工復雜，涉及到穿墻、焊接、保溫、吊裝等現場施工動作，對于分期投建的數據中心，通常在施工時會將整個制冷系統的管路一次性鋪設完成。僅能實現主機、冷卻塔及空調末端的分期布局，因此，冷凍水系統的分期建設通常是系統級的分期建設，無法真正滿足分期部署所帶來的節省初始投資，快速業務上線的特點。圖10水冷冷凍水系統組成示意圖整體式間接蒸發冷卻系統內部集成機械輔助制冷，各臺機組之間硬件獨立。便于實現分期擴容，大大節省了客戶初始投資，滿足業務快速上線的訴求，實現了真正的分期部署。圖11間接蒸發冷卻系統分期部署示意圖數據中心從最初的方案設計、圖紙深化設計、器件采購生產、現場安裝、調試到最后的驗收交付使用，一般會耗時6~12個月，其中，制冷方案的施工、調試所占比重最大。以一個1500機柜的數據中心為例，采用傳統冷凍水方案：冷水機組、冷卻塔、末端、水泵、管路、蓄冷罐等部件從下單到貨到現場、完成安裝預計耗時4個月；各部件聯調預計耗時1.5個月，總共耗時5.5個月。314個月，比傳統冷凍水方案節約1.5個月。從建設周期來看，在大型數據中心采用間接蒸發冷卻設備制冷方案，能大幅度縮短機房建設周期，有助于減少資金占用，保障業務快速上線。間接蒸發冷卻系統以空氣冷卻和蒸發冷卻為主，通過多臺單獨部署來滿足數據中心散熱需求，屬于分布式冷源，顆粒顆粒度大，設備間關聯度高，在出現故障時影響大、處理復雜，可靠性相對較低。初始投資對比數據中心的初始投資主要包含建筑建造費用、設備費用、安裝調試費用幾部分。其中建筑建造費用受制冷系統占地面積的影響，針對傳統的冷凍水方案，冷水機組的制冷量體積密度高，占地較小，但由于整體方案由多個獨立的設備組合而制冷量體積密度較小，占地較大，但其為整體式機組，可以集中布置，有利于建筑的整體布局優化，空間利用率高，且機房內無需布置末端，出柜率比冷凍水方案高。綜合考慮，基于相同的機柜數，間接蒸發冷卻設備解決方案的機房占地面積安裝調試費用與系統組成的復雜度強相關，間接蒸發冷卻設備為整體式機組，相比于由多個設備組成的傳統冷凍水方案，在安裝調試方面具有天然的優勢，基于相同的機柜數，其安裝調試費用低50%以上。綜合設備費用考慮，由于蒸發冷卻機組為新興設備，設備本體集成度高，對設計、生產的要求較高，導致設備費用較15008kW/R10%~15%。PAGEPAGE17PAGE16PAGE16白皮書收錄于“DC計劃”運行投資對比數據中心的運行費用主要包括設備消耗的電費、水費、耗材費用、例行檢修費用等，其中電費取決于數據中心運行PUE，例行檢修費用取決于系統的復雜度。間接蒸發冷卻設備全年大部分時間可以采用自然冷源，且經過設備冷卻后的冷空氣直接送入機房，而傳統冷凍水系統，全年大部分時間采用壓縮機制冷，少量時間采用自然冷卻，且采用水作為載冷劑，在機房內通過末端中的冷水與空氣換熱，多一次傳熱損耗，在可用的相同地域、相同負載條件下，采用間接蒸發冷卻解決方案相比傳統冷凍水方案，其全年PUE0.1而間接蒸發冷卻設備為整體式，更易實現協同尋優運行，降低能耗傳統冷凍水解決方案系統復雜，所需巡檢的設備、參數都數倍于間接蒸發冷卻機組，在數據中心生命周期內，運維費用傳統冷凍水方案會高于間接蒸發冷卻方案。估算10年運行投資，間接蒸發冷卻設備解決方案相對傳統冷凍水方案低25%以上。120001000個，單柜功率密8kW/R0.75/kWh8/130%，逐年上升，510年總運行費用。間接蒸發冷卻方案：n+1配置，50%機械輔助制冷；冷凍水方案：變頻離心機，帶自然冷卻，供回水溫：20/27℃。具體數據見下表：表9北京地區間接蒸發冷卻系統和冷凍水系統的TCO對比北京某數據中心單位冷凍水方案間接蒸發冷卻方案IT額定容量kW80008000建筑費用萬元A0.63A制冷設備費用萬元B0.9B安裝費用萬元C0.5C電費萬元D0.61D水費萬元E0.51E運維費用（含人工、備件等）萬元F0.83FTCO（總成本10年）萬元G0.71G10對比上海某數據中心單位冷凍水方案間接蒸發冷卻方案IT額定容量kW80008000建筑費用萬元A'0.63A'制冷設備費用萬元B'0.9B'安裝費用萬元C'0.5C'電費萬元D'0.67D'水費萬元E'0.48E'運維費用（含人工、備件等）萬元F'0.83F'TCO（總成本10年）萬元G'0.78G'11對比深圳某數據中心單位冷凍水方案間接蒸發冷卻方案IT額定容量kW80008000建筑費用萬元A''0.63A''制冷設備費用萬元B''0.9B''安裝費用萬元C''0.5C''電費萬元D''0.68D''水費萬元E''0.58E''運維費用（含人工、備件等）萬元F''0.83F''TCO（總成本10年）萬元G''0.77G''PAGEPAGE19PAGE18PAGE18白皮書收錄于“DC計劃”間接蒸發冷卻技術應用及發展方向間接蒸發冷卻機組應用之初主流場景為大平層或樓頂應用，但隨著數據中心爆發式的增長，單層或兩層的數據中心占地大的劣勢會越來越明顯，多層數據中心會成為主流；同時，機組室外布置會對日常運維帶來諸多不便。對間接蒸發冷卻機組而言，多層室內應用將會成為主流場景。間接蒸發冷卻機組在多層數據中心室內使用時，需要建筑進行針對性的適配設計，設置單獨的設備安裝間，主要用于間接蒸發冷卻機組、風管、維護通道、排風井的布置。結合機組的特征和建筑的經濟性考慮，建議設備安裝間的長度為7~9m（層數差異會影響排風井的尺寸）4.5m。不同樓層的機組室外排風通過排風豎井統一排放到建1~2在設計安裝間內平移到對應的安裝位置，因此，排放豎井需要設置在機組端部，不能設置在兩臺機組之間而導致機組無法平移，影響后續維護或擴容。從整體來看，單層建筑需包含機房、對應的配電間、及對應的管井、線井等，實現“一層一DC”，方便分期建設和后續按需擴容。隨著服務器耐溫特性的提升，從節能角度考慮，為了更多的應用自然冷，機房溫度將會越來越高，間接蒸發冷卻機組適宜應用的分界線將會逐漸南移。以廣東省深圳、清遠、惠州為例，全年氣溫25℃以下的時間有4500多小時，在機房25℃送風條件下，全年有一半以上的時間可以全部或部分應用自然冷。后續隨著機房送風溫度提高，自然冷可應用時間會進一步增加。同時，間接蒸發冷卻機組相比傳統冷凍水方案，更省水，故障域更小，更適合分期部署和擴容，間接蒸發冷卻機組將會逐漸成為數據中心主流解決方案。干球溫度35000深圳 清遠 惠州圖12深圳、清遠、惠州的全年干球溫度分布示意圖濕球溫度35000深圳 清遠 惠州圖13深圳、清遠、惠州的全年濕球溫度分布示意圖但在濕熱區域，存在部分時間段內環境干濕球溫差較小，機組噴淋或噴霧冷卻的效果有限，同時，噴淋還會產生額外的風阻，導致機組運行能效降低。在高濕時間段，需要間接蒸發冷卻機組能自動根據氣象參數判定噴淋的收益，實時調節噴淋的運行狀態，實現最優的運行狀態。間接蒸發冷卻解決方案在寒冷地區的應用，需要考慮設備的凍結保護問題，保證制冷系統的連續穩定運行。冬季室外低溫情況下，換熱芯體表面溫度低于0°C，一次側空氣遇冷析出的冷凝水會在芯體表面凝結成冰，嚴重時會造成換熱芯體凍結堵塞，機組失去冷卻功能。有效監控換熱芯體的表面溫度，實時調節一次側和二次側風量，同時有效控制一次側空氣濕度，是避免凍結問題的必要手段。為了實現快速部署，未來數據中心可能會由傳統的土建式逐漸向預制模塊化方案轉變，將現場復雜的、繁瑣的工序前移到工廠內預制，實現現場的快速交付，來應對新建大量數據中心的需求。傳統的制冷系統，特別是大型數據中心的制冷方案，由于制冷設備數量種類多、管路復雜、難以整合成預制化模塊。間接蒸發冷卻系統方案將自然冷卻系統和直膨風冷系統集成在一個模塊化架構下，可配合預制模塊化解決方案實現快速部署，較傳統方案縮短交付周期接近50%。在運維方面，運維簡化的間接蒸發冷卻方案將更受歡迎。在設備本身，通過設備PAGEPAGE21PAGE20PAGE20白皮書收錄于“DC計劃”傳統大型數據中心暖通整體解決方案除了制冷設備外，還需要額外配置加濕、除濕等功能。額外增加的這些設備不僅無統一協調，根據機房各不同區域檢測到的參數差異，可能出現部分加濕設備和部分除濕設備同時運行的情況，影響機房PUE。根據間接蒸發冷卻系統的氣流組織構成特點，可將室外新風經過過濾后送入機房內，集成新風功能，保持機房換氣需求和微正壓。機組本體配置了壓縮機補冷系統，通過對壓縮機系統的運行狀態精確控制，實現除濕功能。在春、夏、秋氣溫較高的季節，機組噴淋系統工作，可從噴淋水箱取水用于加濕；冬季噴淋不工作時，可收集芯體產生的冷凝水，用于機房加濕再利用。加濕型式推薦采用濕膜加濕，相對傳統的電極加濕、紅外加濕節能超過95%。基于機房防火分區，需在機房與間接蒸發冷卻機組的回風管和送風管上安裝防火閥，同時需要配置隔斷閥，在機組停機或故障檢修時關閉，避免對其它運行機組產生交叉影響。大型數據中心的廢熱利用將是后續發展的方向，目前主要是將廢熱用于加熱園區的生活用水，后續除了園區使用外，還會實現熱量的遠距離調配。間接蒸發冷卻機組集成熱回收功能將會是未來的發展方向。為了產生更大的回收量，推薦回收二次側排風處的廢熱。表12間接蒸發冷卻技術采用熱回收的兩種方案對比方案一方案二（推薦）熱回收位置一次側（機房側）回風處二次側（室外側）排風處熱源溫度冬季（室外-20℃）38℃30℃夏季（室外30℃）38℃45℃熱源來源冬季機房IT機房IT夏季機房IT機房IT+機械輔助制冷壓縮機熱回收換熱量冬季AA夏季B1.15B基于AI的新一代智能間接蒸發冷卻解決方案AI、pPUE調優、故障收斂、根因定位、無人巡檢等智能控制。未來隨著服務器能承受的溫度越來越高，數據中心會更多的利用自然冷源，自然冷卻方案將會是未來數據中心制冷方案的首選。針對設備本身，其硬件的差距越來越小，硬件節能空間有限，因此借助軟件智能算法，在設備之間的協同、各運行模式之間的尋優、內部器件之間的協調等方面發力，實現極致節能。間接蒸發冷卻系統以自然冷卻為主，機械制冷為輔。通過智能化控制，動態調節蒸發冷卻系統運行狀態，與負載實時聯動，最大程度降低數據中心總能耗，實現最優PUE運行。間接蒸發冷卻系統的智能控制包括以下幾個方面：間接蒸發冷卻系統最佳效率點是實時、動態的，與配置、環境擾動等強相關。通過與上層服務器之間聯動控制，根據服務器芯片溫度及風扇等信息，自動實時優化蒸發冷卻系統運行狀態，對于提升數據中心的整體節能運行效果明顯。由于服務器芯片及風扇、室內外環境溫濕度、蒸發冷卻系統數量及分布等信息量非常龐大，依據有限的測試數據或推導模型，難以適應全部應用場景。借助AI工具，收集大量數據，并通過機器自學習，可以實現全場景自動尋優控制。間接蒸發冷卻系統與上層服務器之間的聯動控制策略是，打破蒸發冷卻系統傳統主流采用的送風溫度控制模式，以服務器入口溫度為目標按需分區調節制冷量，蒸發冷卻系統直接提供精確匹配的冷量。引入服務器芯片溫度、風扇、室內外環境溫濕度、蒸發冷卻系統數量及分布等信息，并通過AI大數據自學習。AI蒸發冷卻系統”能耗模型，輸出數據中心機房總能耗最低推理模型，PUE最優。IEC固定相同的送風溫度，根據回風自動調節運行，機組之間沒有協調也沒有合作，會出現某些機組開的很大，而某些機組開的很小這樣不健康不節能的情況出現。右側例子代表聯動控ITITIT與間接蒸發冷卻機組的聯動控制，每個區域內出風溫度可設置不同，這樣可以得到整個數據中心最優最節能的運行。I I I I微模塊微模塊微模塊I 微模塊微模塊微模塊I IE EC CI IE EC CI IE EC C微模塊微模塊微模塊IIEEEEEECCCCCCPAGEPAGE23PAGE22PAGE22白皮書收錄于“DC計劃”群控功能定義：同一群組內，有一臺機組為主機，其它為從機，主機執行群控系統需求計算并下發控制命令。傳統群控傳統群控功能一般由32臺機組群控組網，多機之間協同工作，優化分配熱負荷需求，降低設備能耗，群控功能主要包括：備機：備份自動切換功能，當群組中有機組發生故障時，備份機組自動投入運行，提高系統的可靠性。輪巡：備機定時輪換為運行機組，群組內各臺機組輪流作為備份機組，各機組運行時間相當，提高平均壽命。層疊：根據機房內熱負荷的變化，自動控制群組中機組的運行數量，及時響應需求，消除熱點。（達到整體節能的目的。自主群控：若群控組內有一處通信線纜斷開，可自動形成兩個群控網絡，并自動推舉新主機繼續群控。AI智能群控傳統群控的主要功能是提升數據中心機房可靠性，對于多臺蒸發冷卻系統間的聯動節能控制作用有限。實際運行過程中，室外環境溫濕度及服務器負載率等實時變化，如何調度群組內所有蒸發冷卻系統運行在總體最節能狀態，提出了新的挑戰。AI智能群控根據室外環境溫濕度及服務器負載率等變化，在確保機房內溫濕度控制在設定范圍的前提下，動態調外部環境變量室外干球溫度室外相對濕度室外濕球溫度控制變量/頻率風機頻率觀察變量送風溫度送回風溫差制冷量圖15間接蒸發冷卻機組進行AI智能群控示意圖具體實施步驟為：IEC系統本身運行參數，數據機房內部冷熱通道溫度參數，機柜進風參數等；IECIEC這些原始數據上報給網管系統；網管系統將實時采集的原始數據做數據清洗后和處理后，保存到數據庫中；能耗模型在評估通過后下發到網管系統的推理服務中；,IECIEC,最終達成綜合能耗降低的目的。詳細實現流程如下圖所示：算法架構算法架構特征工程模型訓練數據探索評估驗證推理決策數據集策略下發制冷能耗的擬合圖16間接蒸發冷卻機組AI智能群控的控制策略示意圖數據采集：IEC機組運行參數，例如風機轉速，壓縮機轉速，送風溫度等，IT負載，機房內部冷熱通道溫度及室外環境的相xxx700+xx個月的干模式，濕模式及混合模式三種制冷模式下的多樣化運行數據。數據治理：利用自動化數據治理工具，對采集的運行數據進行識別、降維、降噪、清洗等處理，生成高質量的訓練數據。華為強大的云平臺服務，一億條原始數據可以一個小時內完成治理，30分鐘數據秒級清洗，為后續的模型訓練提供高質量數據：PAGEPAGE25PAGE24PAGE24白皮書收錄于“DC計劃”表13AI技術的數據治理含義解讀數據含義解讀數據質量提升基于通用質量評估算法，制冷設備的物理屬性沉淀的約束規則和領域專家經驗進行數據質量評估，生成DC節能領域質量評估模型，快速識別數據問題，縮短數據反饋流程，提升數據準備效率。數據處理自動化結合業務理解，生成清洗規則并通過云平臺數據湖沉淀，一站式生成訓練數據集并支持不同數據中心的快速復用。特征工程：數據和特征決定了AI算法的上限。利用特征構建，對同類設備的特征進行橫向/縱向處理，生成間接蒸發冷卻系統特征。PUE強相關的關鍵特征參數，從70020IEC系統的風機轉速，送風溫度設定值，環境參數，IT負載等等；利用精準的特征選取來降低對模型復雜度的要求，減少超參尋優難度，提升模型的效果，執行的效率及模型的可解釋性。算法架構：單機優化模型尋優目標：IEC能耗單機優化模型尋優目標：IEC能耗Min(IEC)衍生變量控制變量環境變量制冷模式室內送風溫度制冷負載進風進風干球相對溫度濕度室外排風溫度室內回風溫度室內風量室內風機頻率群組優化模型尋優目標：Min(IEC+服務器)總制冷能耗Action targetEnv樣例說明服務器進風溫度服務器純IT負載模式）)服務器工作模式服務器工作模狀態(高性能 狀態（節能低噪音)服務器出風溫度服務器風扇能耗總制冷輸出冷通道溫度熱通道溫度新風溫度IT負載總制冷輸出冷通道溫度熱通道溫度新風溫度IT負載送風溫度IEC制冷量環境變量控制變量模型訓練：分別采用小粒度超參尋優（31萬種組合）及快速尋優（1.2萬種組合）兩種模式。使用深度神經網絡，完成特征歸一化及能耗模型的創建并對該模型進行反復訓練，避免非凸神經網絡優化容易出現的局部參數最優的問題。采用不同的訓練數據及測試數據的劃分方式，對模型進行交叉驗證，保證模型的泛化能力。篩選變化不大或與當前工況差異較大的歷史數據，提升模型對最新工況的預測精度。訓練過程中，通過算法篩選不理想的模型，提升模型的整體預測能力。推理決策：1500萬種原始制冷策略中尋找出最符合IT負載、室外環境，并且滿足業務保障的控制參數組合，將預測以及優化決策模型發布到網管系統中，可實時在線計算出當前狀態下最佳控制參數。尋優模式：尋優模式分為穩態尋優和非穩態尋優，制冷系統在調節參數后達到穩態需要較長的時間，穩態尋優的在線推理模型受限于系統達到穩態的時長，效率低；強化學習為非穩態尋優，在系統尚未達到穩態時即可進行下一輪迭代，縮短系統收斂時間。節能效果評估AI（負載方案二：通過對比AI參數下發后系統中真實的制冷能耗，與基于模型及群控參數預測的相同工況下運行傳統群控參數的制冷能耗，評估節能效果。以某數據中心機房為例（如下圖所示），共有8臺蒸發冷卻機組，N+1配置，當服務器負載率在50%時，運行6臺蒸發冷卻機組時（每臺機組制冷輸出40%），此時整體PUE最優。

PUE-運行臺數0 2 4 6 8 1050%IT負載率 75%IT負載率圖18間接蒸發冷卻機組AI智能群控的節能效果評估示意圖PAGEPAGE27PAGE26PAGE26白皮書收錄于“DC計劃”單臺間接蒸發冷卻機組在不同室外環境溫濕度、不同制冷量輸出時，為實現能耗最低，存在運行模式的最佳切換點。以某IEC（如下圖所示1050功耗干模式 濕模式 混合模式圖19間接蒸發冷卻機組在10℃、50%負載時的功耗對比示意圖與此同時，在混合模式下，在保證當前的冷量輸出不變，送風溫度不變時，為實現單臺機組能耗最低，存在機組內部器件的最佳匹配工作狀態。實際運行時，可根據內置AI模型，推理計算在當前冷量下的最優內部器件運行狀態組合，實現能耗最低，能效最優。以某IEC為例（如下圖所示），當室外溫度為20℃時，當負載率在75%時，運行在混合模式，室外風機轉速80%情況下，運行狀態2的功耗最小，能效最優。180%100%1900rpm25℃；280%80%2700rpm25℃；380%60%3600rpm25℃；4035302520151050運行狀態1

功耗運行狀態2 運行狀態3圖20不同狀態組合實現相同制冷量輸出的功耗對比示意圖異常正常聲音識別判定為正常人工二次判斷異常提醒無操作異常正常聲音識別判定為正常人工二次判斷異常提醒無操作間接蒸發冷卻系統的智能運維包括以下幾個方面：間接蒸發冷卻系統所包含器件多，正常人工巡檢工作量巨大，且需要的專業性很高，因此會造成很高的巡檢費用。上述的智能運維，是借助智能傳感器，例如攝像頭，拾音器，振動傳感器等，匹配智能算法，針對間接蒸發冷卻系統進行全自動巡檢，識別異常，定期輸出巡檢報告。具體數據采集，數據上傳處理，模型訓練，策略下發，與上以一章節提升能效類似。間接蒸發冷卻系統當前所包括的巡檢項目眾多，例如：針對風機，進行異響檢測，判斷風機運行有誤干涉和異物，確定風機是否抖動，風機電流是否正常等；針對水泵，進行水泵異響檢測，判讀水泵接口是否松動，管路是否漏水等；針對噴淋系統，判斷噴嘴是否臟堵，水盤是否有異物；針對其他器件，判斷其外觀是否破損，各個功能器件功能是否正常，過濾網等是否臟堵，內部是否漏水等。上述巡檢項目，需要大量專業人員，花費大量時間進行巡檢，效率低。因此可采用智能巡檢進行，在間接蒸發冷卻系異常正常圖像識別提醒維護異常正常圖像識別提醒維護無操作無操作判定為異常維護圖21間接蒸發冷卻機組用AI技術進行故障預測示意圖維護PAGEPAGE29PAGE28PAGE28白皮書收錄于“DC計劃”間接蒸發冷卻解決方案應用案例間接蒸發冷卻機組應用之初主流場景為大平層或樓頂應用，但隨著數據中心爆發式的增長，單層或兩層的數據中心占地大的劣勢會越來越明顯，多層數據中心會成為主流；同時，機組室外布置會對日常運維帶來諸多不便。對間接蒸發冷卻機組而言，多層室內應用將會成為主流場景。間接蒸發冷卻機組在多層數據中心室內使用時，需要建筑進行針對性的適配設計，設置單獨的設備安裝間，主要用于間接蒸發冷卻機組、風管、維護通道、排風井的布置。結合機組的特征和建筑的經濟性考慮，建議設備安裝間的長度為7~9m（層數差異會影響排風井的尺寸）4.5m。不同樓層的機組室外排風通過排風豎井統一排放到建1~2在設計安裝間內平移到對應的安裝位置，因此，排放豎井需要設置在機組端部，不能設置在兩臺機組之間而導致機組無法平移，影響后續維護或擴容。從整體來看，單層建筑需包含機房、對應的配電間、及對應的管井、線井等，實現“一層一DC”，方便分期建設和后續按需擴容。烏蘭察布某數據中心該項目一期8MW，共1056個機柜。由5層共368個預制模塊箱體堆疊，其中2~5層應用間接蒸發冷卻解決方案制冷，下送風至機房內，模塊內采用密閉熱通道方案，通過吊頂回風，溫度設計在37℃。每層采用14套華為FusionCol8000-E220間接蒸發冷卻產品，共計56套，15天所有設備就位，4個月完成全部安裝，縮短建設周期TTM50%+。圖22烏蘭察布某數據中心應用間接蒸發冷卻技術案例2019550%PUE1.1512.2%。數據中心應用491kW?h2215tce/a,4724噸二氧化碳。烏蘭察布的全年氣象數據如下：表14烏蘭察布氣象數據臨沂某數據中心3004kW/8kW/10FusionCol800