國防科學技術大學計算機學院博士、研究專注于HPC互連網絡研究16年，國內高性能系統互連網絡領域知名家 為TH系列HPC持續獲國際Top500第一名做出了重要貢獲國家科技進步特等獎1項 科技進步一等獎22013年入選教育部“二十一世紀科技創新人才面向E級高性能計算機的新型高性能互連網絡技術研國 計算所 交大+西安交大+湖南大本人出任項目首席科EHPC及其設計二、二、HPC互連網絡：現狀與趨勢三、光電集成三、光電集成HPC互連網絡E級Exascale1018=百億億（102×108×1082017年啟動研制，2020年左10萬結點，約20MW功相比TH2，性能提升20倍，功耗基本不變，或者說提升性能功耗20大型科學與工程計算“高性能計算機的計算速度每十年提高一千倍大規模應用表現 的E級計算能力需E級計算生命科 核 氣候環 航空航制

天體物2010年4月，IBM公司《SomeChallengesonfromPetascaletoExascale 3D54008050001000204 BlueBlueGene/L:2.9TianHe-1A:4.04puter:

如此發

E級系統功耗將3.5GW過三峽水電站2008年平均供目前頂級的超級計算機的能效為2~4E級計算系統（~1018Flops）能 EHPC及其設計二、二、HPC互連網絡：現狀與趨勢三、光電集成三、光電集成HPC互連網絡

結點內互 系統級互高速率、低功耗、低成更優 性更長的傳輸距恒電流驅 PhysicalProblems(athighSignalElectromagneticHighPowerHighLatency(RCSuccessfullong-haul municationsystembasedonfiberopticsCapabletoprovidelargeFreefromelectricalshort-Low-losstransmissionathighImmunetoelectromagneticEssentiallynocrosstalkbetweenadjacentNoimpedancematching產品性能遠高于主 互連產s

TH-60MB/s

IB

IBFDR

YH-

YH-

IBSDR

TH2 32000In XeonCPUs+48000XeonPhis+ 4096FTCPUs Proprietaryhigh-speedinterconnectionnetworkTHExpress-2 1PBin Globalsharedparallelstoragesystem,12.4PB 17.8MW ClosedAircoolingTH2系統互連網絡：主要技術指9互連（Serdes×N）+交換 IB-EDR：36端口，100G=4×25G，100W,交換機648端5T每結點，20萬結點，網絡支持20Tree12341Router648交換1IB更高性TreeIB更高性Tree4Router648交換更高性更高集成密 更低功 EHPC及其設計二、二、HPC互連網絡：現狀與趨勢三、光電集成三、光電集成HPC互連網絡板間板間板上電互板上背板背板 板間板上板上

板上電互

板間

板上

背板

板間

MOB背板

板上電互

板上

板間板上電互板上MOBvs On-BoardvsEdge4LaneAOC→當前國際最高密提高互連密度3單提高互連密度3包括VCSEL光發送部分、PD光接收部分、MCU微控制器、 硅光子集成將用光互連完全取代電互連，從而根本

間光互

SerdestoModule距離<5cmor1cmOIFSerdes20pJto信號傳輸完整性更交 中可以集 密度更高、功耗更系統集成密度更高、信號完整性更顯著提升系統能效

CircaCirca光光3D 以色列CompassEOS公司的R10004RouterChip封裝168路8Gbps光鏈路（VCSEL+PD），單吞吐率功耗較高：1.5Wper4Lane Serdes 的主要功耗當前Serdes功耗，20pj/bit，需要降低到減小Serdes傳輸距離是最主要Step2：分立光電單片集成光源、調制器、探測器、驅動IC、放大Step2.1：分立光Serdes信號直接去掉驅動+放器件密度：4Lane/器 ：集成器件密度→12Lane/模塊→32Lane/模 集成PAM、多芯光纖、CWDMMIPvsEdgeMIP存在單點故障無法顯著降低可靠性、增加設計 成增加冗余鏈1條鏈路故障，可以通過光交換技術切換到其它鏈

CCompleteDataPat

CCompleteDataPatNoNodeBoar

NodNodeBoarNodeChipintheFuturToday’sNodeChip

網絡

/

處理16xPCI-E

獨立NIC架構端-端延遲約其中PCI-E延遲

mm

計算與通信融合架NIC嵌入處理目標端-端延遲約

用戶應用程文件用戶應用程文件系統操作調度優設備管網絡協議棧網絡操作調度優網絡設備管現行服務現行服務器硬

優化

用用戶應用程文融合設備設備管 內存數 網

內