存儲協議基礎作者：劉果工號：04912課程目的了解NFS和CIFS協議了解SCSI和FC協議了解iSCSI、iFCP、FCIP、infiniband

和AoE協議掌握上述幾種相關協議的優劣目錄NFS和CIFS協議介紹SCSI協議介紹FC協議介紹iSCSI、iFCP、FCIP、infiniband和AoE協議介紹總結存儲體系架構--NASNetworkAttachedStorage（NAS）基于NFS、CIFS文件級共享存取，支持HTTP存儲設備功能上獨立于網絡中的主服務器，不占用服務器資源擴展較容易，廣泛支持操作系統及應用，安裝簡單方便數據備份及恢復占用網絡帶寬NFS協議NetworkFileSystem，網絡文件系統最初由Sun微系統開發，現為IETF協議可用于不同類型計算機，操作系統，網絡架構和傳輸協議運行環境中的網絡文件遠程訪問和共享服務器消息塊協議（SMB）和國際互聯網普通文件系統（CIFS）是NFS的類似協議，在MicrosoftWindows平臺中，擁有著對等的網絡文件系統應用NFS協議發展說明NFSV2NFS最早被廣泛應用的版本，起初完全運行于UDP之上，并且不保留狀態NFSV3整合了TCP傳輸，支持更大的文件和64bits尋址，安全性也得到了加強NFSV4提高了經由Internet進行訪問的性能；將許可條款內置到協議之中，安全性得到了極大的加強；良好的平臺互操作性；支持擴展協議NFSV4是V2和V3的進一步修正版本，它不僅保留了前面版本的基本特征，還被設計為易恢復、與傳輸協議、操作系統和文件系統無關和良好的性能NFS通信架構客戶端服務器端NFS傳輸協議客戶端程序服務器端程序NFS傳輸協議用于服務器和客戶機之間文件訪問和共享的通信，該協議還支持服務器通過輸出控制向一組受到限制的客戶計算機分配遠程訪問特權CIFS協議Microsoft服務器消息塊協議（SMB）的增強版本微軟的一種私有協議定義了一種與應用程序在本地硬盤和網絡文件服務器上共享數據的方式相兼容的遠程文件訪問協議在TCP/IP上運行，可擴展至Internet，為慢速撥號連接優化利用重定向包可以通過網絡發送至遠端設備，而重定向器也利用CIFS向本地計算機的協議棧發出請求CIFS關鍵特點文件訪問的完整性：CIFS支持一套通用的文件操作：打開、關閉、讀、寫以及搜索。也支持文件和記錄的鎖定和解鎖。CIFS允許多個客戶端訪問和更新同一個文件，它通過提供文件共享和文件鎖定功能來避免發生沖突為慢速連接優化：為使用調制解調器訪問Internet的用戶改善性能安全性：CIFS服務器既支持匿名傳輸，也支持對于指定文件需要驗證的安全訪問。同時，也易于管理文件和目錄的安全策略。高性能和可擴展性：CIFS服務器和操作系統高度集成，為最大系統性能而優化使用統一碼（Unicode）文件名：文件名可以使用任何字符集，而不局限于為英語或西歐語言設計的字符集全局文件名：用戶不必掛載遠程文件系統也直接查閱到全局的有效名稱，而不是只有本地意義的那些名稱CIFS協議結構CIFS不足“喜歡嘮叨”：完成一次請求需要來回傳送大量的事務。傳送一個大小為30MB的文件時，CIFS必須在客戶端與服務器之間往返數百次。在典型的LAN上，傳輸過程只需要幾秒鐘，而在時延為300ms的2MbpsWAN鏈路上則需要7.5分鐘通常情況下，在客戶機與服務器之間的一次往返中，CIFS最多只能傳送61KB數據，每個CIFS請求都需要應答，然后下一個請求才能傳送給CIFS服務器。性能隨著時延的增加而下降。目錄NFS和CIFS協議介紹SCSI協議介紹FC協議介紹iSCSI、iFCP、FCIP、infiniband和AoE協議介紹總結80MB1998SCSI-3SP2160MB1999SCSI-3SP3320MB2001SCSI-3SP4??SCSI-3SP520MBMid1995SCSI-3SPISCSI發展簡史

1993-SCSI-3SPI1995(SCSI并行接口)SPI-21998SPI-31999SPI-42001SPI-5終止SCSI:Small

Computer

System

Interface小型計算機系統接口

SCSI架構分層模型特定設備命令集：包括磁盤設備的“SCSI塊命令”等基礎命令集：所有SCSI設備都必須實現的“基礎命令”SCSI傳輸協議：比如iSCSI，FCP物理連接：比如光纖通道，internet架構模型：定義了SCSI系統模型和各單元的功能分工SCSI主要實體介紹SCSI是客戶端-服務器架構在SCSI術語里，客戶端叫initiator，服務器叫targetInitiator通過SCSI通道向target發送請求，target通過SCSI通道向initiator發送響應SCSI通道連接的是SCSIPort：SCSIinitiatorport和SCSItargetport。由ServiceDeliveryProtocol（服務傳輸協議，如FCP、iSCSI等）建立和維護。Target包含一個SCSIport，任務分發器和邏輯單元SCSIport用來連接SCSI通道，任務分發器負責將客戶端的請求分到到適當的邏輯單元，而邏輯單元才是真正處理任務的實體通常一個邏輯單元都支持多任務環境，所以需要包含一個任務管理器和真正響應請求的服務器initiator至少必須包括一個SCSIPort，和一個能發起請求的客戶端Initiator用一種叫做CDB(CommandDescriptorBlocks)的數據結構封裝請求SCSI域initiator：包括至少一個SCSIport和一個客戶端，客戶端用來發起SCSI命令target：包括至少一個SCSIport和一個任務路由器（taskrouter）、一個或多個邏輯單元LULU：邏輯單元（LogicUnit），處理命令的真正實體，包括一個任務處理器（taskmanager）和一個設備服務器（deviceserver），每個LU都有一個邏輯單元號（LUN）targetinitiator客戶端SCSIportSCSI通道SCSIport任務路由器邏輯單元LU任務管理器設備服務器SCSI域Target端組件：任務路由器：target的組件，負責將發送到target的任務分送到目標LU任務管理器：LU組件，負責管理到達LU的任務，包括初始化任務，管理任務對列和維護任務狀態等設備服務器：LU組件，任務的真正執行者。處理操作和并將其指向特定的LUN任務在target的執行過程：1.Initiator發起任務，由SCSI通道傳輸到target2.Target端由任務路由器將任務分送到指定的LU3.LU的任務管理器接管任務，將任務初始化，并放置到任務隊列4.任務隊列的任務獲得執行權限，交由設備服務器，由設備服務器執行具體操作targetSCSIport任務路由器邏輯單元LU任務管理器設備服務器任務SCSI通信模型Initiator的應用層封裝好SCSICDB后，調用SCSI傳輸協議接口……Target的應用層收到SCSICDB后，根據CDB內容進行相應處理，封裝好SCSI響應后，調用SCSI傳輸協議接口……iSCSI正是SCSI傳輸協議的一種SCSI特點及應用特點：應用范圍廣、多任務、帶寬大、CPU占用率低，以及熱插拔，但價格較高應用場合：中、高端服務器和高檔工作站。磁盤、光驅、磁帶機、硬盤存儲SCSI必須要有專門的SCSI控制器，也就是一塊SCSI控制卡，才能支持SCSI設備SCSI-3架構協議簇與SCSI分層架構相對應，每個框都是一個協議單元；而FC、infiniband和iSCSI只是它的物理連接和傳輸協議而已目錄NFS和CIFS協議介紹SCSI協議介紹FC協議介紹iSCSI、iFCP、FCIP、infiniband和AoE協議介紹總結FC簡介FC-AL(光纖通道仲裁環FibreChannelArbitratedLoop)，是一種基于SCSI協議設計的雙端口的串行存儲接口，支持全雙工工作方式FC為上層協議(SCSI,IP等)提供一個通用硬件傳輸平臺。光纖通道不是一種新的協議FC是一種高速度、高可靠、低延遲、高吞吐量的串行數據傳輸接口40-pinMaleFC-SCAIIConnectorFC存儲特性比較

SCSI-命令集-物理傳輸光纖通道第一代(4Gb/s下)ArbitrationLoop光纖通道第二代交換式Fabric節點連接能力15126(28)(光纖通道集線器)1千6百萬個(224)(光纖通道交換機)距離限制12米10公里10公里(可擴展)最大帶寬320MB/秒

(半雙工共享帶寬)400MB/秒(全雙工共享帶寬)800MB/秒(全雙工獨占帶寬)多協議支持否是是管理支持能力否是先進

(telnet,SES,SNMP,GUI,API)錯誤隔絕否最低程度是FC基本架構FC各層功能簡述FC-0（物理接口層）：主要由傳輸介質、發送端、接收端以及它們之間的接口組成；FC-1（字節編碼層）：定義了包括串行解碼、編碼及差錯控制的傳輸協議；FC-2（數據分發層）：指明了傳輸規則，并提供了進行端到端數據塊傳輸時所需的傳輸機制；FC-2的功能包括：幾種服務類型、幀格式定義、順序分解和重組、交換管理、地址分配、別名地址定義、廣播管理和堆棧連接請求；FC-3（通用服務層）：提供了一系列通用服務：LinkServices和HuntGroups；FC-4（高層協議映射）：FC標準集的最高層，定義了FC底層和高層之間的協議映射關系。比如將光纖通道性能映射為IP,SCSI或ATM等協議連接線和接口部件介質種類速度距離(m=米)9μm單模光纖(長距離)100MB/s200MB/s2m–10km50μm多模光纖(短距離)100MB/s200MB/s2m–500m電信號(銅介質)100MB/s0m–24m1Gbps光纖使用SC接口,2Gbps使用LC接口(SFP)光纖通道不只等于光纖銅纜和光纜光纖通道端口類型設備(節點)端口N_Port =“Fabric直接連接設備”NL_Port=“Loop連接設備”

交換機端口E_Port =“擴展端口”(交換機到交換機)F_Port =“Fabric端口”FL_Port =“FabricLoop端口”G_Port =“普通(Generic)端口—可以轉化為E或F”U_Port =“通用(Universal)端口”(用于描述自動端口檢測的術語)端口鏈接輸入輸出

點對點

ArbitratedLoopFabricFabric端口狀態Fabric節點N_PortF_PortF_PortE_PortE_PortFL_Port節點N_Port交換機2交換機1節點NL_Port節點NL_PortU_Port點對點拓撲結構主機ProcessorMemoryI/OBusN_Port0BridgeTXRXRXTX磁盤柜N_Port1控制器Transmit(TX)信號發射Receive(RX)信號接收仲裁環拓撲結構TXRXNL_port0TXRXNL_port3RXTXNL_port1RXTXNL_port2最大連接126的節點FC-ALPronounced“F-kal”交換拓撲結構FabricTXRXN_port0TXRXN_port1TXRXN_port2TXRXN_port3TXRXN_port4224=16millionnodespossibleF_portAF_portEF_portDF_portCF_portBFC的三種拓撲結構點對點只能連接2個設備(直接連接)交換式Fabric最多支持1千6百萬個設備(光纖通道交換機)ArbitratedLoop

(仲裁環)最多支持126個設備(光纖集線器)普及!FC的優勢

速度非常高。FC通常在2Gb/s的速率上運行，4Gb/s已經開始普及，10Gb/s出現，正朝著100Gb/s的方向邁進傳輸距離遠。長達10km的光纖連接使遠程鏡像和備份成為可能，即便是采用銅纜也可以達到30米以上的傳輸距離可擴展性和高可靠性。可以根據系統的需求靈活地擴展整個系統；其高效的編碼和錯誤校驗機制大大提高了數據傳輸的可靠性具有多方面的靈活性。可以載送多種協議的數據，包括SCSI、IP、ATM等高層協議的數據；可以支持點到點、專有環結構和交換結構等拓撲結構；可以在單一的拓撲結構中采用光纖、銅纜等多種媒介；通過橋接設備可以實現早期SCSI與以太網的兼容SCSI與FCSCSIFC接口類型并行串行尋址空間1616million線纜長度12m10km連接引腳數68銅纜或光纜雙端口否是雙工方式半雙工全雙工拓撲連接總線環路或交換式最多連接設備數16127-環路/2^24-交換式適用場合中型企業服務器大型企業服務器主要優勢性能較高高性能，高可靠性主要劣勢并行技術的弊端價格較高目錄NFS和CIFS協議介紹SCSI協議介紹FC協議介紹iSCSI、iFCP、FCIP、infiniband和AoE協議介紹總結存儲體系架構--SANIPSAN的三種協議iFCP中FC-2層被替代iSCSI概述由IBM，CISIO，HP發起；2000-2為IETF草案，2004-4作為正式的IETF標準現在的iSCSI協議對應SAM2，而最新的SAM是SAM4主要由RFC3720描述涉及的RFC還有：3721（iSNS），3722（命令規范），3723（安全），3347（設計），3783（IP上的有序命令傳送），3385（錯誤估計）用TCP/IP作為SAN的基礎設施iSCSI是構建在TCP之上，而不是IP；是面向連接的，而不是無連接的。（一個iSCSI命令可能分在幾個IP報文中）需要禁用TCP的NAGLE算法（見TCP/IP詳解V119.4節）iSCSI的主要功能是在TCP/IP上封裝，并可靠的傳輸SCSI命令iSCSI協議是SCSI遠程過程調用模型到TCP/IP協議的映射SCSI協議層負責生成CDB，并將其送到iSCSI協議層，然后由

iSCSI協議層進一步封裝成PDU，經IP網絡進行傳送iSCSI協議棧TCP頭iSCSI頭SCSI命令IP頭iSCSI幀iSCSI幀格式iSCSI各層介紹SCSI層：根據應用發出的請求建立SCSICDB(命令描述塊)，并傳給iSCSI層；同時接受來自iSCSI層的CDB，并向應用返回數據iSCSI層：對SCSICDB進行封裝，以便能夠在基于TCP／IP協議的網絡上進行傳輸，完成SCSI到TCP／IP的協議映射。這一層是iSCSI協議的核心層TCP層：提供端到端的透明可靠傳輸IP層：對IP報文進行路由和轉發Link層：提供點到點的無差錯傳輸iSCSI層次模型Client/Server模型NetworkEntity：可以訪問IP網絡的設備或者網關iSCSINode：即InitiatorNode或者TargetNodeNetworkPortal：NetworkEntity的一個組件，有IP地址，iSCSINode通過它來建立會話和連接PortalGroup：NetworkPortal的集合iSCSI

體系結構模型NetworkEntity有一個或者多個NetworkPortal每個NetworkPortal可以被多個iSCSINode訪問一個會話可以包含跨多個

NetworkPortal的多條連接一個或者多個PortalGroup

可以提供到同一個Node的訪問iSCSITargetNode（WithinNetworkEntity）

iSCSISessionTSIH＝56

iSCSISessionTSIH＝48PortalGourp1PortalGroup2NetworkPortalNetworkPortalNetworkPortaliSCSI

體系結構模型iSCSI優點高容量高可靠高擴展良好的標準化易管理靈活的安全性和QoS保證很低的安裝成本和維護費用：建立在TCP/IP上減少了異構網絡和電纜：不需要特殊的FC交換機零距離限制，遠程存儲（廣域網）異地間數據交還異地間數據備份及容災FCPSCSI的光纖版本支持點到點，共享環路及網絡交還拓撲結構采用光纖通道協議節點之間的互連可以是光纖，也可以是銅纜或其他材料的導線不足：傳輸距離：最多只能傳輸10公里；如果需要擴展，需使用其他相關協議需要構建專門的存儲網絡、專門的FC交換機安裝和維護成本非常高FC協議與iSCSI協議的比較流量控制超時重傳加密和認證CPU負擔iSCSI協議基于窗口的發送機制使用自適應重傳算法允許多種加密和認證方式，如IPSec數據包的分段和重裝由CPU來完成FC協議基于信用的流量控制使用靜態的超時重傳機制基于邏輯上的數據通道綁定數據包的分段和重組操作在網卡中實現比較說明iSCSI對網絡的適應性更好，尤其在網絡傳輸延遲較大的網絡中iSCSi更加適合目前的網絡情況iSCSi安全性更好iSCSI協議增加了CPU的負擔。數據塊越小，CPU負擔越大對于傳統的基于LAN的SAN來說，因為FC的分段重組機制大大減輕了CPU的負擔，加快了數據的處理，它是比iSCSI更好的網絡互連協議。對于需要遠距離傳輸的存儲網絡來說，由于iSCS在流量擁塞控制機制、發現和地址機制、超時重發機制、安全機制等方面的優勢，它比FC更適合。FCIPFCoverTCP/IP，將FC協議封裝到TCP/IP包中，從而使FC通過網絡進行傳輸。由博科、Gadzoox網絡、朗訊科技、Mcdata及Qlogic共同提出FCIP是一種隧道協議，只能用在位于IP網絡終點的FCIP隧道設備中連接廣域的FCSAN，能夠通過IP網絡將各個孤立的光纖信道存儲區域網絡連接起來，從而形成一個統一的存儲區域網絡解決了FC的傳輸距離問題，即SAN之間的互連互通應用場合：已經應用了光纖通道技術并且想克服距離限制的企業TCP頭FCIP報頭SOFFC幀SOFIP頭FCIP幀FCIP幀格式FCIPFCIP不足：只能在FCIP設備之間建立單點到單點連接，并且無法提供兩個獨立存儲設備之間的IP連接是一種不透明的傳輸協議，在FC層沒有錯誤檢測，錯誤將被傳播FCIP設備有可能是瓶頸：FC和IP網絡之間的線速不匹配或者低效的FCIP引擎FCIP通道崩潰，兩個遠程FC交換機之間的連接也不會自動恢復，商業應用較難。原本連接而成的單一的邏輯存儲區域網絡將分割成兩個單獨的存儲區域網絡，各自進行本地數據交換由于FC幀在不透明的管道中傳輸，IP網管工具不能穿透FC會話層，因此在網絡管理方面，FCIP網絡的運維需要IP和FC兩套管理系統TCP頭FCIP報頭SOFFC幀SOFIP頭FCIP幀FCIP幀格式iFCP由NishanSystem倡導，Mcdata開發了其產品為TCP/IP網絡上的FC端設備提供FC網絡服務主要目標是使現有的光纖信道設備能夠在IP網絡上以線速互聯與組網也是為了解決FCSAN遠程傳輸問題應用場合：還沒有實施光纖通道技術，并且希望從非光通道環境擴展和移植的企業TCP頭iFCP報頭FC幀IP頭iFCP幀iFCP幀格式iFCP特點InternetFiberChannelProtocol是一個網關到網關的協議，可以直接替代FC架構通過iFCP存儲交換機建立連接的同時能夠建立網關分區，可以將出現問題的區域隔離起來，并克服了點到點隧道的限制錯誤不會傳播：利用TCP保障可靠傳輸的機制替代了FC-2的相關功能只需要單一的網管系統實現了SAN的路由故障隔離、安全及靈活管理，具有比FCIP更高的可靠性TCP頭iFCP報頭FC幀IP頭iFCP幀iFCP幀格式IP存儲網絡融合FCIP、iFCP與iSCSIInfiniBand總線共享體系結構與開放式體系架構簡稱IBA，是一種把網絡技術引入I/O體系之中的高級互連技術，它主要用于連接服務器、網絡設備和存儲設備。InfiniBand貿易協會（IBTA）于1999年成立。2000年下半年，IBTA公布InfiniBand。至此，該組織的成員已經發展到180家公司，其中包括Dell、HP、IBM、Intel、Mocrosoft和Sun。是一種是以通道（Channel）為基礎的雙向、串行式傳輸，在連接拓樸中采用交換式結構技術的通用I/O規范，并把I/O控制的責任從處理器移到了智能的I/O引擎。InfiniBand用一個支持并行數據和多種I/O鏈接進行轉換的I/O交叉網來替換傳統的總線系統是FIO（FutureI/O，Compaq等）和NGIO（NextGenerationI/O，Dell等）的融合在硬件上提供高可靠的傳輸層級別的數據傳輸，在導線上支持消息傳遞，基于IO通路共享InfiniBand體系結構InfiniBand標準定義了一套用于系統通信的多種設備，包括信道適配器、交換機和路由器。信道適配器用于同其它設備的連接：主信道適配器（HCA）和目標信道適配器（TCA）。交換機是InfiniBand結構中的基本組件。點到點的交換結構：解決了共享總線、容錯性和可擴展性問題。物理層的低功耗和具有箱外帶寬連接能力InfiniBand協議分層結構物理層：定義了三種速率的連接，分別為1X、4X和12X，其信號單倍傳輸速率分別為2.5、10和30Gb/s。鏈路層：鏈路層與傳輸層處在

IBA的核心位置。提供了局部子系統中的信息包設計、點到點連接操作以及包交換等功能。網絡層：提供了信息包從一個子結構到另外一個子結構的路由機制。傳輸層：傳輸層主要負責信息包的按序分發、分割、通道多路技術以及傳輸服務等；也負責處理數據包分段的發送、接收和重組。物理層鏈路層網絡層傳輸層高層5層結構Infiniband組網圖子網圖Infiniband特性分層協議3種連接速度，高速遠距離：使用銅纜可達17m，單模光纖可達10Km支持PCB、銅纜、光纖互連子結構管理協議遠程DMA支持，無須CPU干預，直接存取文件或設備支持多播以及廣播可靠的傳輸方法：消息隊列機制通信流控：鏈路層及終端到終端高可靠、傳輸層的連接極低延遲：1～3ms，標準的以太網是50ms左右避免了總線的單點故障10GbE與InfiniBandIBA需要與機內連接方式，如PCI、PCIe、RapidI/O等爭搶地盤，也需要與機外連接方式，如FC、Ethernet爭搶以太網標準規定了Windows、Linux、Unix系統以及大型機如何聯網和被訪問；而在高性能計算、集群技術這個小圈子中，InfiniBand將會更合適AoEATA-Over-Ethernet：利用標準的以太網傳輸ATA磁盤命令只需要三層協議棧優勢：存儲費用低廉傳輸效率比較高不足：安全性只能在LAN