1、1NetApp Confidential - Internal Use OnlyDataOntap中心技術Data OntapNetApp一致存儲架構ApplicationOSSecurityVolume Mgmt (RAID)NTFS/UFSDisk Drivers通用操作系統中心技術：公用操作系統DataOntap70萬 行代碼，代碼精煉功能不多，但是專注于數據存儲，由于專所以高效對病毒免疫公用操作系統DataOntap5000 萬行代碼，代碼龐雜功能繁多，但是大部分和數據存儲無關，從而影響數據存儲性能開放系統，容易受病毒攻擊WAFL2022/7/12NetApp Confidential

2、 - Do Not Distribute4公用操作系統和文件系統-WAFL高效支持一切協議NetApp LUNs 是在Flex vol之內建立的具備磁盤塊屬性的數據對象ted within FlexVol volumes.NetApp在SAN環境和NAS環境提供同樣的存儲效率經過 NetApp的一致架構, 單一系統可以提供SAN和NAS功能，并且易于再配置和改動應對業務挑戰Disk DriveData ONTAP Logical ViewRAID GroupAggregateFlexVolLUNSATARAID-DPThin ProvisioningThin ReplicationSnapsh

3、ot CopiesVirtual CopiesDeduplicationAbstraction LayerEfficiency Feature存儲單元劃分Aggr0Aggr1vol0vol1vol2vol3物理磁盤Aggregate(RAID組集合)FlexvolLUN物理層面邏輯層面存儲單元稱號與定義Aggregate每個控制器必需有獨立的Aggregate可以包含一個或多個RAID組VolumeNAS存儲單元虛擬化邏輯單元，可以動態縮放20MB16TBWAFL文件系統構造LUNSAN/IPsan 存儲單元虛擬化，可以動態縮放數據格式由主機定義Data OntapNetApp一致存儲架構Ne

4、tApp Raid 技術詳解1137222149 為什么其他廠商不提供RAID4支持，RAID4本身存在什么缺乏? Netapp如何處理RAID4本身的缺乏?3912213321112258812333+1+2+3=99-3-1-3=211512DDDDP不論是RAID4還是RAID5，都是基于單校驗技術的RAID方法，只能防止因一塊硬盤缺點導致數據失效Netapp采用的RAID技術之一：RAID4RAID4有一塊公用的校驗盤3521211813213713213891222DDDDDRAID5沒有公用的校驗盤，一切的校驗信息分散存儲在一切硬盤上用戶數據校驗數據圖例此塊數據要從3修正為55+=

5、1122149修正為2修正為2修正為1修正為4RAID4：RAID組內添加硬盤不需求進展重構9587P0000D3121113122133122DDDDRAID4有一塊公用的校驗盤只需新添加的硬盤一切位都格式化為0，把硬盤添加到RAID4中就不會改動各個條帶的校驗值，因此整個RAID組不需求重構RAID5：RAID組內添加硬盤需求進展重構35212118132137132138DDDD91222DRAID5沒有公用的校驗盤，一切的校驗信息分散存儲在一切硬盤上00000D50827118為了堅持RAID5分散存放校驗信息的特點，新硬盤添加到RAID組后，整個RAID組需求進展長時間的重構，在這段

6、時間內數據沒有RAID維護，且會嚴重影響性能D單校驗RAID技術的RAID組重構問題9587P3121113122133122DDDDRAID4有一塊公用的校驗盤9 3 1 3 =25 1 1 1 =28 2 3 2 =17 1 1 2 =3RAID組的重構，會給用戶帶來如下的影響： 需求較長的時間完成，且硬盤越大，所需的時間越長 會嚴重耗費陣列的資源，特別是該RAID組內的硬盤讀寫資源，因此會嚴重影響性能 在重構期內，整個RAID組沒有維護，假設再有一塊硬盤失效會導致用戶數據的喪失312111312213312295877121211DDDDPDP一個Raid組內可以同時壞兩塊硬盤數據可靠性

7、比RAID-4 或 RAID-5 提高了 4000倍Netapp采用的RAID技術之二：RAID DP用戶數據程度交驗數據對角交驗數據圖例同樣的情況在 RAID-6形狀下140%5%10%15%20%Up to 5%Up to 2.6%Up to 17.9%FCATAFCATAFCATA17.9%1.7%2.6%.2%5%3%ATALess than 1 in a billion*介質或磁道損壞 + 第二塊磁盤損壞的能夠性 雙校驗(在16塊盤的RAIDDP磁盤組重構期間)Protected withRAID-DP.0000000001%*規范的磁盤改換率 (每年)*磁盤驅動器介質或磁道損壞幾率

8、(300GB FC / 320GB SATA)*磁盤驅動器介質或磁道再有一塊盤損壞的幾率(在RAID4/5，8塊磁盤的磁盤組重構的過程中)行業統計: 磁盤驅動器的改換率和磁盤介質損壞的幾率隨著磁盤容量的增大在不斷的添加*資料來源: Network ApplianceData OntapNetApp一致存儲架構NetApp Raid 技術詳解底層空間管理技術和性能優化C底層存儲空間管理技術根ABD用戶數據此數據需求修正，從C修正為C空閑空間池CC其它廠商底層存儲空間管理技術在用戶數據修正時所采用的技術根ABD用戶數據空閑空間池在原來位置上直接利用新數據覆蓋老數據Netapp先進的底層存儲空間管理

9、技術：WAFL在用戶數據修正時所采用的技術根ABD用戶數據空閑空間池CC1.從空閑空間池分配一個新的數據塊2.把修正以后的數據寫入到新分配的數據塊中3.修正指針，從指向老數據塊修正為指向新數據塊4.老數據塊數據不做任何修正，直接前往空閑空間池WAFL：所帶來的優越性能硬盤硬盤硬盤硬盤硬盤硬盤硬盤硬盤硬盤硬盤硬盤校驗盤Netapp WAFL的做法硬盤硬盤硬盤硬盤硬盤硬盤其它廠商的做法采用RAID5讀讀讀校驗數據寫入用戶數據寫入讀硬盤硬盤硬盤硬盤硬盤校驗盤其它廠商的做法采用RAID4讀讀讀讀用戶數據寫入校驗數據寫入需求修正的數據修正以后的數據需求讀取的數據校驗數據圖例 剛剛遺留的和RAID相關的兩

10、個問題為什么其他廠商不提供RAID4支持，RAID4本身存在什么缺乏? Netapp如何處理RAID4本身的缺乏? 會涉及到剛剛引見的單校驗的RAID技術RAID4或RAID5如何進展數據修正的技術其他廠商：RAID組的大小和性能成反比硬盤硬盤硬盤硬盤硬盤硬盤硬盤6D+1P的RAID5組：每個數據塊的修正都要涉及到其它五塊硬盤一樣位置的數據塊的讀取，然后進展校驗計算硬盤硬盤硬盤硬盤3D+1P的RAID5組：每個數據塊的修正只需涉及到其它兩塊硬盤一樣位置的數據塊的讀取，然后進展校驗計算需求修正的數據修正以后的數據需求讀取的數據校驗數據圖例RAID組越小，性能越好，因此其他廠商普通都建議用來存放消

11、費數據的RAID5的硬盤組采用3D+1P或4D+1P大小Netapp：RAID組的大小和性能成正比硬盤硬盤硬盤硬盤硬盤硬盤硬盤6D+1P的RAID4組：每6個數據塊的修正只需進展一次校驗計算，只會產生一個校驗塊硬盤硬盤硬盤硬盤3D+1P的RAID4組：每3個數據塊的修正就要進展一次校驗計算，產生一個校驗塊，這樣6個數據快的修正就要進展兩次校驗計算，產生兩個校驗塊需求修正的數據修正以后的數據需求讀取的數據校驗數據圖例RAID組越大，性能越好，因此Netapp普通建議用戶的RAID4硬盤組至少采用6D+1P的大小22DataDataDataDataParityParityDataWAFL 無需預先

12、分配空間(元數據和數據同樣對待，寫條帶條帶到最近的可用塊.條帶化到最近的可用塊減少磁盤尋道，到達最好的磁盤性能，防止熱點攀的產生!WAFL將隨機寫轉換成大的順序寫!WAFL 文件系統和 Data ONTAP OS結合高性能RAID-6 (RAID-DP)DDDDPPDDDDPPDDDDPPDDDDPP4K blocks,parity calculatedin memoryIncoming WritesNVRAM傳統的文件系統NTFS, UFS, FAT32等,將數據寫到預先分配好的位置，導致“熱點校驗磁盤DataDRAMData OntapNetApp一致存儲架構NetApp Raid 技術詳

13、解底層空間管理技術和性能優化NetApp快照 恢復和克隆快照數據消費數據有數據快照的情況沒有數據快照的情況Netapp數據快照技術：SnapshotABCD空閑空間池消費數據ABC空閑空間池DDD用戶最關懷的和數據快照相關的兩個問題：數據快照對性能的影響程度數據快照所需耗費的存儲空間快照數據消費數據有數據快照的情況沒有數據快照的情況其它廠商的數據快照技術ABCD用戶數據消費數據ABC用戶數據數據快照公用存儲空間DDDD不同的數據快照實現的性能差別CX500 performance with their snapshots goes to 6TBNetapp的FlexVol技術提高了存儲空間的運

14、用率80%利用率Reclaimed SpaceAvailable for GrowthFlexVol提升 I/O 性能原有的架構卷的性能被它的磁盤數量限制“熱點卷不能從其他卷的磁盤上獲得協助NetApp FlexVol的技術各個卷可以共享所以磁盤的聚合性能Netapp的Flexvol技術所采用的先進的存儲空間組織方式RG1RG2RG3磁盤LUN圖例運用主機1運用主機N一切硬盤先分成相應的RAID組一切的RAID組組成存儲池在存儲池上面創建LUNNetapp的Flexvol技術完全消除了訪問熱點的產生，充分發揚了存儲系統的潛在性能RG1RG2RG3磁盤LUN圖例主機IO運用主機1運用主機N主機一

15、切的IO都平均分散在陣列一切的硬盤上，徹底消除了陣列訪問熱點問題軟件產品和功能引見 Netapp創新的RAID技術 公用操作系統(Dataontap)和底層存儲空間管理技術(WAFL) 先進的數據快照(Snapshot)和快速恢復(Snaprestore)技術 先進的存儲空間分配和組織技術(Flexvol) 先進的數據克隆技術(Flexclone) 運用系統存儲訪問優先級控制技術(Flexshare) 先進的基于磁盤陣列的數據容災技術(Snapmirror)只需中心運用集中了中心和邊緣運用不區分運用等級集中了中心和邊緣運用利用Flexshare區分運用等級高優先級高優先級低優先級低優先級Fle

16、xshare：保證中心運用的存儲訪問性能存儲網絡存儲網絡存儲網絡軟件產品和功能引見 Netapp創新的RAID技術 公用操作系統(Dataontap)和底層存儲空間管理技術(WAFL) 先進的數據快照(Snapshot)和快速恢復(Snaprestore)技術 先進的存儲空間分配和組織技術(Flexvol) 先進的數據克隆技術(Flexclone) 運用系統存儲訪問優先級控制技術(Flexshare) 先進的基于磁盤陣列的數據容災技術(Snapmirror)50SnapMirror特點- 不同協議數據,一致冗災架構NAS消費系統ISCSISAN冗災系統SnapMirrorSnapMirrorS

17、napMirrorNASISCSISAN51SnapMirror ApplicationsSnapMirror 技術將數據鏡像到一個或多個FAS存儲系統上。基于存儲設備底層的增量數據復制, 對主機效力器上層運用和數據庫無影響。支持多種傳輸方式FC 和 IP 。異地備份數據拷貝提供只讀功能和缺點切換訪問。客戶選擇適當的同步級別同步、準同步和異步，從而實現了較高的災難恢復維護級別。完全基于IP網絡，無需公用光纖鏈路及多路波分設備，沒有傳輸間隔限制。運用異步方式，對主機系統效力器I/O性能無影響。SnapMirror支持多種拓撲方式的復制，包括：1對多；多對1；級聯復制等。SnapMirror支持對

18、多種數據的復制，包括：基于卷的復制，基于qtree的復制，支持對NAS / SAN /iSCSI中的數據復制。SnapMirror只傳輸變化的數據塊，可以大大節省網絡帶寬和減輕FAS存儲系統的負載。 52SnapMirror ModesSynchronous SnapMirror34Zero data lossDistance limitedPerformance impact142Small data lossNo distance limitNo performance impactSemi-Synchronous SnapMirror12Data loss 1 minute No dis

19、tance limitNo performance impactAsynchronous SnapMirror3Every Write2Every WriteAB312Changed blocksSet intervals153Snap ASnapMirror operation(異步方式)Baseline TransferSource File SystemRemote File System54Snap ASnapMirror operation (異步方式)Baseline TransferSource File SystemRemote File SystemSource file s

20、ystem continues to change during transferRemote file system is now consistent, and a mirror of the Snapshot A file systemCompletedSnapMirror to tape for seeding mirrored pairs55Snap ASnapMirror operation (異步方式)Incremental TransferSource File SystemRemote File SystemSnap BRemote file system is now co

21、nsistent, and a mirror of the Snapshot B file systemCompleted56SnapMirror operation (異步方式)Source File SystemRemote File SystemSnap BSnap CIncremental TransferCompletedRemote file system is now consistent, and a mirror of the Snap C file systemThe NetApp Model57NetApp Confidential - Internal Use Only

22、DepartmentalEnterpriseEnterpriseSANNASDepartmentalUnified StorageLANiSCSIFibreChannelEthernetScaling Up and Out with Data ONTAP 858NetApp Confidential - Internal Use OnlyDepartmentalEnterpriseEnterpriseSANNASDepartmentalLANiSCSIFibreChannelEthernetData ONTAP 8.0 NetApp主要磁盤存儲產品家族59NetApp Confidential

23、 - Internal Use OnlyFAS2xxx68 - 432TB68 - 144drivesSAS, FC & SATAFAS62xx2400 - 2880TB1200 - 1440 drivesFC & SAS & SATA480 1920TB240 - 960 drivesFC & SAS & SATAAll systems runData ONTAPFAS32xx異構存儲設備支持480TB 1920TB240 - 960 LUNsV32xx1200 2880TB1200 - 1440 LUNsV62xx Small Medium Large X-LargeStorage Gri

24、d336 - 14112TB336 - 14112 drivesFC & SATANetApp一致存儲架構60FCiSCSIFCoENFSCIFS對象協議的一致存儲架構的一致Cluster Cloud ModeRAID-DP FlexVolEnd to end DeduplicationSnapShot Smart copiesSnapLock ComplianceSnapVaultSnapMirrorMetroCluster可靠性100km一致的軟件功能一致的運用集成SnapManager Application Integration 閃存FlexCachepNFS1234NetApp一致

25、存儲架構61一樣的工具和流程：學習一次，處處適用集成數據管理集成的數據維護供應商之間采用一致規范企業級一致存儲平臺一致管理562NetApp Confidential - Do Not DistributeNetAppData ONTAPFCoE,FC,IP, & NAS一致的體系架構設計一種管理界面完全的互操作學習一種、掌握全部FAS2040FAS2240FAS3210FAS3240FAS6280FAS6210FAS6240FAS3270跨平臺無縫晉級真正一致最高效率極其靈敏2400TB1200 個驅動器3TB FlashCache1920TB960 個驅動器2TB FlashCache12

26、00TB600 個驅動器1TB FlashCache2880TB1440 個驅動器6TB FlashCache2880TB1440 驅動器8TB FlashCache480TB 240 個驅動器 512GB FlashCacheData ONTAP 8.1 存儲集群A1C1LUNLUN B2ABA1 A3R CLUN B1C1LUNLUNAA2按需擴容和負載平衡化數據層次化存儲高性能存儲廉價存儲C1LUNLUN B2ABA1 A3R CLUNA2 B1硬件在線晉級 B2ABA1 A3R CLUNA2 B1C1LUNLUNAlways on availabilityOn demand flexi

27、bilityOperational efficiency64NetApp Confidential - Internal Use Only65NetApp Confidential - Internal Use OnlyNetApp Snapshot TechnologyInstant zero-space copyNetApp WAFL writes all data to available free space without writing over previous dataCreating a Snapshot copy involves merely retaining poin

28、ters to original data blocksPerformance impact is near zero because no additional disk operations are required beyond normal write behaviorSpace is efficient because only new data written takes up incremental space on diskScheduled or manual, up to 254 snapshots per volumeReadily accessible via a sp

29、ecial subdirectoryNetApp Storage SystemSnapshotCopiesNetApp Snapshot TechnologyTake snapshot 1Copy pointers onlyNo data movement66NetApp Confidential - Internal Use OnlyABCABCSnap 1Blocks in LUN or FileBlocks on the DiskABCNetApp Snapshot Technology67NetApp Confidential - Internal Use OnlyABCSnap 1B

30、locks on the DiskABCABCB1B1Take snapshot 1Continue writing dataWrite data anywhereBlocks in LUN or FileNetApp Snapshot Technology68NetApp Confidential - Internal Use OnlyAB1CABCSnap 1Blocks on the DiskBABCACB1B1Snap 2ABCSnap 1Take snapshot 1Continue writing dataTake snapshot 2Copy pointers onlyNo da

31、ta movementBlocks in LUN or FileNetApp Snapshot TechnologyTake snapshot 169NetApp Confidential - Internal Use OnlyAB1CSnap 2ABCSnap 1Blocks on the DiskABCABCContinue writing dataTake snapshot 2Continue writing dataWrite data anywhereB1B1C2C2Blocks in LUN or FileNetApp Snapshot TechnologyTake snapsho

32、t 170NetApp Confidential - Internal Use OnlyAB1C2Snap 3AB1CSnap 2Blocks on the DiskABCABCContinue writing dataTake snapshot 2Continue writing dataTake snapshot 3Simplicity of model =Best disk utilizationFastest performanceUnlimited snapshotsB1B1C2C2ABCSnap 1Blocks in LUN or FileEveryone Elses Snapsh

33、ots71NetApp Confidential - Internal Use OnlyOthers SnapshotsTake snapshot 1:Create copy out region 172NetApp Confidential - Internal Use OnlyBlocks on the DiskABCABCCreate pointers to old blocks and copy outCopyOut 1ABCSnap 1Blocks in LUNOthers SnapshotsTake snapshot 173NetApp Confidential - Interna

34、l Use OnlyABCSnap 1Blocks on the DiskABCACB1Read old block; write to copy out regionCopyOut 1ABCSnap 1Continue writing dataBlock changesUpdate snap pointer to copy out regionUpdate block on diskOne write requires:1 read (old data)1 write (old data)1 write (new data)3x overheadBBB1Blocks in LUNOthers SnapshotsTake snapshot 174NetApp Confidential - Internal Use OnlyBlocks on the DiskABCACB1CopyOut 1ABCSnap 1ABCSnap 1copyout 1Continue writing dataTake snapshot 2:Create copy out region 2CopyOut