1、BestPracticeFrom DOIT WIKIJump to: navigation, search版權(quán)聲明：EMC存儲最佳實(shí)踐R22的版權(quán)歸美國EMC公司所有，感謝DOSTOR網(wǎng)友/Arthas的全力翻譯。EMC存儲最佳實(shí)踐R22中文譯稿可以轉(zhuǎn)載，轉(zhuǎn)載時(shí)請務(wù)必以超鏈接形式標(biāo)明文章原始出處DOSTOR存儲在線和作者與譯者信息及本聲明。 目錄隱藏 1 一.關(guān)于性能的探討 o 1.1 1.性能的定義 o 1.2 2.應(yīng)用的設(shè)計(jì) 1.2.1 A. 為順序或者隨機(jī)I/O的優(yōu)化 1.2.2 B. I/O 的大小 1.2.3 C. 暫時(shí)的模式和峰值的表現(xiàn)（temporal patterns and

2、peak activities） o 1.3 3主機(jī)文件系統(tǒng)影響 1.3.1 A.文件系統(tǒng)的緩沖和組合（coalesce） 1.3.2 B.最小化I/O的大?。何募到y(tǒng)的request size 1.3.3 C.最大化的I/O大小 1.3.4 D.文件系統(tǒng)的fragmentation 1.3.5 F.校正對齊問題 1.3.6 G.Linux的I/O fragementing o 1.4 4.卷管理器Volume Managers 1.4.1 A Plaid 應(yīng)該做的 1.4.2 B. Plaid 不應(yīng)該做的 1.4.3 C. Plaid 為高帶寬的設(shè)置 1.4.4 D Plaids and O

3、LTP o 1.5 5. 主機(jī)HBA的影響 1.5.1 A. HBA卡的限制 1.5.2 B. Powerpath o 1.6 6. MetaLUNs 1.6.1 A. 對比metaLUN和卷管理器 1.6.2 B. MetaLUN的使用說明和推薦 1.6.3 C. MetaLUN的擴(kuò)充戰(zhàn)略 o 1.7 7.存儲控制器的影響 1.7.1 A CLARiiON的存儲控制器 1.7.2 B. 磁盤的級別和性能 o 1.8 8.RAID引擎的緩存 1.8.1 A. 緩存的大小和速度 1.8.2 B. 緩存的設(shè)定 o 1.9 9.后端設(shè)備（磁盤的子系統(tǒng)） 1.9.1 B. LUN的分布 1.9.2 C

4、 系統(tǒng)和啟動(dòng)硬盤的影響 1.9.3 D 使用LUN和RAID組的編號方式 1.9.4 E最小化硬盤的競爭 1.9.5 FStripe和Stripe element的大小 1.9.6 G. CLARiiON RAID 5的stripe優(yōu)化 1.9.7 H. 每一個(gè)RAID組的硬盤的個(gè)數(shù) 1.9.8 I在一個(gè)存儲系統(tǒng)里應(yīng)該使用多少個(gè)硬盤 1.9.9 J. 硬盤的類型和大小 2 二為可用性和冗余做考慮 o 2.1 1. 高可用性的配屬 o 2.2 2. RAID-level的考慮 2.2.1 A. RAID 5 2.2.2 B. RAID 1/0 2.2.3 C. RAID 3 2.2.4 D. 熱

5、備份（Hot spares） o 2.3 3. 把RAID組通過總線和DAE綁定 2.3.1 A. 跨DAE來綁定硬盤 2.3.2 B. 跨后端總線綁定硬盤 2.3.3 C. 通過DPE磁盤綁定 2.3.4 D. 熱備份的策略 o 2.4 4. 數(shù)據(jù)復(fù)制的持續(xù)性 編輯一.關(guān)于性能的探討性能調(diào)優(yōu)有多重要呢？在一個(gè)Raid 5的陣列組中使用5-9塊硬盤和使用默認(rèn)的設(shè)置，CLARiiON光纖儲系統(tǒng)能發(fā)揮極好的性能-這是EMC在性能測試實(shí)驗(yàn)室里測試自己的CLARiiON系統(tǒng)得出來的。 CLARiiON存儲系統(tǒng)默認(rèn)的設(shè)置是為實(shí)際環(huán)境中遇到的大部分工作情形所設(shè)計(jì)的。但是，有一些工作情景還是需要調(diào)優(yōu)來實(shí)現(xiàn)存

6、儲系統(tǒng)的最佳配置。 為什么在陣列組里用5到9塊硬盤？這個(gè)設(shè)置并沒有任何神奇的地方，也不是因?yàn)檫@個(gè)配置有什么特殊的優(yōu)化。然而，Raid 5使用這個(gè)數(shù)量的硬盤確實(shí)是最有效的利用了校驗(yàn)，同時(shí)也能在合理的時(shí)間能重建數(shù)據(jù)。更小的陣列組會(huì)有更高的校驗(yàn)開銷，而大的陣列組則會(huì)花更長的時(shí)間來重建數(shù)據(jù)。 這份白皮書探討了在設(shè)計(jì)優(yōu)化系統(tǒng)方面的時(shí)設(shè)計(jì)到的許多要素。請注意這里提供的信息是非常有幫助的，尤其當(dāng)你充分理解了你的陣列的工作情形。因此，EMC推薦你使用Navisphere Analyzer來分析你的陣列的工作情形，并且要定期的復(fù)習(xí)和回顧相關(guān)文檔的基礎(chǔ)知識。同時(shí)，請記住在配置一個(gè)陣列的時(shí)候很少有顯而易見的選擇，所

7、以在有疑問的時(shí)候最好是按照默認(rèn)的配置和保守的評估。 編輯1.性能的定義以下的名詞在整個(gè)白皮書當(dāng)中都會(huì)用到。如果你對他們不熟悉，請回顧一下 EMC CLARiiON Fibre Channel Storage Fundamentals 帶寬 校驗(yàn) 讀取 隨機(jī) 響應(yīng)時(shí)間 要求數(shù)據(jù)大小 Request size 順序 條帶 條帶元素 Stripe element 吞吐量 Write-aside 編輯2.應(yīng)用的設(shè)計(jì)應(yīng)用的設(shè)計(jì)對系統(tǒng)的表現(xiàn)影響很大。提升性能的最佳方法的第一步就是應(yīng)用的優(yōu)化。任何存儲系統(tǒng)的調(diào)優(yōu)都不可能建立一個(gè)非常差的應(yīng)用設(shè)計(jì)上面。 編輯A. 為順序或者隨機(jī)I/O的優(yōu)化非常典型的一個(gè)例子是，

8、提升帶寬在順序訪問的調(diào)優(yōu)方面會(huì)起顯著作用，因?yàn)榇鎯ο到y(tǒng)在順序I/O方面會(huì)更加有效率-尤其是在RAID5的時(shí)候。而為隨機(jī)訪問的調(diào)優(yōu)則要改善吞吐量和更快的響應(yīng)時(shí)間，因?yàn)檫@樣會(huì)改善處理顧客響應(yīng)所花的時(shí)間。 讀和寫的對比寫比讀更加耗費(fèi)存儲系統(tǒng)的資源，這是基于CLARiiON對數(shù)據(jù)保護(hù)的機(jī)制的應(yīng)用。寫到write cache是鏡像到兩個(gè)存儲控制器的（SP）。寫到帶校驗(yàn)的Raid Group會(huì)碰到校驗(yàn)運(yùn)算的要求，而這也要求把冗余的信息寫到磁盤里面。寫到鏡像的Raid Group會(huì)需要兩份數(shù)據(jù)的拷貝的寫入。 讀的開銷相對會(huì)小一些，這是因?yàn)椋瑥腃LARiiON系統(tǒng)的讀的吞吐量會(huì)比寫的吞吐量要大一些。但是，對大

9、部分工作情形來看，數(shù)據(jù)往往是寫入write cache，這樣會(huì)有更短的響應(yīng)時(shí)間。讀，在另一方面來說，可能命中cache，也可能不命中cache；而對大部分隨機(jī)的工作情形來說，讀比寫會(huì)有更高的相應(yīng)時(shí)間，因?yàn)閿?shù)據(jù)還是需要從磁盤里面抓取。如果要達(dá)到高的隨機(jī)讀取吞吐量，需要更好的協(xié)作（concurrency）。 編輯B. I/O 的大小每一個(gè)的I/O都有一個(gè)固定的開銷和一個(gè)變量的開銷，后者決定于其他的一些事情，例如I/O的大小。 大的I/O能提供更少的固定開銷因?yàn)橛兄蟮臄?shù)據(jù)。因而，對CLARiiON而言大的I/O比小塊的I/O能提供更大的帶寬。如果有足夠的硬盤，在執(zhí)行大的I/O的時(shí)候后段總線的速度

10、將會(huì)成為系統(tǒng)的性能瓶頸。小塊的隨機(jī)訪問應(yīng)用（例如OLTP）的瓶頸在于磁盤（的個(gè)數(shù)），而且很少達(dá)到后端總線速率。 當(dāng)設(shè)計(jì)OLTP的時(shí)候，必須要使用基于磁盤（的個(gè)數(shù)）的IOP來衡量，而不是使用基于總線的帶寬來衡量。 然而，在一個(gè)CLARiiON存儲系統(tǒng)里面，當(dāng)I/O到了某一個(gè)特定的大小的時(shí)候，包括write caching和prfetching都會(huì)被bypass掉。是決定用一個(gè)大的I/O請求還是把他分成幾個(gè)順序的請求，取決于應(yīng)用程序和它跟cache之間的相互作用。這些相互作用在 “The Raid engine Cache”里會(huì)探討到。 文件系統(tǒng)也可以影響到I/O的大小，這也在稍后的“Host f

11、ile-system impact”中描述到。 編輯C. 暫時(shí)的模式和峰值的表現(xiàn)（temporal patterns and peak activities）應(yīng)用的操作設(shè)計(jì)-如何去使用，什么時(shí)候去使用，什么時(shí)候需要去備份-都會(huì)影響到存儲系統(tǒng)的負(fù)載。例如，用作隨機(jī)訪問的應(yīng)用的存儲系統(tǒng)，在備份和批量處理的時(shí)候，需要好的順序性能。 一般來說，對OLTP和消息應(yīng)用（任何跟大量隨機(jī)訪問I/O有關(guān)的），更高的并發(fā)處理能力（concurrency）會(huì)更好。當(dāng)有更高的并發(fā)處理能力的時(shí)候，存儲系統(tǒng)將會(huì)獲得更高的吞吐量。使用異步I/O是一種獲得更高的并發(fā)處理能力的通常的手法。對帶寬而言，單線程的應(yīng)用幾乎不能有效地

12、利用四塊硬盤以上帶來的好處，除非request size是非常大的（比2MB大）或者使用到volume manager.當(dāng)最佳的順序性能達(dá)到的時(shí)候，而此時(shí)如果順序處理到磁盤的路徑是唯一的時(shí)候，用戶還是可以從有適度并發(fā)隨機(jī)訪問的光纖硬盤（每個(gè)硬盤的I/O在100以下）的設(shè)置中獲得一個(gè)可接受順序性能。 編輯3主機(jī)文件系統(tǒng)影響在主機(jī)層次，通過指定最小最大的I/O request size，文件系統(tǒng)也影響了應(yīng)用I/O的特性。 編輯A.文件系統(tǒng)的緩沖和組合（coalesce）跟在存儲系統(tǒng)上的cache相似的是，緩沖是文件系統(tǒng)提高性能的一種主要方式。 緩沖 在大部分的情況下，文件系統(tǒng)的緩沖應(yīng)該最大化，因?yàn)?/p>

13、這能減少存儲系統(tǒng)的負(fù)載。然而，還是會(huì)有一些意外。 一般來說，應(yīng)用自己來調(diào)配緩沖，能避免文件系統(tǒng)的緩沖或者在文件系統(tǒng)的緩沖之外工作。這是基于應(yīng)用能更加有效的分配緩沖的假設(shè)之上。而且，通過避免文件系統(tǒng)的coalesce，應(yīng)用更能控制I/O的響應(yīng)時(shí)間。但是，正如在64位的服務(wù)器里RAM的容量將會(huì)提升到32GB或者更多，這也就有可能把這個(gè)文件系統(tǒng)都放在緩沖里面。這就能使讀操作在緩沖下，性能會(huì)有非常顯著的提升。（寫操作應(yīng)該使用寫透（write-through）的方式來達(dá)到數(shù)據(jù)的持續(xù)性。） 結(jié)合Coalescing 文件系統(tǒng)的coalesce能幫助我們從存儲系統(tǒng)里獲得更高的帶寬。在大部分順序訪問的操作里面

14、，用最大鄰近和最大物理的文件系統(tǒng)設(shè)置來最大化文件系統(tǒng)的結(jié)合Coalescing.例如，這種處理方式可以和備份程序一起把64KB的寫操作結(jié)合（coalesce）成一個(gè)完全stripe的寫操作，這樣在 write cache被bypass的情況下，對于帶校驗(yàn)的Raid會(huì)更加有效果。 編輯B.最小化I/O的大?。何募到y(tǒng)的request size文件系統(tǒng)通常都被配置成一個(gè)最小的范圍大小，例如4KB，8KB或者64KB，這是提供給陣列的最小的不可分割的請求。應(yīng)用使用的I/O在比這個(gè)范圍大小要小的時(shí)候，會(huì)導(dǎo)致很多不必要的數(shù)據(jù)遷移和/或read-modify-write的情形出現(xiàn)。這也是考慮應(yīng)用和文件系統(tǒng)

15、文件的最佳設(shè)置的最好辦法。（it is best to consult application and file system documentation for the optimal settings）而request size沒有被文件系統(tǒng)限制的Raw partitions，則沒有受到這個(gè)約束。 編輯C.最大化的I/O大小如果想要快速的移動(dòng)大量的數(shù)據(jù)，那么一個(gè)大的I/O（64KB或更大）會(huì)更加有幫助。在整合（coalescing）順序的寫操作成Raid Group整個(gè)的stripe的時(shí)候，陣列將會(huì)更加有效率，正如預(yù)讀取大的順序讀操作一樣。大的I/O對從基于主機(jī)的stipe獲得更好的帶寬而

16、言也是很重要的，因?yàn)樗麄儗?huì)被基于srtipe的toplogy打散成更小的大小。 編輯D.文件系統(tǒng)的fragmentation避免fragmentation和defragementation在一起，這是一個(gè)基礎(chǔ)的原則。注意NTFS文件系統(tǒng)可能被分區(qū)成任何形式除了默認(rèn)的范圍大小，他們不能被大部分的工具所defragement：這個(gè)API（程序的接口）并不能允許這樣做。執(zhí)行一個(gè)文件級別的拷貝 （到另一個(gè)LUN或者執(zhí)行一個(gè)文件系統(tǒng)的備份和恢復(fù)）是defragement的一個(gè)有效的實(shí)現(xiàn)。 跨越磁盤的小I/O在一些主機(jī)的類型里顯得更加重要，而我們接下來將會(huì)探討為什么會(huì)導(dǎo)致這種狀況。 當(dāng)以下情況發(fā)生的時(shí)候

17、，跨越磁盤將會(huì)對響應(yīng)時(shí)間有一個(gè)顯而易見的影響： a)有大比例的block size大于16KB的隨機(jī)I/O b)Navisphere Analyzer報(bào)告的硬盤的平均等候隊(duì)列長度比4大的時(shí)候?qū)R4KB或者8KB邊界的時(shí)候（例如Exchange和Oracle），工作負(fù)載將會(huì)從對齊中獲得一些優(yōu)勢。但因?yàn)镮/O當(dāng)中，小于6%（對于4KB）或者12%（對于8KB）的I/O都會(huì)造成跨盤操作（碰巧的是他們可能會(huì)以并行的方式來完成）。這種額外的收益可能很難在實(shí)踐中注意到。但如果當(dāng)一個(gè)特定的文件系統(tǒng)和/或應(yīng)用鼓勵(lì)使用對齊的地址空間并且位移（offset）被注明，EMC推薦使用操作系統(tǒng)的磁盤管理來調(diào)整分區(qū)。Na

18、visphere LUN的綁定位移（offset）工具應(yīng)該要小心的使用，因?yàn)樗赡芊炊鴷?huì)影響分層的應(yīng)用同步速度。 在Intel架構(gòu)系統(tǒng)中的文件對齊 Intel架構(gòu)的系統(tǒng)，包括windows2000/windows2003，都會(huì)受到在LUN上元數(shù)據(jù)的位置的影響，這也會(huì)導(dǎo)致磁盤分區(qū)的不對齊。這是因?yàn)檫z留的BIOS的代碼問題，BIOS里面用的是磁柱，磁頭和扇區(qū)地址來取代LBA地址。（這個(gè)問題一樣影響了使用intel架構(gòu)的linux操作系統(tǒng)，正如windowsNT，2000，和2003。這個(gè)問題也一樣影響了運(yùn)行在intel硬件上的VMWare系統(tǒng)） fdisk 命令，正如windows的Disk Ma

19、nager，把MBR（Master Boot Record）放在每一個(gè)SCDI設(shè)備上。MBA將會(huì)占用設(shè)備上的63個(gè)扇區(qū)。其余可訪問的地址是緊接著這63個(gè)隱藏分區(qū)。這將會(huì)后續(xù)的數(shù)據(jù)結(jié)構(gòu)跟CLARiiONRAID的stripe變得不對齊。 在linux系統(tǒng)上，這個(gè)隱藏扇區(qū)的多少取決于boot loader和/或磁盤管理軟件，但63個(gè)扇區(qū)是一個(gè)最常遇到的情況。對于VMware，位移（offset）是63。 在任何情況下，這個(gè)結(jié)果都為確定的比例的I/O而導(dǎo)致不對齊。大的I/O是最受影響的。例如，假設(shè)使用CLARiiON默認(rèn)的stripe element 64KB，所有的64KB的I/O都會(huì)導(dǎo)致跨盤操作

20、。對于那些比這個(gè)stripe element的小的I/O，會(huì)導(dǎo)致跨盤操作的I/O的比例，我們可以通過以下公式來計(jì)算： Percentage of data crossing=(I/O size)/(stripe element size) 這個(gè)結(jié)果會(huì)給你一個(gè)大致的概念，在不對齊的時(shí)候的開銷狀況。當(dāng)cache慢慢被填充的時(shí)候，這種開銷會(huì)變得更大。aa 編輯F.校正對齊問題你可以選擇以下的方法之一來修正對齊的問題。記住，必須只是兩種方法之一： a.Navisphere LUN的對齊位移（offset） b.使用分區(qū)工具 對任何特定的LUN，只要使用其中一種，不是兩個(gè)。這個(gè)是我們經(jīng)常要強(qiáng)調(diào)的。 同時(shí)

21、，當(dāng)設(shè)定一個(gè)metaLUN，只有那個(gè)base component需要分條的對齊（就是那個(gè)被其他LUN 掛靠上去的LUN）。如果使用LUN的對齊位移，當(dāng)metaLUN建立的時(shí)候，metaLUN的對齊位移也被設(shè)置了。當(dāng)擴(kuò)展一個(gè)metaLUN，不需要再調(diào)整了。如果用了分區(qū)工具的方法，這個(gè)調(diào)整只需要在用戶第一次對LUN分區(qū)的時(shí)候來做。 用什么方式來做 當(dāng)沒有基于主機(jī)的程序在使用的時(shí)候，我們可以使用LUN對齊位移的方式。LUN對齊位移方法對一些復(fù)制的軟件操作，如clone sync I/O， SnapView Copy On Write opertions， MirrowView sync I/O, S

22、AN Copy I/O等，造成磁盤和strip跨盤的問題。 如果可以，使用基于主機(jī)的分區(qū)工具方式。 避免使用LUN對齊位移方法，假如你在這個(gè)LUN上使用了SnapView，SAN copy, MirrorView。相反， 應(yīng)該使用基于主機(jī)的分區(qū)工具方式。 LUN的位移 LUN的位移方法使用把LUN偏移，來達(dá)到對齊stripe分界的分區(qū)。LUN從第一個(gè)RAID的stripe的末端開始。換一句話說，將LUN的位移設(shè)置成RAID stripe的大小，會(huì)讓（緊接著MBR開始的）文件系統(tǒng)對齊了，如下圖2所示。 LUN對齊位移的不足之處是它可能會(huì)造成任何要對Raw LUN進(jìn)行操作的軟件的I/O請求的不對齊

23、。CLARiiON 的復(fù)制會(huì)對raw LUN操作，如果LUN被位移了，這也會(huì)產(chǎn)生跨磁盤的操作。 Navisphere中，當(dāng)LUN被bound的時(shí)候和block大小被設(shè)置成512byte的時(shí)候，位移會(huì)被設(shè)置成特定的。例如，在一個(gè)windows2003系統(tǒng)，將會(huì)把63個(gè)block設(shè)置為位移量。FLARE 會(huì)調(diào)整stripe，因此用戶的數(shù)據(jù)就會(huì)從stripe的開頭來開始。 圖2： Intel MBR with partition and LUN offset correction 磁盤分區(qū)的對齊 基于主機(jī)的分區(qū)程序使用增加可設(shè)定地址的區(qū)域的起始部分，來校正對齊的問題；因此，可設(shè)定地址的空間在RAID

24、 strip element的起始部分開始算起，或者在整個(gè)strip的起始部分。因?yàn)長UN從正常的地方算起，在RAID strip 的起始部分，復(fù)制軟件操作也是對齊的。事實(shí)上，對于鏡像操作，當(dāng)secondary被寫入的時(shí)候，primary的對齊是被保護(hù)了的，因?yàn)樵黾恿说姆謪^(qū)目錄被寫入了源LUN。 磁盤分區(qū)對齊和windows的系統(tǒng) 在Windows NT，2000，2003系統(tǒng)中，分區(qū)軟件diskpar.exe，作為WRK（Windows Resource Kit）的一部分，可以用來設(shè)定分區(qū)位移的開始。你必須要在數(shù)據(jù)寫入LUN之前做這件事，因?yàn)閐iskpar 會(huì)重新寫分區(qū)表：所有在LUN上出現(xiàn)

25、的數(shù)據(jù)都會(huì)丟失掉。 對于隨機(jī)訪問操作或者是metaLUN，在diskpart中設(shè)定起始位移的大小，跟對被用來Bind LUN的stripe element size的大小一致（一般128blocks）。對于高帶寬要求的應(yīng)用，設(shè)定起始位移的大小跟LUN stripe size的大小一致。 開始，用Disk Manager來獲得磁盤的數(shù)目。在命令行中，使用diskpar加上-i的選項(xiàng)：diskpar -i x (新的大小是磁盤個(gè)數(shù))來檢查已經(jīng)存在的位移： C:diskpar -i 0 Drive 0 Geometry Information - Drive Partition 0 Informat

26、ion - StatringOffset = 32256 PartitionLength = 40007729664 HiddenSectors = 63 。 注意 HiddenSectors的值。這就是分區(qū)的位移的數(shù)值 1. 假如磁盤X有數(shù)據(jù)你不想丟失，那么備份那個(gè)數(shù)據(jù) 2. 假如磁盤X是一個(gè)Raw Drive，跳到第四部。 3. 刪掉在磁盤X上所有的分區(qū)，使之成為一個(gè)Raw Disk。 4. 在命令行中使用diskpar -s X (X是磁盤個(gè)數(shù)) 5. 輸入新的起始位移(單位sectors)和分區(qū)長度(單位MB)。這一步驟寫入為那個(gè)磁盤寫入新的MBR 和創(chuàng)建新的分區(qū)。在你輸入起始位移和分

27、區(qū)大小，MBR就被修改了，而新的分區(qū)信息出現(xiàn)了。6. 在command prompt輸入diskpar -i x (x為磁盤個(gè)數(shù))來復(fù)查新近創(chuàng)立的分區(qū)上的信息。 64位windows系統(tǒng) 在64位的windows系統(tǒng)里面，如果按照默認(rèn)創(chuàng)建，MBR類型的磁盤是對齊的；GPT分區(qū)也是按默認(rèn)對齊，盡管他們有一個(gè)小的保留區(qū)域（32MB）是沒有對齊的。 在linux系統(tǒng)中的磁盤分區(qū)調(diào)整 在linux中，在數(shù)據(jù)寫入LUN之前對齊分區(qū)表(table)，因?yàn)榉謪^(qū)影射(map)會(huì)被重寫，所有在LUN上的數(shù)據(jù)都會(huì)毀壞。在接下來的例子里，LUN被影射到/dev/emcpowerah，而且LUN stripe ele

28、ment size 是128block。fdisk軟件工具的使用方式如下所示： fdisk /dev/emcpowerah x # expert mode b # adjust starting block number 1 # choose partition 1 128 # set it to 128, our stripe element size w # write the new partition 對于那些會(huì)使用snapshot，clone，MirrowView的鏡像構(gòu)成的LUN來說，這個(gè)方法比 LUN對齊位移方法更加適用。這對SAN Copy中的sources和targets是一

29、樣適用的 對于VMWare的磁盤分區(qū)調(diào)整 VMware會(huì)更加復(fù)雜，因?yàn)闀?huì)有兩種情況存在。 當(dāng)對齊raw disk或者Raw Device Mapping(RDM)卷，實(shí)在虛擬主機(jī)(VM)層次上來實(shí)現(xiàn)對齊的。例如，在 windows的虛擬主機(jī)上使用diskpar來實(shí)現(xiàn)對齊。 對于VMFS卷，會(huì)在ESX Server的層次上使用fdisk來實(shí)現(xiàn)對齊，正如diskpar在VM層次。這是因?yàn)椴还苁?ESX Server還是客戶端都會(huì)把MBR放到LUN上面去。ESX必須對齊VMFS卷，而客戶系統(tǒng)必需對其他們的虛擬磁盤。 對齊ESX Server： On service console, execute

30、fdisk /dev/sd, where sd is the device on which you would like to create the VMFS Type n to create a new partition Type p to create a primary partition Type n to create partition #1 Select the defaults to use the complete disk Type x to get into expert mode Type b to specify the starting block for pa

31、rtitions Type 1 to select partition #1 Type 128 to make partition #1 to align on 64KB boundary Type r to return to main menu Type t to change partition type Type fb to set type to fb (VMFS volume) Type w to write label and the partition information to disk 通過把分區(qū)類型聲明為fb，ESX Server會(huì)將這個(gè)分區(qū)認(rèn)為一個(gè)沒有被格式化的VMF

32、S卷。你應(yīng)該能夠使用MUI或者vmkfstools，把一個(gè)VMFS文件系統(tǒng)放上去。對于Linux的虛擬主機(jī)，按照上面列出的程序步驟來做。對于windows的虛擬主機(jī)，也是按照上面的程序步驟來做。 編輯G.Linux的I/O fragementing對于linux來說，避免對一個(gè)LUN上的多個(gè)大文件的并發(fā)訪問是很重要的。否則，這回造成來自不同的線程的許多個(gè)訪問，使用不同的虛假設(shè)備來訪問同一個(gè)潛在的設(shè)備。這種沖突減少了寫操作的coalescing。最好還是使用很多個(gè)小的LUN，每一個(gè)有一個(gè)單一的大的文件。 動(dòng)態(tài)LUN的融合和偏移 如果你使用一個(gè)基于主機(jī)的分區(qū)工具來對齊數(shù)據(jù)，在你融合幾個(gè)LUN的時(shí)候

33、，這個(gè)對齊也會(huì)被保留。這是假設(shè)所有LUN的LUN stripe size是一致的。假如Navisphere Bind Offset被融合的源LUN所使用，那么目標(biāo)LUN，在bound用來調(diào)整stripe對齊的時(shí)候，必須要使用Bind Offset。 編輯4.卷管理器Volume Managers對卷管理器的主要性能影響因素，是CLARiiON LUN使用了stripe的方式（我們所說的plaid或者stripe on stripe）。 我們要避免使用基于主機(jī)RAID而且使用校驗(yàn)（如Raid3，Raid5）的應(yīng)用。這會(huì)消耗掉主機(jī)的資源來實(shí)現(xiàn)這一服務(wù)（校驗(yàn)保護(hù)），而這其實(shí)讓存儲系統(tǒng)來實(shí)現(xiàn)這個(gè)服務(wù)會(huì)

34、更加好。 圖三顯示了在以下章節(jié)中討論到的三種不同plaid技術(shù) 對于所有的情形，都會(huì)遵從以下規(guī)則： 編輯A Plaid 應(yīng)該做的把主機(jī)管理器的stripe深度（stripe element）設(shè)成CLARiiON LUN的stripe size。你可以使用整數(shù)倍的，但最好還是把stripe element設(shè)定在512KB或者1MB。 簡而言之，從基本的CLARiiON LUN上來考慮建立逐級管理器的stripe。 從分開的磁盤組來使用LUN；這個(gè)組應(yīng)該有相同的參數(shù)（stripe size，disk count，RAID type，等等）。 編輯B. Plaid 不應(yīng)該做的千萬不要在同一個(gè)RAID

35、 group里把多個(gè)LUN stripe（譯者注：stripe和concatenate都是meteLUN的一種方式，下文中的英文部分的stripe都是特指這個(gè)）在一起。這是因?yàn)闀?huì)造成大量的磁盤尋道。如果你從一個(gè)磁盤組需要捆綁多個(gè)LUN，使用concatenate來實(shí)現(xiàn)-千萬不要使用striping的方式。 不要使主機(jī)的stripe element比CLARiiON的RAID stripe size小。 不要對那些具有不同RAID type和stripe size的RAID Group，或者根本不同磁盤組的LUN，使用plaid的方式在一起。結(jié)果并不一定是災(zāi)難性的，但很可能會(huì)出現(xiàn)未知的因素。 編

36、輯C. Plaid 為高帶寬的設(shè)置plaid在以下幾個(gè)原因使用在高帶寬的應(yīng)用里面： plaid可以增加存儲系統(tǒng)的協(xié)作（并行訪問）。 plaid允許多于一個(gè)的主機(jī)HBA卡和CLARiiON的存儲運(yùn)算器（SP）共同為一個(gè)volume所用。非常大的卷可以被分布到多于一個(gè)的CLARiiON系統(tǒng)之上。 增加協(xié)作 Plaid在應(yīng)用是單線程（也就是說，讀一個(gè)單一的大文件）的時(shí)候會(huì)比較有用。如果應(yīng)用的I/O的大小正好跟卷管理器的條帶大小一致，那么卷管理器可以訪問那些可以包裝成卷的并發(fā)的LUN。 從多個(gè)存儲器分布式訪問 跨越存儲系統(tǒng)，正如在圖三的配置B里面所演示那樣，僅僅當(dāng)文件系統(tǒng)的大小和帶寬要求需要這樣的一個(gè)

37、設(shè)計(jì)的時(shí)候，才被建議使用。例如，一個(gè)30TB的地質(zhì)信息系統(tǒng)數(shù)據(jù)庫，要求的寫的帶寬超過了一個(gè)array所能達(dá)到的極限，將會(huì)是一個(gè)多系統(tǒng)plaid的候選者。必須注意的是，一個(gè)軟件的更新或者任何存儲系統(tǒng)的出錯(cuò)-例如因?yàn)橐粋€(gè)存儲系統(tǒng)上的一個(gè)組件的出錯(cuò)而導(dǎo)致的寫緩存的停用-將會(huì)影響到整個(gè)文件系統(tǒng)。 編輯D Plaids and OLTPOLTP應(yīng)用是難以去分析，也難以去忍受一些熱點(diǎn)。Plaids是一種有效的策略來使I/O從多個(gè)軸來分布式訪問。一個(gè)可以讓很多個(gè)磁盤處于忙碌狀態(tài)的應(yīng)用，將會(huì)從多個(gè)硬盤數(shù)中得益。 注意一些卷的管理建議小的主機(jī)stripe（16KB到64KB）。這對使用一種stripe的Raid

38、 type的CLARiiON來說并不正確。對于OLTP，卷管理器的stripe element應(yīng)該跟CLARiiON的stripe size（典型來說是128KB到512KB）。Plaid對于OLTP主要的開銷，在于大部分的用戶以跨plaid的方式結(jié)束。 跨plaid 磁盤-連同磁盤組-會(huì)變得更大；因此，用戶也常常會(huì)因?yàn)楹脦讉€(gè)主機(jī)卷被同一個(gè)CLARiiON的Raid groups所創(chuàng)立（一個(gè)跨plaid看圖三中的配置C）而結(jié)束。 這個(gè)設(shè)計(jì)的基本原理是在于以下的情況：對于任何一個(gè)卷組的隨機(jī)行為的爆發(fā)，將會(huì)分布到多個(gè)磁盤上去。這個(gè)的不足之處在于測定卷之間的相互作用，是相當(dāng)困難的。 但是，一個(gè)跨pl

39、aid也有可能是有效率的，當(dāng)以下情況存在的時(shí)候: . I/O sizes比較?。?KB或更小）和隨機(jī)的訪問 . 卷是受制于一天中不同時(shí)間的爆發(fā)，而不是同一時(shí)刻。 編輯5. 主機(jī)HBA的影響用來實(shí)現(xiàn)主機(jī)附加的拓?fù)?，取決于系統(tǒng)的目標(biāo)。高可用性要求雙HBA卡和到存儲器的雙路徑。雙路徑對性能的影響，主要看管理者如何去從系統(tǒng)資源里得到負(fù)載均衡的能力。 在對存儲系統(tǒng)調(diào)優(yōu)的時(shí)候，必須牢記HBA卡和驅(qū)動(dòng)的作用。EMC的E-Lab提供了設(shè)置磁盤和固件的建議，而我們必須要按這些建議來操作。 編輯A. HBA卡的限制HBA卡的固件，HBA卡使用的驅(qū)動(dòng)的版本，和主機(jī)的操作系統(tǒng)，都可以影響到在存儲陣列中的最大量的I/O

40、 size和并發(fā)訪問的程度。 編輯B. Powerpath如果操作系統(tǒng)可以使用，Powerpath這個(gè)軟件應(yīng)該總是要使用的-不管是對于一個(gè)單一連接到一個(gè)交換機(jī)的系統(tǒng)（允許主機(jī)繼續(xù)訪問，當(dāng)軟件升級的時(shí)候）還是在一個(gè)完全冗余的系統(tǒng)。 除了基本的failover之外，Powerpath還允許主機(jī)通過多個(gè)存儲處理器（SP）的端口來連接到一個(gè)LUN上面-一種我們通常稱之為多路徑的技術(shù)。Powerpath通過負(fù)載均衡算，來優(yōu)化多路徑訪問LUN。Powerpath提供了幾種負(fù)載均衡的算法，默認(rèn)的那種-ClarOpt-是我們所推薦的。ClarOpt可以調(diào)整傳輸byte的數(shù)量，正如隊(duì)列的深度一樣。 連接到所有目

41、前的CLARiiON的型號的主機(jī)，都可以從多路徑中獲益。直接連接的多路徑需要至少兩張HBA卡；實(shí)際的SAN多路徑需要兩張HBA卡，其中的每一個(gè)都會(huì)被分配到多于一個(gè)SP端口的區(qū)域。多路徑的好處在于： 在同一個(gè)SP中，可以從一個(gè)端口failover到另一個(gè)端口，修復(fù)一個(gè)事件的系統(tǒng)工作。 在SP的端口和主機(jī)HBA卡中的負(fù)載均衡 從主機(jī)到存儲系統(tǒng)中獲得更高的帶寬（假設(shè)主機(jī)里，路徑能使用足夠多的HBA卡） 當(dāng)Powerpath提供了所有可行路徑的負(fù)載均衡，這會(huì)帶來一些附加的開銷： 一些主機(jī)的CPU資源會(huì)被一般的操作所使用，正如會(huì)被failover的時(shí)候使用。 在一些情形下，活躍的路徑會(huì)增加一些時(shí)間來fa

42、ilover。（Powerpath在嘗試幾條路徑之后，才會(huì)trespass一個(gè)LUN從一個(gè)SP到另一個(gè)SP） 因?yàn)檫@些事實(shí)，活躍的路徑應(yīng)該受到限制，通過zoning，到兩個(gè)存儲系統(tǒng)的端口對應(yīng)一個(gè)HBA卡來影射到一個(gè)被主機(jī)綁定的存儲系統(tǒng)。一個(gè)例外是，在從其它共享存儲系統(tǒng)端口的主機(jī)所爆發(fā)的環(huán)境，是不可預(yù)知和嚴(yán)峻的。在這個(gè)情形下，四個(gè)存儲系統(tǒng)的端口都有一個(gè)各自的HBA卡，這是可以實(shí)現(xiàn)的。 編輯6. MetaLUNsMetaLUN是一個(gè)所有CLARiiON系列存儲系統(tǒng)都特有的功能。我們從好幾個(gè)方面來討論什么時(shí)候和怎么用metaLUN。 編輯A. 對比metaLUN和卷管理器在一個(gè)CLARiiON存儲系

43、統(tǒng)，metaLUN被當(dāng)作一個(gè)在RAID引擎之上的層，在功能上來說相似于主機(jī)上的一個(gè)卷管理器。但是，在metaLUN和卷管理器之間還是有很多重要的明顯的區(qū)別。 單一的SCSI目標(biāo) 對比 很多的SCSI目標(biāo) 要?jiǎng)?chuàng)建一個(gè)卷管理器的stripe，所有構(gòu)成的LUN必須設(shè)定成可以訪問到主機(jī)的。MetaLUN要求只有一個(gè)單一的SCSI LUN被影射到主機(jī)；這個(gè)主機(jī)并不能看到組成這個(gè)metaLUN的多個(gè)LUN。這會(huì)讓管理員在以下幾個(gè)情形下得益： 對于因?yàn)镺S限制而有受限制的LUN可用的主機(jī) 對于那些增加LUN導(dǎo)致SCSI設(shè)備重編號的主機(jī)；經(jīng)常一個(gè)內(nèi)核需要重建，用來清除設(shè)備的條目。 在這些情形下，使用metaL

44、UN而不是卷管理器會(huì)簡化在主機(jī)上的管理。 沒有卷管理器 不是所有的操作系統(tǒng)都有卷管理器的支持。MS的Server Win2000/2003 集群使用Microsoft Cluster Services（MSCS）并不能使用動(dòng)態(tài)磁盤。MetaLUN是一個(gè)可以為這些系統(tǒng)提供可擴(kuò)展的，stripe和concatenated（連接的）卷的解決方案 。 卷的復(fù)制 如果卷是要被使用SnapView，MirrorView或者SAN Copy的存儲系統(tǒng)所復(fù)制的話，一個(gè)可用的鏡像會(huì)要求持續(xù)的處理分離的能力。采用metaLUN會(huì)簡化復(fù)制。 卷訪問共享的介質(zhì) 當(dāng)一個(gè)使用了stripe或者concatenate的卷必

45、須要允許在主機(jī)間共享訪問，一個(gè)卷管理器不能許可共享訪問，而metaLUN可以使用并實(shí)現(xiàn)這個(gè)功能。MetaLUN可以在兩個(gè)的主機(jī)存儲組之間應(yīng)用。 存儲處理器（SP）的帶寬 卷管理器的卷和metaLUN之間的一個(gè)重要的顯著區(qū)別是，metaLUN是可以被一個(gè)CLARiiON存儲系統(tǒng)上的一個(gè)存儲處理器完全的訪問。如果一個(gè)單一的卷需要非常高的帶寬，一個(gè)卷管理器仍然是最好的方式，因?yàn)榫砜梢詮牟煌腟P上的LUN上來建立。一個(gè)卷管理器允許用戶訪問存儲器，通過很多個(gè)SP的集合起來的帶寬。 卷管理器和并發(fā)訪問 正如在“Plaids： 為高帶寬設(shè)置”章節(jié)里指出的那樣，基于主機(jī)的stripe的卷的使用，對于有多線程

46、的大的request（那些有多于一個(gè)卷stripe segment組成的request），會(huì)有比較高的效果。這會(huì)增加存儲器的并發(fā)訪問能力。使用metaLUN不會(huì)帶來多線程上好的效果，因?yàn)閏omponent LUN上的多路復(fù)用是由存儲系統(tǒng)來實(shí)現(xiàn)的。 編輯B. MetaLUN的使用說明和推薦MetaLUN包含了以下三種類型：條帶的(stripe)，結(jié)和的(concatenate)，和混合的(hybrid)。這個(gè)章節(jié)會(huì)做出幾個(gè)通常的推薦。對那些想要更多細(xì)節(jié)的人來說，接下來的章節(jié)中將會(huì)定位建立metaLUN和相關(guān)每種類型的優(yōu)點(diǎn)的策略和方法。 什么時(shí)候使用metaLUN 通過前面的卷管理器的討論，應(yīng)該在

47、以下情形下使用metaLUN： 當(dāng)大量的存儲整合變得有必要的時(shí)候（每一個(gè)卷都需要非常多的很多磁盤） 當(dāng)要求LUN的擴(kuò)展的時(shí)候 當(dāng)你建立一個(gè)metaLUN的時(shí)候，你可以控制以下的要素：component LUN的類型，metaLUN的類型，和stirpe multiplier（增加的）。 Component LUN 的類型 用來綁定在一個(gè)metaLUN上的LUN的類型應(yīng)該能反映metaLUN上要求的I/O的形式。例如，使用在這份白皮書里面建議的各種不同的Raid 的類型（“Raid的類型和性能”提供了更多的信息），來匹配I/O的形式。 當(dāng)綁定component LUN的時(shí)候，使用以下規(guī)則： 當(dāng)為

48、metaLUN綁定LUN的時(shí)候，總是使用默認(rèn)的stripe element size(128 block) 總是激活讀緩存和寫緩存 確保為component LUN設(shè)置的write-aside的大小為2048。（write-aside在“RAID引擎緩存”里面會(huì)被提到） 避免在RAID 5的磁盤組里使用少于4塊的硬盤（或者說，至少是要3+1模式） 使用RAID 1/0 磁盤組的時(shí)候，至少使用4塊硬盤（新的1+1并不是對metaLUN的一個(gè)好的選擇） 不要使用component LUN位移來校正stripe的對齊。MetaLUN有他們自己的位移值。 MetaLUN的類型 一般來說，盡可能的使用s

49、tripe方式的metaLUN，因?yàn)樗麄兡荏w現(xiàn)出我們能預(yù)知的更好的性能。Concatenat一個(gè)單獨(dú)的LUN給一個(gè)metaLUN，會(huì)更加方便；這可能在擴(kuò)展一個(gè)對性能并不敏感的卷會(huì)更加合適。 Hybrid metaLUN使用stripe的方式捆綁concatenate的LUN。這個(gè)方式被用來克服stipe擴(kuò)展的成本（這樣會(huì)比較低）。一個(gè)采用stripe方式的metaLUN可以通過concatenate另一個(gè)stripe component的方式來擴(kuò)展。這樣保持了stripe component可預(yù)計(jì)的性能，也允許用戶用來擴(kuò)展一個(gè)stripe的metaLUN而不用隊(duì)已經(jīng)出線的數(shù)據(jù)的重組（性能將會(huì)受

50、到影響，當(dāng)重新條帶化操作進(jìn)行的時(shí)候）。圖四展示了這一點(diǎn)。 圖四 hybrid-striped metaLUN 在理想的情況下，在擴(kuò)展stripe設(shè)置的LUN將會(huì)分布在同樣RAID類型的不同的RAID組里面，也會(huì)表現(xiàn)得更原始的stripe component一致。大部分最直接的方式是使用同一個(gè)RAID組作為基礎(chǔ)的component。這個(gè)RAID組是被最先擴(kuò)展的，以便使空間變的可用。這個(gè)方式在“metaLUN 擴(kuò)展方法”里會(huì)演示。 RAID組的擴(kuò)展是更加有效率的，對比metaLUN restripe（把這個(gè)重分條過程設(shè)置成中等優(yōu)先級別），也會(huì)對主機(jī)性能有更小的影響。 MetaLUN stripe

51、multiplier stripe multiplier決定了metaLUN的stripe element size: Stripe multiplier * base LUN stripe size = metaLUN stripe segment size MetaLUN stripe segment size是任何component LUN能收到的最大的I/O。 所有的高帶寬性能和隨機(jī)分布都要求metaLUN stripe element 的大小為1MB左右。而且，在下面的RAID組還可能被擴(kuò)充。我們需要確保metaLUN stripe element是足夠大，大到跟寫的完全的strip

52、e一樣，用來擴(kuò)展component LUN（圖表1）。 使用以下規(guī)則來設(shè)置stripe multiplier： 除非使用RAID 0，使用最少四個(gè)磁盤的磁盤組，來組成作為component LUN主機(jī)的RAID組。 為磁盤組的大小來測定選擇有效的磁盤個(gè)數(shù)。例如，六個(gè)磁盤的RAID 1/0是3（3+3）。五個(gè)磁盤的RAID5是4（4+1） 通過圖表1，為有效磁盤的個(gè)數(shù)而選擇multiplier 如果有疑問，使用4作為metaLUN的stripe multiplier。對大部分情形來說，這是一個(gè)默認(rèn)的，也是一個(gè)好的選擇。 MetaLUN對齊的位移 如果你計(jì)劃通過metaLUN來使用SnapView

53、或者M(jìn)irrorView，把metaLUN對齊位移值設(shè)為0。使用磁盤分區(qū)工具來調(diào)整分區(qū)的位移。 MetaLUN和ATA磁盤 在這個(gè)時(shí)候，ATA并不適合繁忙的隨機(jī)I/O訪問的方案。這個(gè)章節(jié)集中在使用ATA磁盤作為高帶寬的應(yīng)用。 保持RAID組的足夠小，是metaLUN策略的一部分。這會(huì)使ATA硬盤更加合理，因?yàn)樾〉拇疟P組比大的會(huì)有更小的重組時(shí)間。但是，必須意識到的時(shí)，metaLUN會(huì)被一個(gè)單一的磁盤組的rebuild所影響，而ATA磁盤的rebulid時(shí)間是冗長的。基于數(shù)據(jù)可用性的考量，在非常多的環(huán)境里，我們最好避免使用ATA硬盤來做metaLUN除非動(dòng)態(tài)擴(kuò)展或者需要非常大的一個(gè)容量。 CLI例

54、子：建立一個(gè)metaLUN 在接下來的例子的代碼，我們建立一個(gè)stripe方式的使用base LUN30的metaLUN。沒有建立metaLUN的命令；你需要擴(kuò)展一個(gè)已經(jīng)出現(xiàn)的FLARE LUN來建立一個(gè)metaLUN。在命令中設(shè)計(jì)而成的LUN，都是相同RAID的類型和容量的FLARE LUN。LUN 30會(huì)變成基本的新的metaLUN會(huì)把30作為他的identifier。 Matalun expand base 30 lus 31 32 33 name P1H00 elszm 4 type S 擴(kuò)展的類型被設(shè)置成S，作為stripe方式，而選擇element size（4）是因?yàn)長UN是建立

55、在5塊硬盤的RAID5組里面。 編輯C. MetaLUN的擴(kuò)充戰(zhàn)略對于有長期擴(kuò)展計(jì)劃的用戶來說，有好幾種使用策略。使用一種策略，你必須要確認(rèn)你的目標(biāo)。在接下來的章節(jié)會(huì)出現(xiàn)的一些可能的目標(biāo)如下： 把本地的爆發(fā)的隨機(jī)數(shù)據(jù)分布到多個(gè)磁盤上去 好的順序/帶寬的性能 有效的利用容量 靈活的擴(kuò)展設(shè)備 這些都是使用metaLUN的用戶的主要的目的。 擴(kuò)展模式的初始化配置初始化安裝的規(guī)則在圖5中闡明。這些規(guī)則是： 為初始化容量部署，來部署所需要的磁盤 建立合適大小的磁盤陣列組： a. 對于RAID 1/0，使用4或6個(gè)硬盤 b. 對于RAID5或者RAID3，使用5個(gè)硬盤 把磁盤組按照每一個(gè)set有4-8個(gè)R

56、AID組的方法來組織。（如果要求高的隨機(jī)I/O，那么需要更多的磁盤組） 對于每一個(gè)metaLUN，根據(jù)歸屬來確定Raid組的set。 對每一個(gè)計(jì)劃要做的metaLUN，通過用RAID組在自己的RAID組set里面的數(shù)目來分metaLUN的大小，來確定component LUN的大小。 從每一個(gè)在自己set里的RAID組里，為每一個(gè)metaLUN建立一個(gè)component。 建立metaLUN的時(shí)候，請讓組成這個(gè)metaLUN的LUN，跨越所有的的RAID組set里的RAID組。 圖5是一個(gè)set的metaLUN和他們的RAID組set的例子 Figure5. metaLUN里面的存儲的初始化分布 注意到在圖5，每一個(gè)metaLUN由一個(gè)對應(yīng)一個(gè)RAID組的LUN組成。因此，每一個(gè)LUN的負(fù)載是分布在所有在那個(gè)set里的RAID組。但是，這些metaLUN是和對其他RAID組的set的數(shù)據(jù)訪問是分隔開的。 為什么要使用RAID組的set？如果我們不允許一個(gè)metaLUN來擴(kuò)展到自己的set以外，我們可以做出一定級別的隔離，將這種影響控制在磁盤的級別。例如，一個(gè)RAID組的set可能為一大群文件服務(wù)器所設(shè)立，而另一個(gè)RAID組的set是為