判斷方法在本文所介紹的幾個(gè)原則，是透過ServerSAN產(chǎn)品系統(tǒng)架構(gòu)的剖析，來判斷和比較產(chǎn)品的好壞。除了技術(shù)剖析以外，盡可能為大家供給一些簡單的判斷方法，希望能夠有所幫助。（1）第一是經(jīng)過塊數(shù)據(jù)存取方法來判斷系統(tǒng)的性能和效率。盡人皆知，ServerSAN主要辦理塊數(shù)據(jù)，以計(jì)算虛構(gòu)化、數(shù)據(jù)庫等應(yīng)用為主，更多波及公司的OLTP業(yè)務(wù)應(yīng)用，大多屬于重點(diǎn)業(yè)務(wù)應(yīng)用。關(guān)于這種業(yè)務(wù)應(yīng)用而言，系統(tǒng)的靠譜性、安全性至關(guān)重要。在知足了這些條件的前提下，性能將是最后決定要素，這也是產(chǎn)品之間來開差距的指標(biāo)。假如只是從現(xiàn)有應(yīng)用著眼，會(huì)實(shí)用戶關(guān)于性能的效率和能力不認(rèn)為意，但從長久的發(fā)展目光，塊數(shù)據(jù)存取方法的不一樣，技術(shù)設(shè)計(jì)架構(gòu)的差別，所表現(xiàn)出的能力會(huì)有較大的劃分。當(dāng)前ServerSAN系統(tǒng)存取塊數(shù)據(jù)，關(guān)于儲存介質(zhì)的接見存在直接和間接的接見方式的劃分。所謂間接的接見方式，就是借助ext2、ext3、ext4或許ZFS等Linux的文件系統(tǒng)，來儲存和管理塊數(shù)據(jù)，或許利用對象儲存系統(tǒng)將塊數(shù)據(jù)以對象的方式存取。這種數(shù)據(jù)接見方式實(shí)現(xiàn)起來相對簡單，但它們沒法針對塊數(shù)據(jù)的特色，以及設(shè)施的特征進(jìn)行性能優(yōu)化，接見過程中需要對用戶的塊數(shù)據(jù)進(jìn)行多次變換，比方將塊數(shù)據(jù)傳達(dá)給文件系統(tǒng)，由文件系統(tǒng)再將數(shù)據(jù)寫入儲存介質(zhì)。這種多層次的傳達(dá)會(huì)造成系統(tǒng)性能消耗。用對象儲存來實(shí)現(xiàn)塊設(shè)施儲存藏在更多問題，由于對象儲存中的對象往常是Immutable(不行改變的)，并且對象儲存系統(tǒng)更為重申吞吐率，而塊設(shè)施中的數(shù)據(jù)是在不斷的被改正的，并且塊設(shè)施更重申IOPS。所以，間接的接見儲存介質(zhì)的方式其性能很難達(dá)到最優(yōu)。與之對比，直接儲存方式會(huì)自己實(shí)現(xiàn)一個(gè)合適塊設(shè)施特征的精簡文件系統(tǒng)，直接對磁盤裸設(shè)施(RawDevice)直接操作和控制，能夠在最大程度上充分利用磁盤設(shè)施的IOPS，進(jìn)而達(dá)到系統(tǒng)硬件的極限。既然存在這樣的劃分，所以關(guān)于用戶來說，很重要的一個(gè)任務(wù)就是能夠辨別出哪些才是專業(yè)的九段產(chǎn)品，防止業(yè)余九段乘虛而入。但在工作實(shí)踐的過程中，有什么樣的方法能夠幫助我們進(jìn)行鑒識呢?在此，個(gè)人給大家介紹的方法是：就看ServerSAN系統(tǒng)管理的儲存介質(zhì)上，能否安裝了文件系統(tǒng)。假如儲存介質(zhì)上有文件系統(tǒng)，那么即是間接接見方式。這種鑒識方法未必100%正確，但絕大多半狀況下是有效的。總之，用戶關(guān)于系統(tǒng)儲存介質(zhì)的接見方式需要保持高度的重視。（2）IO懇求所經(jīng)過的網(wǎng)絡(luò)路徑。所謂

IO

懇求路徑，往常包含幾個(gè)部分：接收外面

(如虛構(gòu)機(jī)的

)IO

懇求、尋址馬上外面

IO懇求變換為

(ServerSAN)

系統(tǒng)內(nèi)部懇求、將內(nèi)部

IO

懇求發(fā)至相應(yīng)的儲存節(jié)點(diǎn)以實(shí)現(xiàn)數(shù)據(jù)訪問。在一個(gè)

ServerSAN

系統(tǒng)中，往常會(huì)由客戶端塊設(shè)施驅(qū)動(dòng)來負(fù)責(zé)接收外面

IO

懇求，其處理方式亦尋址方式有多種：有些需要查問元數(shù)據(jù)庫

(MetadataStore

，用于寄存內(nèi)部數(shù)據(jù)塊的元數(shù)據(jù)，包含數(shù)據(jù)塊在哪個(gè)儲存節(jié)點(diǎn)上的信息

);

有的則利用

ConsistentHashing

的方法，直接計(jì)算出IO懇求對應(yīng)的內(nèi)部儲存地點(diǎn)，進(jìn)而達(dá)到省略查問元數(shù)據(jù)庫的目的。別的，將內(nèi)部懇求發(fā)送到儲存節(jié)點(diǎn)也有多種方式：以副本為

3份的寫懇求為例，有的是將數(shù)據(jù)挨次寫入

3個(gè)儲存節(jié)點(diǎn)，這樣就波及

3個(gè)網(wǎng)絡(luò)跳轉(zhuǎn)

;也有的是將數(shù)據(jù)先寫入主節(jié)點(diǎn)(Primary)，再由主節(jié)點(diǎn)發(fā)給此外兩個(gè)從節(jié)點(diǎn)，這樣需要兩個(gè)網(wǎng)絡(luò)跳轉(zhuǎn)。此外一種方式是同時(shí)廣播給3個(gè)儲存節(jié)點(diǎn)，這樣只波及一個(gè)網(wǎng)絡(luò)跳轉(zhuǎn)。▲圖

1，擁有最長網(wǎng)絡(luò)路徑的系統(tǒng)以

SheepdogStorage

系統(tǒng)為例，一個(gè)

IO

懇求需要經(jīng)過

QEMUblockdriver

，Gateway，儲存節(jié)點(diǎn)

3個(gè)網(wǎng)絡(luò)跳轉(zhuǎn)，即網(wǎng)絡(luò)路徑為

3。以

Ceph為例，一個(gè)

IO

懇求需要經(jīng)過

RBD(客戶端驅(qū)動(dòng))，主OSD(儲存節(jié)點(diǎn))，從OSD共3個(gè)網(wǎng)絡(luò)跳轉(zhuǎn)，即網(wǎng)絡(luò)路徑為3。▲圖2，擁有最短網(wǎng)絡(luò)路徑的系統(tǒng)當(dāng)前為止，我們見到的散布式儲存系統(tǒng)里最優(yōu)的I/O路徑為2：客戶端驅(qū)動(dòng)和儲存節(jié)點(diǎn);此中尋址功能被歸并到客戶端驅(qū)動(dòng)，并且尋址不需要查問元數(shù)據(jù)庫。客戶端驅(qū)動(dòng)直接廣播到全部的儲存節(jié)點(diǎn)上。相同的，就像上篇文章提到，有沒有一個(gè)判斷

ServerSAN系統(tǒng)

I/O

路徑的簡單方法呢

?不幸地是，我們很難經(jīng)過一個(gè)系統(tǒng)的外面表象來判斷這個(gè)系統(tǒng)的

I/O

路徑是多少，是否最優(yōu)?我也沒有想出一個(gè)簡單的方法。但就像判斷直接和間接接見裸設(shè)施相同，判斷系統(tǒng)的

I/O

路徑關(guān)于判斷系統(tǒng)的水平也是特別重要的。只管沒有一個(gè)簡單的方法，但在實(shí)質(zhì)的選型過程中，

I/O

路徑應(yīng)當(dāng)成為一個(gè)觀察的重點(diǎn)，用戶應(yīng)當(dāng)要求供給商介紹其系統(tǒng)架構(gòu)，以及外面

I/O

、內(nèi)部

I/O

懇求的方法，一旦我們得悉系統(tǒng)不是內(nèi)直接尋址或不是將數(shù)據(jù)一次性廣播給全部的副本節(jié)點(diǎn)，我們就能夠得出這樣的判斷：該系統(tǒng)的I/O路徑極有可能不是極有可能最優(yōu)的。3）系統(tǒng)可擴(kuò)展性(HighScalability)和容錯(cuò)能力以及安全性我們說到了裸設(shè)施接見方式，以及系統(tǒng)I/O路徑的問題，應(yīng)當(dāng)說這是ServerSAN系統(tǒng)性能影響比較大的兩個(gè)要素，用戶在選型中，需要進(jìn)行認(rèn)真地認(rèn)識和觀察。除了影響系統(tǒng)性能的要素以外，我認(rèn)為系統(tǒng)可擴(kuò)展性(HighScalability)和容錯(cuò)能力以及安全性都是需要認(rèn)真考慮的要素。關(guān)于系統(tǒng)的可擴(kuò)展性第一要觀察系統(tǒng)能否存在瓶頸。需要觀察系統(tǒng)能否存在這樣一個(gè)組件(component)：系統(tǒng)大多半懇求(request)需要經(jīng)過這個(gè)組件或由這個(gè)組件來辦理，其特色是假如這個(gè)組件往常由一臺或幾臺服務(wù)器組成，常常就存在著瓶頸的問題，比方SleepDogStorage系統(tǒng)中存在一個(gè)ClusterManager，的組件，它的功能是用于監(jiān)控?cái)?shù)據(jù)節(jié)點(diǎn)上線/下線的變化，往常經(jīng)過ZooKeeper來實(shí)現(xiàn)。關(guān)于ZooKeeper來說，其監(jiān)控能力存在著上限，如1000個(gè)數(shù)據(jù)節(jié)點(diǎn)，假如這1000個(gè)數(shù)據(jù)節(jié)點(diǎn)里面，還有更小的單元的狀態(tài)需要監(jiān)控，如邏輯卷狀態(tài)等，這樣就會(huì)演變?yōu)闉樯先f個(gè)連結(jié)數(shù)需要被管理，這就大大超出了ZooKeeper的可承受范圍。在這種狀況下，ClusterManager就會(huì)成為了ServerSAN系統(tǒng)的瓶頸，致使系統(tǒng)擴(kuò)展性不好。ServerSAN系統(tǒng)的容錯(cuò)能力是指：在網(wǎng)絡(luò)錯(cuò)誤、服務(wù)器硬件失敗的狀況下，系統(tǒng)工作不受影響。由于當(dāng)儲存系統(tǒng)的節(jié)點(diǎn)數(shù)擴(kuò)展必定的規(guī)模后(如1000個(gè)節(jié)點(diǎn))，同時(shí)系統(tǒng)承受了必定量的用戶懇求，節(jié)點(diǎn)上線下線、網(wǎng)絡(luò)斷線連線、磁盤犯錯(cuò)(公司硬盤的錯(cuò)誤率在3%左右)的狀況就會(huì)很屢次。在這種狀況下，假如系統(tǒng)的容錯(cuò)能力衰，整個(gè)系統(tǒng)就將忙于數(shù)據(jù)遷徙和恢復(fù)，正常的客戶數(shù)據(jù)懇求的辦理睬遇到影響。一般而言，在客戶的IO懇求路徑上(比方尋址方式)使用ConsistentHashing、DHT(DistributedHashTable)或許近似的算法，如Ceph的CRUSH算法，都會(huì)致使系統(tǒng)的容錯(cuò)能力衰。這是由于此類算法會(huì)在系統(tǒng)的節(jié)點(diǎn)或硬盤上線下線時(shí)，動(dòng)向遷徙大批數(shù)據(jù)。優(yōu)異的ServerSAN系統(tǒng)能夠經(jīng)過日記的方式，將節(jié)點(diǎn)或硬盤在下線時(shí)期的數(shù)據(jù)記錄下來，等它們上線后，只復(fù)制缺失的數(shù)據(jù)而防止拷貝全部的數(shù)據(jù)。在這里，我們相同需要一個(gè)簡單的判斷的方法。我個(gè)人的介紹是，能夠經(jīng)過察看系統(tǒng)能否存在一此中央控制單元，或中央監(jiān)控單元或中央元數(shù)據(jù)庫;I/O尋址算法能否使用了DHT或近似的算法。來簡單判斷系統(tǒng)容錯(cuò)能力利害。最后，需要談?wù)剶?shù)據(jù)安全性。我們知道：數(shù)據(jù)安全性、數(shù)據(jù)一致性(DataConsistency)和系統(tǒng)性能三者互斥的，即一個(gè)系統(tǒng)很難同時(shí)達(dá)到高數(shù)據(jù)安全性、強(qiáng)數(shù)據(jù)一致性和高IOPS的系統(tǒng)。以異地容災(zāi)為例，在ServerSAN系統(tǒng)中其方法是將一份數(shù)據(jù)復(fù)制到兩個(gè)或多個(gè)副本到異地?cái)?shù)據(jù)中心，這樣大大提升了系統(tǒng)的安全性。但這樣一來，該系統(tǒng)數(shù)據(jù)一致性和系統(tǒng)性能就有可能會(huì)遇到影響。不管是同步復(fù)制仍是異步復(fù)制，這樣的影響都是存在的。第一是同步數(shù)據(jù)復(fù)制，是在系統(tǒng)成功響應(yīng)客戶的寫懇求以前，數(shù)據(jù)被復(fù)制到起碼兩個(gè)數(shù)據(jù)中心，假如是異地?cái)?shù)據(jù)中心則關(guān)于網(wǎng)絡(luò)帶寬、延時(shí)都有很高的要求，不然將致使系統(tǒng)的性能及其低下。但保持異地?cái)?shù)據(jù)中心的高網(wǎng)絡(luò)帶寬和低延緩，成本會(huì)是特別高的。不得已，就會(huì)采納異步方式，即在一個(gè)數(shù)據(jù)中心的寫懇求一旦成功寫入當(dāng)?shù)氐臄?shù)據(jù)中心即可返回，系統(tǒng)能夠在后臺將這部分寫復(fù)制到此外的一個(gè)數(shù)據(jù)中心去。特別明顯，異步方式會(huì)致使兩此中心的數(shù)據(jù)存在不一致性。也正是由于這樣，好的解決方案應(yīng)當(dāng)采納兩地三中心的方式。這也是我個(gè)人介紹的方式。總之，散布式儲存技術(shù)還處于迅速的發(fā)展之中，技術(shù)其實(shí)不斷打