1、 智慧影視:影視云分發平臺解決方案 1需求簡析1.1項目背景某公司致力于中國電影事業的發展，同時為全國各大影院按期上映最新的影片提供保障。現階段的做法主要依靠拷貝硬盤并委托快遞公司運輸的方式，以同步更新全國影院的片源。但有時難免會因為時間太緊的原因，尤其是一些偏遠的地方，物流通常運送時間會很長，無法在短期內抵達，從而造成不必要的損失。同時，使用寄送硬盤方式的成本也十分高昂。因此，擬通過云計算的相關技術，打造電影“云分發平臺”（以下簡稱“平臺”），整合現有資源，運用云傳輸技術，通過網絡信道將影片遠距離地分發到各個影院。其中，尤其希望能夠解決偏遠地方的影片傳輸問題，以緩解時間上的壓力。同時，由于網

2、絡傳輸十分依賴帶寬，現階段國內寬帶的租用較之國際水平要昂貴許多。因此，在短期內會“平臺”與物流的方式將會并存，共同解決電影的發布問題。隨著電信事業的發展，在不久的將來帶寬費用會大幅降低，屆時再逐步轉移到完全基于“平臺”傳輸。2架構概述云分發概述云分發系統是基于互聯網的分布式的大容量數據資源智能分發傳輸軟件系統，其主要作用是在分布式網絡環境中，尤其是跨區域的廣域網絡中，克服網絡帶寬有限、網絡狀態不夠穩定、原始數據來源有限等問題，在不同的應用或存儲節點之間快速、穩定地共享、分發和傳輸大容量文件數據，尤其針對目前廣電、媒體行業中越來越多的高清視頻等媒體資源，提供了一套完整的內容分發與數據傳輸技術解決

3、方案。2.1.1 TCP/IP協議的缺陷許多應用系統需要在不同的機器之間傳輸海量的數據，需要高速遠距離網絡傳輸的支持，這可能需要網絡速度達到數百兆比特每秒或是更高。在這種情況下，傳統的TCP算法就不太適用了。主要有以下三方面的原因：傳統的TCP擁塞控制機制在高速網絡中反應性比較差，這是因為TCP在高速網絡中對分組丟失的反應要敏感得多。這主要是由于它的擁塞避免算法是基于AIMD（Additive Increase Multiplicative Decrease，加性增乘性減）的。傳統的TCP總是把分組丟失解釋為擁塞，而假定鏈路錯誤造成的分組丟失是可以忽略的，但是在高速網絡中，由鏈路錯誤引起的分組

4、丟失和由網絡擁塞引起的分組丟失的可能性是相同的。因此，不能籠統地認為分組丟失都是由網絡擁塞引起的。傳統的TCP不能使用網絡鏈路的所有容量。首先從TCP的基本原理分析，TCP工作在“緩慢啟動”和“擁塞避免”這兩種狀態之下。因此，TCP會在檢測到分組丟失之后進行狀態更改，狀態更改模式如下圖所示：圖2-5TCP狀態更改模式其次，如果以10Gbps的帶寬速度考慮，首先要估計的是交換組件中的可用緩沖容量。假定在隊列達到飽和之前，網絡路徑上的可用隊列容量為256MB，那么工作在擁塞避免模式下的TCP會話將會在達到最高傳輸速率（即10Gbps）之后的大約590個RTT間隔（或者大約41秒之后）發生丟包。這時

5、，處于擁塞避免模式下的TCP的發送速率為10.1Gbps。在實用情況下，TCP擁塞避免模式會在5.0Gbps到10.1Gbps之間，導致這種理想的TCP會話產生鋸齒式振蕩。單個鋸齒振蕩周期長為2062秒，即34分鐘22秒。這意味著網絡必須在幾十分鐘內（或者在傳輸數十億個分組期間），在網絡路徑上穩定地保持無丟包運行，而且相應的傳輸比特錯誤率低于10-14。它還意味著這種方式能夠傳輸龐大的數據集，因為在一個TCP擁塞避免周期中傳輸的數據量高達1.95TB（即1.951012字節）。這也表明，TCP會話無法充分地利用可用的網絡帶寬，因為在這些情況下的平均數據傳輸速率為7.55Gbps，而不是10Gb

6、ps（參見圖2-6）。圖2-6高速網絡下的TCP行為2.1.2 cTrans云傳輸機制cTrans云傳輸技術基于UDP協議，在應用層做了可靠性保障，同時加入P2P技術，進一步提高了信道利用率。cTrans云傳輸通過三次握手明確信道狀況和基本傳輸速率，隨后會以此速率發包，接收端在應用層檢測收到包的序號，產生錯誤后記錄下序號，累積一段時間后反饋序號列表，發送端重新將這些序號的包發送一遍即可。使用cTrans協議傳輸效率如下圖2-5所示：圖2-7cTrans協議性能柱狀圖可以看出，cTrans十分適合大數據的遠距離傳輸模式，能夠極大地提升傳輸帶寬利用率，解決遠距離傳輸的難題。2.2 cTrans云分

7、發系統基于cTrans高速云傳輸機制構建的cTrans云分發系統，主要包括中央節點資源及任務管控軟件、邊緣節點傳輸客戶端軟件兩個部分。主要功能包括節點管理、用戶管理、資源管理、任務管理、日志管理、參數設置等功能模塊。cTrans云分發系統廣泛適用于廣電、媒體、互聯網、軍隊、科研機構等特定行業和專業領域，并可在資源及數據的存儲層面，與相關領域的業務系統（例如：媒資管理系統、地理信息系統等）進行整合。云分發系統具有傳輸速度快、傳輸成功率高、運行安全穩定、擴展性強、易于部署維護等優點。下圖2-8為cTrans云分發傳輸界面：圖2-8 cTrans云分發系統傳輸界面3方案具體技術分析以上系統架構中，涉

8、及到的具體技術主要包括了cTrans云傳輸技術和cStor云存儲技術。其中，cStor云存儲技術實現底層的數據統一存儲、共享、備份；cTrans云傳輸技術實現對大數據的遠距離高效傳輸，使用云計算的架構整體上確保云內計算機的聯動和各類保障，共同對外提供服務。3.1 cTrans云傳輸cTrans(high performance reliable file transfer)云傳輸協議，是我們基于超遠距離下大數據的高效傳輸的需求而自主研發的一種傳輸層協議。3.1.1主要特點cTrans傳輸協議的實現主要由轉發模塊、存儲模塊、可靠傳輸模塊構成，底層基于UDP協議。其主要特點在于：1)采用流水線傳輸

9、技術，實現傳輸與存儲的高度并行。2)建立了特殊的可靠傳輸機制，確保數據有序正確到達，并且其開銷不因為速度的增加而相應增長。3)靈活的擁塞控制框架，可以根據線路特性，實現相應的擁塞控制機制，進行專門優化。4)靈活的轉發框架，轉發的節點個數不受限制，并且可以實現轉發的多級級聯。3.1.2系統原理cTrans云傳輸協議的結構如下圖所示：圖3-1cTrans云傳輸協議結構3.1.3開銷固定的報文確認機制與TCP不同，cTrans將數據接收和確認分開，數據接收方定期地發送方報告數據包的接收情況，包括接收到的和未接收到的包的序號。由于確認數據的發送速率保持恒定，從而確保“確認”的開銷為常量。隨著帶寬的增大

10、，報文確認的開銷所占總帶寬的比例將隨之減少，帶寬利用率進一步提高。3.1.4保障可靠性機制和TCP一樣，cTrans提供端到端的面向連接的可靠服務。數, 據發送方將待發送的報文進行統一編號，然后根據窗口的大小進行發送。每一個報文發送后都將啟動一個軟定時器進行記時。如果等待超時，發送方將重發該報文。如果在規定的時間內當收到接收確認，發送方將會檢查該報文序號之前的報文是否全部收到，如是則移動窗口下沿至該報文的后一個。接收方則按序號依次向上遞交接收到的數據。3.1.5文件并行傳輸與存儲應用流水線思想，將文件發送端的流程劃分為文件讀取和數據發送兩個獨立的部分，同, 時增加讀取隊列和發送隊列來取消步驟之

11、間的資源相關性，運用多線程技術，實現發送和傳輸重疊執行，達到性能優化的目的。同理在接收端將文件存儲和數據接收分解成, , 獨立的部分。3.1.6中間節點的快速轉發由于采集到的數據要經過跨網段的多個節點進行相應處理，如果直接從數據采集的源端同各個節點建立連接進行傳輸，則會浪費寶貴的帶寬資源、增加源端的負載，并且不利于系統的擴展。為此cTrans將數據的傳輸和處理進行分離，既可以將接收到數據實時轉發到其它的cTrans同時又可以將數據進行本地存儲。這種結構既節省了從, 數據源端到轉發器之間的寶貴, 帶寬，又實現了數據的快速并行處理，, 同時還具有良好的擴展性，可以方便地實現級連，構建大規模的聯網系統。應用流水線的思想，, 將網絡數據的接收、存儲、轉發分解成流水線上的獨立單元，網絡數據順序進入以, 上單元進行處理。這樣既提高了并行程度，同時也減少了數據的內存拷貝次數，從而提高了系統整體性能。3.1.7 cTrans性能測試測試系統有A、B、C三臺機器，以千兆以太網連接。數據從服務器A依次發送到, B，C。進行存儲測試時，A向B發送數據，B接收后，在本地進行存儲，同時將數據轉發給C，C接收到后進行存儲。測試環境的硬件配置如下圖所示