七層之路

—運營商骨干網優化實戰北京派網軟件有限公司公司大事記Page2著手DPI和高速數據面操作系統關鍵技術研發2004年發布Panabit，以卓越性能和準確率占領70%流控市場2007年網吧版發布，全新商業模式占領幾乎全部市場2010年發布寬帶運營商出口一體化方案，快速占領市場2014年創立崛起輝煌涅磐向互聯網致敬Page3目錄Page4出口帶寬提速關鍵應用保障流量比例調整洞悉互聯網出口終極革命理想骨干網評價指標Page5利潤按應用進行限速、疏導和提速來提高各種應用出口復用比，是提高寬帶超售比例唯一方法。出口復用比越高，利潤越高。成本引入恰當的資源，利用內容調度將更多數據消化在內網中，是降低骨干網運營成本的最有效手段。數據留網比越高，成本越低。內網產生數據出網結算數據數據留網比出口復用比100KVS50M90%VS10%贏利能力是評價骨干網運作水平的唯一標準感知能力調度能力關鍵能力提升Page6IP感知Session感知威脅感知應用感知IP路由負載均衡攻擊防御應用路由在互聯網應用的推動下，從IP為實體的三層感知與調度變為應用為實體的七層感知與調度，是骨干網管理理念發展的必然趨勢。感知與調度的粒度，必須達到每天每個IP的每種應用。優化四步走Page7調整比例了解現狀保障重點改善核心分析限速疏導提速成本利潤分析

資源引入指導聚類客戶評價

潛在客戶挖掘

應用故障定位

流量大小與重要性無關，必須交叉制定調優策略

著力避免骨干網策略損耗造成效率下降

線路成本和質量差異是客觀存在現實，無法改變

應用路由和負載均衡是最優疏導方法

牢牢掌握緩存調度入口，提升牽引比例

疏解緩存集群壓力，增加吞吐骨干網分析與優化是一個嚴謹的過程，需要按照循序漸進的原則，逐步扎實推進，任何冒進都不會取得良好效果。目錄Page8出口帶寬提速關鍵應用保障流量比例調整洞悉互聯網出口終極革命理想感受互聯網的脈動Page9望運營商寬帶的贏利能力聞骨干網拓撲結構和設備構成問詢問網管和客服人員網絡常見投訴問題切接入分析設備，精確分析定位解決每一類問題運營商骨干網是互聯網的主動脈，出口數據的任何細微變化都是內部網絡各種行為的綜合體現，需要經營者全面分析掌握。分析對象應用分布：應用的連接、吞吐的實時和歷史數據資源分布：P2P服務器列表，游戲服務器列表，Web視頻服務器列表，CDN節點列表等流量流向：各種應用產生的流量和流向協議工作狀態診斷：HTTP、DNS、NTP要素審計：URL、帳號、終端類型、1拖N主要用途成本利潤分析：ARPU-PA資源引入指導：精確到類別和應用聚類客戶評價：游戲玩家、股民、出租司機潛在客戶挖掘：寬帶產品、話音產品故障定位：應用故障、無線故障等虛擬身份定位：特殊行業應用互聯網出口分析概覽Page10應用識別關鍵技術Page11L2-L4L7IPTCPUDP網絡視頻P2PP2P即時通信網頁瀏覽游戲網絡電話網絡視頻基于簽名的深度包檢測DPI最普通最行之有效的識別技術進一步演進為深度流檢測DFI節點跟蹤共享識別信息提高識別準確率和性能主動探測探測源目的端狀態輔助分析節點特性加密分析HTTPS/SSL成為常態明文簽名無法應對連接相關性分析識別13大類，近1000種應用不以簽名數論英雄類別不是越多越好現網識別率超過95%識別準確率相關因素應用識別能力現狀Page12寬帶成本利潤分析的變革Page13AverageRevenuePerUserARPUAverageRevenuePerUserPerApplicationARPU-PA出口復用比優化目標差異數據留網比骨干網出口的數據留網比等于所有應用留網數據量總和除以內網總流量，因此大流量應用的出口留網比影響更大，其決定了骨干網的運營成本。出口復用比決定于關鍵應用中最低的出口復用比，其流量并不一定最大，但是影響了總復用能力，是決定骨干網利潤的主要控制要素。應用是否關鍵，取決于骨干網的重點客戶對象，而成本利潤控制要素則是由不同應用組合而成，因此，優化目標必須基于應用分別制定。資源引入的常見病Page14引入的資源對利潤增長無貢獻引入的資源無法使用不知該引入什么資源引入的資源對成本節約無貢獻資源效果無法獨立評價運營商資源引入引入的資源無人使用有效資源引入Page15無共性需求非主要矛盾無法評價效果無入口調度能力不具備技術條件資源引入評價成本矛盾：大帶寬應用

利潤矛盾：聚類客戶，質量敏感應用無法獨立評價資源流量流向

無法實時觀察和調試資源狀況無技術手段引導客戶無痛切換到資源入口應用人群有限

流量過分集中

非價值客戶，或應考慮征收高額費用

無符合條件資源既有設備無法與資源集群配合

可接入資源，配合效果不佳聚類客戶死亡三角Page16廣而告之，某運營商的寬帶打游戲卡游戲客戶有一次碰到街機三國游戲卡頓同類游戲客戶大量拆機，游戲服務商撤走內網資源聚類客戶的定位與提高Page17聚類客戶偽七層優化到真七層優化先天差異傳播放大利潤來源定向優化

寬帶聚類客戶是指有相同的關鍵網絡通信需求，具有群體內部溝通手段和傳播能力，以個人或集體名義購買類似的運營商寬帶產品的客戶群。家庭主婦出租司機股民游戲玩家潛在客戶挖掘Page18語音產品時代市話、國內長途、國際長途、短信，組合出非常多的套餐，并可以檢測用戶的需求，有目的性的推廣語音產品包寬帶產品時代5M/10M/20M/40M，相對單一的物理帶寬指標，對用戶行為毫無掌握，無法有目的推廣增值產品寬帶用戶畫像基于用戶的應用流量、分布等，描繪用戶的屬性和使用習慣，區分公司、網吧、政府、個人用戶，并按要素為用戶建立描繪模型智能管道落地，增值產品推廣寬帶套餐升級建議：游戲、網絡電視重度用戶應用增值：家庭綠色上網、政府企業上網管控用戶行為預警：退網預警、多線接入預警話音產品推廣：國際國內長途產品潛在客戶挖掘故障定位之應用質量故障Page19通斷類故障接入網或核心網路由和交換等設備的物理鏈路或者路由配置等引起，較容易診斷定位，排除相對容易

連接中斷

路由錯誤網絡攻擊引起，由客戶中毒或者外來攻擊數據引發，定位有難度SynFloodingDNSFlooding

偽裝IP病毒ARP攻擊用戶網絡配置使用不當，或運營商主干網應用調度不當引起，現象難定位DNS配置錯誤

視頻訪問緩慢

游戲卡頓

網頁卡頓或畸形WLAN帶機下降攻擊類故障應用質量故障DNSFlooding場景還原Page20就像斯諾登所描述的一樣，它游走在政府和民間的博弈中間，沒人會承認，但是沒人能否認它的存在。虛擬身份定位Page21+防火墻日志+虛擬身份信息庫+IP位置信息庫=（張三在某酒店某房間登錄了某種應用）為什么是Panabit？部署位置位于通信主干，無需改變連接拓撲有足夠性能處理關鍵要素審計，不需要增加設備對應用協議分析透徹，分析協議可以涵蓋郵件、即時通信、社交應用和游戲等典型大數據應用檢測目標IPID、TTL、時鐘漂移檢測：內網終端數量應用層復合檢測：內網IP地址應對動作通斷：允許、阻斷限制：流量、連接數提示：Web提示、重定向一拖N檢測Page22NAT特性信息隱藏與一拖N檢測的戰斗運營商利益與用戶利益沖突點矛與盾答案已經明確，一拖N檢測必勝移動應用支持Page23網絡/協議業務識別終端識別在GGSN與SGSN之間旁路或串行接入GTP-UGTP-CIMEI和IMSI等手機信息和IP信息關聯Panabit吐出話單應用商店（安卓市場、手機報）移動瀏覽器（Safari、Chrome、UCWeb、移動QQ瀏覽器等）移動游戲移動IM打車軟件iPhone/iPadHTC三星摩托羅拉諾基亞小米魅族小辣椒世界已步入移動互聯網時代目錄Page24出口帶寬提速關鍵應用保障流量比例調整洞悉互聯網出口終極革命理想骨干網優化導圖Page25骨干網出口控制要素BGP動態鏈路NAT靜態鏈路鏈路成本差異鏈路質量差異內容集群緩存集群出口NAT設備Tracker服務器DNS服務器應用路由骨干網流量比例調整圣經Page26內網資源上行調整優于下行調整，封閉應用不是好選擇Tracker流量永遠第一重要同類機制應用共用帶寬管道，競爭均分帶寬引入排隊機制的策略完全不可取：均分、優先、借用忘記“自動”和“智能”，機器不會比網管更清楚場景分類Page27相對寬松的帶寬通道按應用牽引到獨立的出口線路，最影響出口復用比例如：游戲相關軟件、股票軟件、打車軟件關鍵應用非關鍵應用低帶寬高帶寬出口帶寬壓制，受限帶寬通道內容引入是關鍵，影響數據流網比最關鍵要素例如：Web視頻、音樂正常穿透，不過多干預總量必須控制，防止突然暴漲影響其他應用例如：數據庫、網絡電話嚴格壓制，限制較小帶寬通道最易出現新的未識別應用例如：P2P下載、網絡電視常見誤區-下行限速Page28丟包限速重傳在骨干網部署拓撲之中，七層調度設備部署在防火墻內部，數據到達之時已經占用了下行出口帶寬，此時進行限速和丟棄操作，會觸發遠端重傳，讓更多流量淹沒出口的下行帶寬。限制上行帶寬，來影響遠端發送速率，才是從源頭上解決問題。必須牢記，調節目標是提高帶寬使用效率。優先轉發是企業級出口QoS典型技術，其出發點是無條件保證某應用優先級，而不是提高出口帶寬的整體利用率排隊技術是實現所有優先轉發的基礎算法，必然引起的三大問題：緩存流量，占用內存，消耗資源引入不可預測延遲丟包引發對端重傳，降低帶寬利用率骨干網解決優先問題，需要把握原則同類機制協議競爭不同協議之間通道寬松度區隔通道內優先務必慎用常見誤區-應用優先Page29迅雷下載網頁瀏覽網絡電視優先轉發網頁瀏覽P2P、網絡電視類應用常見現象，關閉后出現極高的并發請求和小包，造成沿途設備大量出現性能沖擊；適度保留此類應用帶寬，令其可以建立連接但速度受限。徹底關閉某種應用后，由于客戶端軟件持續高強度連接嘗試，造成的骨干網性能損失稱作反彈損耗。常見誤區-徹底關閉某種應用Page30目錄Page31出口帶寬提速關鍵應用保障流量比例調整洞悉互聯網出口終極革命理想什么是骨干網保障聚類客戶應用的不二法門？應用分流！Page32帶寬均分？應用優先？擴大出口帶寬？吞吐限速？連接限制？應用路由Page33問問英雄出處以網絡應用協議為調度實體，將數據流量轉發到指定的鏈路和目標地址Panabit原始創新，一直被模仿，從未被超越技術壁壘DPI識別能力：識別早、識別準應用層協議重建：提高牽引比例性能：路由是在線設備，而用途大多是在重載線路主要用途讓路由設備配置邏輯易于理解和使用，避免使用者去研究網絡協議細節應用分流：將應用按照特性路由到不同質量的出口，達到保證關鍵實時應用，降低帶寬使用成本的目的，例如：將BGP線路數據分流到靜態NAT線路，設立游戲專線等應用牽引：配合不同的應用層優化手段，按照應用把需要的流量導向特殊鏈路或者目標地址，例如：審計應用路由Page34應用負載均衡Page35按照連接均分按照源地址目的地址均分按照連接均分各種應用擁有獨立的均衡策略，多達500條外線撥號和負載均衡能力。按照源地址均分應用路由升華之作以網絡應用協議為調度實體，將網絡負載按調度策略均衡分布在不同的鏈路組Panabit原始創新，歡迎模仿技術壁壘DPI識別能力、應用層協議重建、性能協議完整性維護：均衡過程中不破壞協議完整性，保證均衡過的所有業務可以正常使用，做到對終端用戶完全透明不同策略相融共生：均衡組重疊、協議策略交叉主要用途讓負載均衡設備配置邏輯易于理解和使用，避免使用者去研究網絡協議細節應用路由擴展，鏈路分組調度低成本鏈路聚合：將眾多低成本鏈路聚合為一條或多條虛擬的高速鏈路，節約費用同時做到物盡其用，充分發揮每一條鏈路的潛力應用負載均衡Page36智能DNSPage37

重定向丟棄

劫持DNS是最脆弱的互聯網基礎設施缺乏基礎認證校驗機制節點分散，難于管理對HTTP影響巨大鏡像緩存無需另外增加DNS服務器對客戶完全透明多IP服務器多運營商入口地址智能解析負載均衡緩解DNS服務器壓力形成類CDN機制無需修改用戶客戶端配置應急恢復網絡規范DNS設置信息推送封鎖域名保護服務器安全大家流控和NAT是怎么做的？Linux：TC+NetFilterFreeBSD：ALTQ+PacketFilterDummynet+IPFW出來混，總是要還的性能四大挑戰新建：65萬/秒并發：單WANIP現網并發100萬以上，整機并發800萬以上吞吐：20G規則數：66635最有中國特色的NAT性能：超越眾多專業防火墻設備ALG的中國國情：照搬來的ALG不靈了應用層特性信息隱藏最平凡的功能是NAT？Page38目錄Page39出口帶寬提速關鍵應用保障流量比例調整洞悉互聯網出口終極革命理想HTTP緩存的時代重新來臨Page40基于對七層應用的敏感度，Panabit率先從現網流量的變化上覺察到這一關鍵變化，同時從分類優化的角度，以高帶寬關鍵應用角度去分析和處理HTTP緩存相關問題。圖片緩存是早期HTTP緩存最有效手段P2P的商業模式失敗，注定了技術逐漸退出歷史舞臺，P2P緩存效果也隨之下降由于頁面游戲等實時交互Web應用的原因，圖片緩存變得復雜，效果顯著下降國內主流視頻和音樂網站的緩存效果決定了緩存集群的主要能力緩存加速Page41工作機理：網絡設備鏡像HTTP數據到緩存入口，對已緩存內容發偽裝的redirect引導從緩存取數據Panabit加速：只鏡像視頻和大文件請求，避免緩存篩選工作機理：網絡設備將HTTP重定向到緩存，緩存做透明代理回傳數據Panabit加速：七層篩選，只重定向緩存過的網頁和圖片，其他內容放行，降低代理負荷工作機理：鏡像獲取Tracker數據，通過重定向取代外網調度，用緩存內網資源給用戶下載Panabit加速：辨識Tracker數據鏡像，減少緩存集群篩選壓力Web視頻大文件P2P視頻大文件網頁圖片緩存僅僅是為了節約出口帶寬？提高用戶感受才是首要任務！Page42視頻卡頓？手機APP下載緩慢？擴大出口帶寬？軟件下載緩慢？用戶測速不滿意？戰略機遇互聯網商業生態的改變，帶來重載流量客戶；大型IDC和BGP優勢不明顯，弱勢運營商戰略機遇期。網絡能力大挑戰關鍵大帶寬應用，協議脆弱，壓制投訴高；720P以上清晰度極度挑戰廣域網鏈路質量，