摘要隨著網絡技術的進步，Internet己經發展成為信息社會中最重要的內容發布系統，但Internet中傳統的以應用服務器為中心的內容分發網絡（ContentDistributionNetwork，CDN）存在著性能瓶頸，不利于網絡擴大和維護費用高等問題。與此同時，一種新的分布式資源利用模式——對等網絡（Peer-to-Peer，P2P）計算產生了。與傳統的C/S計算不同的是，P2P計算一般不需要中心服務器。網絡中每個節點既是客戶端，又是服務器。P2P允許計算節點之間的直接交流和協作。P2P計算可以充分利用Internet邊緣日益豐富的閑置資源，包括計算、存儲、帶寬等資源。內容發布和共享是P2P計算的一個主要應用領域，基于P2P的內容發布系統的特點是能夠充分利用大量的客戶端資源，減輕或者拋卻應用服務器的負載。P2P內容分發機制的核心是負載均衡算法以及文件分塊選擇算法。其中負載均衡算法的目的是選擇更接近的、性能更好的節點作為分發服務器。為適應P2P網絡的各個節點隨時變化的狀態以及性能，內容分發機制采用動態的基于優先級的負載均衡算法——根據節點CPU和內存的狀況、兩節點之間的邏輯距離以及網絡狀況進行優先級計算并排序，然后順序選擇節點發出資源請求。文件分塊選擇算法依據文件兩層分塊的原理劃分為兩部分：部分選擇算法以及塊選擇算法。前者采用基于優先級的原則：通過該部分在各節點的分布情況、完成度等因素計算出優先級，選擇優先級最大的部分進行分發。后者采用順序選擇以及節點反饋相結合的方法：正常情況下，按照塊的順序進行選擇；否則，跳躍到下載點所反饋回來的下一塊進行順序選擇。負載均衡算法使得下載者趨向于向更接近的、性能更好的上傳者發出資源請求，以獲得更好的分發速度；文件分塊選擇算法有助于增大網絡中文件分塊在各個下載者之間的差異性，以便加快下載者之間的分發速度。以此為核心的內容分發機制可以更快的速度從更接近、性能更好的節點處獲得資源。關鍵字：內容分發、對等網絡、負載均衡、分塊選擇、KademliaAbstractWiththedevelopmentofnetworktechnology,Internethasbecomethemostimportantcontentdistributionsystemintheinformationsociety,butthetraditionalserver-centriccontentdistributionmodeisalsoconfrontedwithperformancebottleneck.Atthesametime,P2Pcomputingasanewmodeofutilizingdistributedcomputingresourcescomesintobeing.ItisdifferentfromClient/Servercomputing,commonlythereisnospecialserverinP2Pnetworkandnodescancommunicateandcollaboratedirectlywitheachother.P2PcomputingcanutilizeincreasinglyunusedresourcesintheedgeoftheInternet.ContentdistributionandsharingisoneofthemainapplicationsofP2Pcomputing,P2P-basedcontentdistributionsystemcanfullyutilizeresourcesofvastclientsandlightentheloadofapplicationserver.ThecoreoftheP2P-basedcontentdistributionmechanismistheloadbalancearithmeticandthefile’spartchoosingarithmetic.Thepurposeoftheloadbalancearithmeticistochoosethenodewhichisnearerorhasabetterperformanceasthedistributionserver.Toadapttothemomentarilychangingofthestateandtheperformanceofthenodes,thepriority-basedloadbalancearithmeticisused,whoseprincipleis:calculatingandsortingtheprioritybythestatesoftheCPUandmemory,thelogicdistanceofthenodesandthestatesofnetwork,thensendaresourcerequesttothenodethathasthehighestpriority.Liketheprincipleofthefile’spartition,thefile’spartchoosingarithmeticisdividedintotwo:thePart-choosingarithmeticandtheBlock-choosingarithmetic.ThePart-choosingarithmeticispriority-based:calculatingandsortingeveryPart’sprioritybythesituationofthePartinthenodesandthefinishpercentage,thensendingthePartthathasbiggestpriority.TheBlock-choosingarithmetic’sprincipleischoosingintheorderandthenode’sfeedback:InthenormalconditionchoosingtheBlockintheorder;otherwise,choosingtheBlockbeginningwiththefeedback.Theload-balancearithmeticcouldmakethedownload-nodetosendtheresourcerequesttotheupload-nodewhichisnearerandhasbetterperformance;thefile’spartchoosingarithmeticisgoodformakingthedifferenceofthefile’sPartinthedownload-nodesbigger,andmakingthespeedofthedistributionfaster.Thecontentdistributionmechanismwhosecoreisthetwoarithmeticscanmakethenodetogettheresourcefasterfromthenearerandbetterperformancenodes.Keyword:ContentDistribution,P2P,LoadBalance,PartChoose,Kademlia目錄TOC\o"1-2"\u摘要……………………. 圖52可以看出，文件的平均分塊丟棄率隨著的分發子網的增大，而逐漸的增大。如果不限制分發子網的節點個數，文件的平均丟棄率獎達到100％，甚至可能超過100％。如此用平均丟棄率來衡量文件分塊選擇的性能就沒有多大的意義。而且平均丟棄率越大意味著分發子網中的無效傳輸越多，逐漸增多的無效傳輸對整體的分發性能并沒有好處，而會對網絡帶來擁塞。因此，應該控制分發子網的大小，而這也是負載均衡算法的設計原因之一。圖STYLEREF1\s5SEQ圖\*ARABIC\s12分塊選擇算法測試結果圖本章小結本章的工作是對原型系統的測試以及結果分析。由于本文的重點集中在負載均衡算法以及文件分塊選擇算法上，因此對本系統的測試也是集中在這兩點上。本章對負載均衡算法的算法的正確性進行了簡單的測試與分析，并利用文件分塊丟失率來測試文件分塊選擇算法的性能。總結與展望本文工作總結本文針對P2P網絡環境下的內容分發機制進行研究，分析了包括客戶端/服務器模式和各種P2P模式（集中式P2P，分布式非結構化P2P、混合式P2P以及分布式結構化P2P）在內的各種內容分發方法的優缺點，并結合系統的拓撲結構——分布式結構化覆蓋網絡Kademlia，提出并實現了一個P2P環境下的內容分發機制——分發方式、負載均衡算法以及文件分塊選擇算法，最后對內容分發模塊進行了測試，并對結果進行了分析。本文提出了混合式的內容分發方式。對于部分級的文件分塊粒度，實現的是拉方式；對于塊級粒度，實現的是推方式。但這都只是大層次的劃分，事實上，兩種粒度實現的都不是單純的一種方式，而是兩種方式的混合。本文提出了兩層的文件分塊選擇算法：基于優先級的部分選擇算法和連續選擇的塊選擇算法。本文提出了基于優先級的負載均衡算法，但在具體實現時，為避免過多的節點相互信息交換通信，在請求者端實現的基于邏輯距離的負載均衡算法，而在被請求者端實現阻塞機制。展望本文完成了基于文件的P2P環境下的內容分發機制的設計與實現，實現了分布式結構化覆蓋網絡Kademlia下的對各種文件進行內容分發的功能。但是本系統在某些方面依然需要進一步的研究與完善，本人認為今后在以下方面有待進一步的研究：實現內網互連和防火墻穿透功能。提高系統的安全性。提高跨平臺性。參考文獻StefanSaroiu,KrishnaP.Gummadi,etal.AnAnalysisofInternetContentDeliverySystems.InProc.ofOSDI'02,2002TyronStading,PetrosManiatis,MaryBaker.Peer-to-PeerCachingSchemestoAddressFlashCrowds.IPTPS2002,LNCS2429.203～213StephenAdler.TheSlashdotEffect:anAnalysisofThreeInternetPublications.LinuxGazette38,1999GuillaumePierre,MaartenvanSteen.Globule:aplatformforself-replicatingWebdocuments.Proceedingsofthe6thInternationalConferenceonProtocolsforMultimediaSystems,2001,10.1～11謝智文.互聯網P2P應用技術探討.武漢市第二屆學術年會、通信學會2006年學術年會論文集.2006.236~237梁毅，王忠.P2P技術的發展與應用.四川省通信學會2005年學術年會論文集，2005.440~443LiZP,HuangJH,HuangDY,ZhuangL.IntroductiontoPeer-to-Peernetworkingtechnologyanddevelopment.TelecommunicationsScience,2003,19(3).1-4李之棠.P2P原理與技術[J].華中科技大學計算機學院.CERNET第十一屆學術會議李珊.P2P技術：互聯網發展的新驚喜.電子商務，ElectronicScience&TechnologyReview,2005,02期.72~74DejanS.Milojicic,VanaKalogeraki,etal.Peer-to-PeerComputing.HPLaboratoriesPaloAlto,HPL-2002-57李陽明，王麗芬，郭慧.P2P對等網絡的關鍵技術及應用.現代計算機（專業版），2005年08期BalachanderKrishnamurthy,CraigWills,YinZhang.OntheUseandPerformanceofContentDistributionNetworks.InACMSIGCOMMINTERNETMEASUREMENTWORKSHOP2001LazarI,TerrillW.ExploringContentDeliveryNetworking[J]，ITProfessional,Volume3,Issue4,July-Aug.2001.47~49IonStoica,RobertMorris,DavidKarger,M.FransKaashoek,HariBalakrishnan.Chord:AScalablePeer-to-peerLookupServiceforInternetApplications,InProc.ACM,SIGCOMM,SanDiego,CA,August2001.149~160JohnKubiatowicz,DavidBindel,YanChen,StevenCzerwinski.Oceanstore:AnarchitectureforGlobal-ScalePersistentStorage.InProc.ASPLOS’2000,Cambridge,MA,November2000.190~201BenY.Zhao,JohnKubiatowiczandAnthonyD.Joseph.Tapestry:AnInfrastructureforFault-tolerantWide-areaLocationandRouting.TechnicalReportNo.UCB/CSD-01-1141,UniversityofCaliforniaBerkeleyThomasKaragiannis,AndreBroido,NevilBrownlee,etal.File-sharingintheInternet:AcharacterizationofP2Ptrafficinthebackbone.CAIDA,SDSC,UCSDM.Ripeanu.Peer-to-peerArchitectureCaseStudy:Gnutella.InProceedingsofInternationalConferenceonP2PComputing,2001S.Saroiu,P.K.Gummadi,etal.AmeasurementStudyofPeer-to-PeerFileSharingSystems.ProceedingsofMultimediaComputingandNetworking(MMCN),2002NicolDM.Communicationloadbalancingindistributedsystems[C].ProcofScalableHighPerformanceComputingConf,1992.292~299張聯峰，劉乃安等.綜述：對等網(P2P)技術，計算機工程與應用，2003P.Backx,T.Wauters,B.Dhoedt,P.Demeester.AComparisonofPeer-to-PeerArchitectures[J],EurescomSummit2002.67~75DavidLiben-Nowell,HariBalakrishnan,DavidKarger.Observationsonthedynamicevolutionofpeer-to-peernetworks[J],InProceedingsoftheFirstInternational,WorkshoponPeer-to-PeerSystems,Cambridge,MA,2002.3.25~68JaimeWoret.InterconnectingUnstructuredP2PFileSharingNetworks.P2PJournal.January,2005樂光學.基于Gnutella協議的P2P網絡路由搜索算法：Light-Flooding[J]，計算機工程,2005年11期.121~123JainS,MahajanR,WetherallD.AstudyoftheperformancepotentialofDHT-basedoverlays.In:Proc.ofthe4thUSENIXSymposiumonInternetTechnologiesandSystems(USITS2003).2003.256~261AFiat,JSaia.Censorshipresistantpeer-to-peercontentaddressablenetworks.ProceedingsofthethirteenthannualACM-SIAMsymposiumonDiscretealgorithms.2002.94~103SRatnasamy.AScalableContent-AddressableNetwork.[Ph.D.Thesis].UniversityofCalifornia,Berkeley.October2002LuaE.Keong,CrowcroftJon,PiasMarcelo.ASurveyandComparisonofPeer-to-PeerOverlayNetworkSchemes.IEEECommunicationsSurveys&Tutorials,SecondQuarter2005A.Rowstron,P.Druschel.Pastry:Scalable,DistributedObjectLocationandRoutingforLarge-scalePeer-to-peerSystems.Proc.Middleware,2001PetarMaymounkov,DavidMazieres.Kademlia:APeer-to-PeerInformationSystemBasedontheXORMetric.In:Proc.ofthe1stInt'lWorkshoponPeer-to-PeerSystems(IPTPS2002).2002.153