反垃圾郵件技術概述肖作葵zkxiao@反垃圾郵件技術概述肖作葵電子郵件原理垃圾郵件概述反垃圾郵件技術電子郵件原理電子郵件原理電子郵件原理SMTP協(xié)議SMTP(SimpleMailTransferProtocol)SMTP協(xié)議是互聯(lián)網應用最多的協(xié)議SMTP是客戶端到服務器、服務器到服務器傳送郵件使用的協(xié)議SMTP協(xié)議SMTP(SimpleMailTransfSMTP傳送角色MTA(MailTransferAgent)MDA(MailDeliverAgent)MUA(MailUserAgent)--相關

A記錄－－MUAMX記錄－－MTASMTP傳送角色MTA(MailTransferAgeSMTP傳輸SMTP傳輸SMTP指令HELO/EHLO標識自己的主機名MAIL標識郵件的發(fā)送者RCPT標識郵件的接收者DATA發(fā)送郵件數據REST中止當前處理并復位VRFY驗證地址是否存在EXPN擴充郵件表NOOP只返回OK響應碼(200)QUIT退出SMTP指令HELO/EHLO標識自己的主機名SMTP會話SMTP會話電子郵件結構信封

是由MTA之間投遞郵件所使用的信息，由MTA在郵件投遞時的mail和rcpt指令發(fā)出。郵件頭部信息

是由MUA接收處理郵件是所用的信息，包括Received、Message-ID、From、Date、Reply-To、X-Phone、X-Mailer、To和Subject等。正文郵件的內容電子郵件結構信封電子郵件結構示例電子郵件結構示例電子郵件信頭分析ReceivedMessage-IDFromToSubjectDateReply-ToX-xxx電子郵件信頭分析Received垃圾郵件概述垃圾郵件概述垃圾郵件定義 未經用戶許可，但卻被強行塞用戶的電子郵件。

UCE（未經請求的商業(yè)廣告郵件）UBE（未經請求的大量寄送郵件）SPAM（原為新澤西州的一種火腿罐頭，后引申指無價值的東西。）垃圾郵件定義 未經用戶許可，但卻被強行塞用戶的電子郵件。 垃圾郵件簡史

前傳：

表現為連鎖信及數量極少的朋友間的玩笑信件。

誕生：1994.4.12年綠卡事件《怎樣在信息高速公路上發(fā)財》發(fā)展： 1995年出現了垃圾郵件發(fā)送軟件，出現了采用假郵件地址和域名發(fā)送垃圾郵件，其中一些人還推出了郵件廣告服務。

垃圾郵件簡史前傳：垃圾郵件的發(fā)展與變化垃圾郵件的發(fā)展與變化全球垃圾郵件的增長趨勢全球范圍統(tǒng)計，2001年垃圾郵件僅占電子郵件總量的7%，到2002年即達到29%，至2003年7月就超過了51%，2004年1月高達60%垃圾郵件的數量已經超過了合法電子郵件的數量。全球垃圾郵件的增長趨勢全球范圍統(tǒng)計，2001年垃圾郵件僅占電根據CNNIC2005年7月公布的調查報告推算,我國的互聯(lián)網用戶每周收到電子郵件總計約15億封,其中垃圾郵件約9.6億封,占收到郵件總量的64%。垃圾郵件的現狀及特點

垃圾郵件，95790，64％正常郵件，53560，36％

根據CNNIC2005年7月公布的調查報告推算,我國的互聯(lián)垃圾郵件的現狀及特點國內網民每周收到的電子郵件數量垃圾郵件的現狀及特點垃圾郵件的類型----引自垃圾郵件的類型----引自www.barracudanetw用戶認為的垃圾郵件的類型用戶認為的垃圾郵件的類型用戶收到垃圾郵件語言用戶收到垃圾郵件語言垃圾郵件對郵件系統(tǒng)的影響數據來源:263網絡通信單位：萬封網關通過數網關過濾數垃圾郵件對郵件系統(tǒng)的影響數據來源:263網絡通信單位：萬封網郵件系統(tǒng)的實際處理量按郵件系統(tǒng)實際處理量計算，用戶收到的郵件數量不會大于網絡中實際郵件傳送數量的15.38%。數據來源:263網絡通信郵件系統(tǒng)的實際處理量按郵件系統(tǒng)實際處理量計算，用戶收到的郵件垃圾郵件的危害垃圾郵件消耗掉郵件系統(tǒng)總資源的72%數據來源:263網絡通信垃圾郵件的危害垃圾郵件消耗掉郵件系統(tǒng)總資源的72%數據來源:反垃圾郵件技術概述反垃圾郵件技術概述SMTP的安全缺陷缺乏足夠的認證機制。（導致假冒他人郵件和濫用別人的smtp服務器）攻擊者利用vrfy或expn命令找到使用別名的用戶的郵件或全名。Mta問候中顯示使用軟件產品的信息，利于攻擊者根據版本查找漏洞信件完整性無法保障。SMTP的安全缺陷缺乏足夠的認證機制。（導致假冒他人郵件和濫難以實施的SMTP提高版協(xié)議多數提高版協(xié)議都包括要求在接收郵件時確認發(fā)件人。但是新協(xié)議無法廣泛使用任何實施該協(xié)議的人只能從那些也實施了這個新協(xié)議的人處收到郵件不久的未來不會有高版安全協(xié)議被廣泛使用，垃圾郵件將持續(xù)成為一個問題，這促使企業(yè)機構尋求有效的垃圾郵件阻斷解決方案。難以實施的SMTP提高版協(xié)議多數提高版協(xié)議都包括要求在接收垃圾郵件阻斷技術的總攬新反向查找技術發(fā)件人郵件地址列入黑名單郵件信號系統(tǒng)/指紋識別測試/回復系統(tǒng)計算測試系統(tǒng)速率控制病毒掃描詞語過濾基于規(guī)則的評分系統(tǒng)貝葉斯過濾器IP黑名單RBLs實時黑名單DNSMX記錄查找

反向DNS查找

垃圾郵件阻斷技術的總攬新反向查找技術詞語過濾詞語過濾是一個簡單但是有效的阻斷絕大多數垃圾郵件的方法。詞語過濾器需要經常升級，加入關鍵字的變更。詞語過濾器會產生誤報情況。詞語過濾是一個簡單但是有效的阻斷絕大多數垃圾郵件的方法。反垃圾郵件技術概要ppt課件基于規(guī)則的評分系統(tǒng)是一個人工智能（AI）系統(tǒng)，對發(fā)現的每一個關鍵詞賦予分數。分數越高，該郵件是垃圾郵件的可能性就越高；得分超過一定值時，該郵件將被分類為垃圾郵件。可以清除90%的收到郵件中的垃圾郵件局限性：和詞語過濾面臨的挑戰(zhàn)一樣。為使評分有效，規(guī)則必須經常更新。基于規(guī)則的評分系統(tǒng)是一個人工智能（AI）系統(tǒng)，對發(fā)現的每反垃圾郵件技術概要ppt課件反垃圾郵件技術概要ppt課件貝葉斯過濾器貝葉斯分析：命名于著名數學家托馬斯?貝葉斯（1702-1761)，他發(fā)展了一個數學領域全新的可能性推論理論。分析過去事件的知識預測未來事件。貝葉斯過濾器與以前收到的垃圾郵件和合法郵件的中相同詞語及短語出現的頻率對比來確定垃圾郵件的可能性。貝葉斯過濾器被“有效培訓”以后，過濾垃圾郵件的準確率達到99%。貝葉斯過濾器貝葉斯分析：命名于著名數學家托馬斯?貝葉斯（1貝葉斯演算分析貝氏過濾資料庫，會根據已經被判斷為垃圾/非垃圾的郵件自動學習新的垃圾郵件規(guī)則；

時間梭子魚包括貝葉斯過濾梭子魚不包括貝葉斯過濾識別率時間梭子魚包括貝葉斯過濾梭子魚不包括貝葉斯過濾識別率反垃圾郵件技術概要ppt課件反垃圾郵件技術概要ppt課件反垃圾郵件技術概要ppt課件反垃圾郵件技術概要ppt課件IP黑名單技術不需要占用計算機資源，易于實施。需要手動維護的IP地址清單垃圾郵件發(fā)送者經常修改他們的IP地址，并采用一個廣泛的IP地址區(qū)間。因此該方案總體的垃圾郵件解決方案中起補充作用。與黑名單對應的是IP白名單應謹慎使用。IP黑名單技術不需要占用計算機資源，易于實施。發(fā)件人郵件地址列入黑名單用戶生成一個發(fā)件人郵件地址黑名單，阻止這些發(fā)件人地址進入企業(yè)網絡垃圾郵件發(fā)送者可以生成很多的虛假發(fā)件人郵件地址，要維護一個實時更新的發(fā)件人郵件地址黑名單正確阻斷是很困難的。一些垃圾郵件發(fā)件人甚至不采用發(fā)件人郵件地址，所以這樣的黑名單無法有效阻擋垃圾郵件。用戶訂閱的新聞組也可能沒有包含一個發(fā)件人郵件地址。發(fā)件人郵件地址列入黑名單用戶生成一個發(fā)件人郵件地址黑名單，反垃圾郵件技術概要ppt課件反垃圾郵件技術概要ppt課件RBLs(實時黑名單)也被稱為DNSRBLs,檢查所有收到郵件的IP地址，與在RBL中的IP地址核對來阻斷spam。RBL運營商維護公共RBLs,使用單位僅需訂閱該實時黑名單服務。RBLs缺點是它們可能產生誤報，因為一些RBLs是具有激進性質。故應謹慎選擇訂閱服務。RBLs(實時黑名單)也被稱為DNSRBLs,檢查所有反垃圾郵件技術概要ppt課件DNSMX記錄查找是一項對于垃圾郵件發(fā)送者采用虛假發(fā)自及/或回復郵件地址的有效阻斷技術。系統(tǒng)在發(fā)自郵件地址的域上進行查找。如果該域沒有一個有效的DNSMX記錄，這樣發(fā)自地址就是無效的，該郵件就被分類為垃圾郵件。DNSMX記錄查找是一項對于垃圾郵件發(fā)送者采用虛假發(fā)自及反向DNS查找

對收到郵件的來源IP地址采用反向DNS查找如果反向DNS查找提供的域與郵件上的來源IP地址相符合，該郵件被接受。如果不符合，該郵件被拒絕。由于很多反向DNS目錄未被有效建立，或無法正常建立，這些域發(fā)送的郵件將被阻斷，造成不可接受的高誤報告率。反向DNS查找對收到郵件的來源IP地址采用反向DNS查找反垃圾郵件技術概要ppt課件反垃圾郵件技術概要ppt課件蜜罐(郵件信號系統(tǒng),指紋識別)

蜜罐，或者說誘騙郵件地址，是用于收集大量的垃圾郵件。采集完成后，如郵件信號系統(tǒng)或者指紋識別技術就處理垃圾郵件，生成一個已知垃圾郵件數據庫。適用于相同的垃圾郵件大規(guī)模傳播時阻止。不適用于每一個垃圾郵件都是獨特的。蜜罐(郵件信號系統(tǒng),指紋識別)蜜罐，或者說誘騙郵件地址，反垃圾郵件技術概要ppt課件測試/回復系統(tǒng)用于對付那些郵件自動發(fā)送程序該系統(tǒng)維護了一個允許發(fā)件人清單，新發(fā)件人郵件在發(fā)送前被暫時保留，測試/回復系統(tǒng)發(fā)送給郵件發(fā)件人一個測試，如果發(fā)件人成功完成“測試”，測試/回復系統(tǒng)將他加入到允許發(fā)件人的清單中，該郵件被發(fā)送到目標地址。測試信息通常包括一個URL鏈接或者一個要求發(fā)件人在回復郵件中復制一個數字到數字框中要求信息采用虛假發(fā)件人郵件地址將不可能收到測試信息測試/回復系統(tǒng)用于對付那些郵件自動發(fā)送程序測試/回復系統(tǒng)的限制1鎖死：兩個人因為都使用測試/回復系統(tǒng)而無法交流。自動回復系統(tǒng)：自動系統(tǒng)將不可能回復測試，作為無法回復測試的結果，這些郵件無法被發(fā)送。

T&RT&RbA測試/回復系統(tǒng)的限制1鎖死：兩個人因為都使用測試/回復系計算測試系統(tǒng)要求發(fā)件人系統(tǒng)在發(fā)送郵件之前執(zhí)行一個計算。一個合法郵件發(fā)送人，花時間完成一個計算。對大量發(fā)送垃圾郵件的人，完成這些計算不值得。王張ABCD計算測試系統(tǒng)要求發(fā)件人系統(tǒng)在發(fā)送郵件之前執(zhí)行一個計算。王張計算測試系統(tǒng)局限性不平衡負荷（UNEQUALTAXATION）：額外的計算降低系統(tǒng)效率合法的郵件列表將和垃圾郵件發(fā)送者一樣受到懲罰傀儡計算機兵團（ROBOTARMIES）：合法計算機兵團（LEGALROBOTARMIES）：計算測試系統(tǒng)局限性不平衡負荷（UNEQUALTAXATIO速率控制DOS(拒絕服務)攻擊----垃圾郵件發(fā)送者經常試圖通過在很短一段時間發(fā)送大量郵件阻塞郵件服務器。速率控制允許在一段時間內從相同IP試圖的聯(lián)接數量在設置的范圍內。速率控制DOS(拒絕服務)攻擊----垃圾郵件發(fā)送者經常試北京市某區(qū)政府北京市某區(qū)政府

垃圾郵件意圖分析

?啟發(fā)式檢測（HeuristicDetection)會進行一連串的內部測試，決定該郵件是否是垃圾郵件．?檢查郵件中的URL鏈接，確定郵件是否為垃圾郵件?垃圾郵件引擎?zhèn)蓽y到變化型文字，垃圾郵件引擎會自動回復到原先字詞，例如V.I.A.G.R.A回復為VIAGRA

垃圾郵件意圖分析反垃圾郵件技術概要ppt課