LinuxKernel2.4.*

中conntrack原理和應用張煥杰中國科學技術大學網絡信息中心james@1內容簡單理解Linuxkernel2.4.*中的netfilter/iptables框架2.4.*中conntrack原理擴展應用2Netfilter/iptablesNetfilter是Linuxkernel中對數據包進行處理的框架定義了5個HOOK位置NF_IP_PRE_ROUTINGNF_IP_LOCAL_INNF_IP_FORWARDNF_IP_POST_ROUTINGNF_IP_LOCAL_OUT35個HOOK位置4netfilter結果NF_ACCEPT:continuetraversalasnormal.NF_DROP:dropthepacket;don'tcontinuetraversal.NF_STOLEN:I'vetakenoverthepacket;don'tcontinuetraversal.NF_QUEUE:queuethepacket(usuallyforuserspacehandling).NF_REPEAT:callthishookagain.5NetfilterIptables是netfilter上的應用natmanglefilterConntrack實現連接跟蹤6Netfilter/iptables可以實現完整的基于連接跟蹤的包過濾防火墻支持包過濾，雙向地址轉換連接跟蹤的處理與NAT處理分離，更加模塊化7Connectiontrack原理根據數據包的內容，記錄各個連接的狀態是狀態包過濾防火墻和NAT必需的功能狀態表超時協議SRCSportDSTDportstate82.4中的conntrack9關鍵數據結構TupleProto、srcip、dstip、協議特定信息TCP、UDP:sport、dportICMP:typecode原方向的tuple、應答方向的tuple(replytuple)生成Replytuple的過程(Inverttuple)調換srcip、dstip調用協議相關的inver_tuple處理TCP、UDP是調換sport、dportICMP是對typecode處理，如8/0(echrequest)的invert是0/010關鍵數據結構Conntrack引用計數原方向的tuple、應答方向的tuple狀態超時時間其他信息11HASHConntrack中2個方向的tuple被hash后，根據hash結果放到對應的鏈表中方便快速查找查找tuple是否存在，只要對tuple做hash，到對應的鏈表中查找，O(1)復雜度如果構造tuple使得hash沖突，查找最壞變成O(N)復雜度，可以用來DOS攻擊12Conntrack處理過程對進入包處理系統的packet(PRE_ROUTING、LOCAL_OUT)根據packet內容生成tuple查找系統中是否有該tuple的記錄如果不存在新建立一個conntrack記錄，生成反向的tuple記錄調用對應的協議的數據包處理程序TCP：狀態跟蹤UDP：延長超時時間ICMP：2個方向的icmp包相等，直接刪除conntrack信息13Conntrack處理過程對從離開包處理系統的packet(POST_ROUTING、LOCAL_IN)如果conntrack中的2個tuple不在鏈表中，增加到鏈表中整個處理過程中被DROP的包，不會走到這里，對應的conntrack的引用數為0時conntrack信息被刪除超時處理刪除conntrack記錄14其他過程Alter_reply_tuple修改反方向包NAT處理代碼通知conntrack處理代碼，將來應答的tuple會改變Helper程序對特定應用數據的特殊處理Ftp等Expect相關連接處理Ftp的cmd和data連接是相關的15Conntrack的問題HASH性能問題可能會造成DoS攻擊總的conntrack數量有限，遭到DoS攻擊每個conntrack大約占用400byteIcmp、TCPSYN、UDP超時60秒10kpps，60秒600kconntrack240M內存DROP包時性能問題每個包都要產生一個conntrack記錄，在數據包被DROP時釋放conntrack記錄，浪費CPU時間16Conntrack擴展Conntrack日志發送一個連接的如下信息到日志服務器Start_time、end_timeProto、srcip、dstip、sport、dport、pkts、bytsNsrcip、ndstip、nsport、ndport、rpkts、rbytsState連接數限制限制一個IP占用的conntrack數量17Conntrack日志Conntrack增加一些信息Start_time，end_time，統計數據在conntrack的超時處理過程中，使用udp協議把這些信息發送給日志服務器Conntrack的處理中增加對以上信息的修改新的conntrack設置start_time每個數據包修改統計數據和end_time18URL記錄增加一個對tcp80端口處理的helper程序對tcp的數據包進行處理，恢復其中的URL如果特意將URL分到不同的包中，或者使用keep-alive，記錄不全19性能內存占用每個conntrack多占用了大約24byte，增加10%的內存處理O(1)復雜度DROP的數據包不會引發超時過程，因此DROP的包沒有日志可以考慮限制不確認的conntrack的發送速率20連接數限制簡單限制限制一個IP占用的總數和最多處理確認狀態的總數僅僅對出去的連接限制StructIplimitMaxtotal最多總數Total當前總數MaxAssure最多確認的連接數Assure當前確認的連接數21數據結構LocalNetworkNetaddrNetmaskLimit*iplimit

根據netmask動態分配的內存LocalNetworkLimit(8192*sizeof(iplimit))LocalNetwork用數組存放，限制在10個左右22增加的處理生成一個新conntrack時，增加total，如果total=maxtotal，丟棄數據包釋放conntrack時，減少total，如果有assure標記，減少assure對tcp數據包首次進入established狀態時，增加assure，設置assure標記，如果assure=maxassure，丟棄數據包離開established狀態時，減少assure，清除assure標志23控制kernel/proc/iplimit/control寫A100100C100200F