Hadoop運維經驗分享趙云炯@ebay2012華東運維技術大會2008年加入阿里巴巴云梯管理員2011年加入SDO負責搭建并維護hadoop集群2012年加入ebay自我介紹2012華東運維技術大會hadoop集群搭建監控集群性能調優Hadoop如何被搞垮的概要2012華東運維技術大會Mastermemory

磁盤sas+raid10active-backupbondingIPaliasHadoop集群搭建2012華東運維技術大會Editlog本地一份，NFS一份NameQuota&SpaceQuota權限控制/tmpTrashRackawarenessNamenode2012華東運維技術大會控制內存mapred.jobtracker.maxtasks.per.jobervalpleteuserjobs.maximummapreduce.job.counters.limitJobTracker2012華東運維技術大會內存不能少于Namenode控制做checkpoint的次數及時間fs.checkpoint.periodfs.checkpoint.sizeSecondaryNamenode2012華東運維技術大會Disk2T*12ext4noatime定期更換壞磁盤，一次一臺網絡如果條件允許，做匯聚綁定（mode4bonding)內存24Gslave2012華東運維技術大會內存：map+reduce+tasktracker+datanode網絡磁盤注意wio確定map&reduce數2012華東運維技術大會Endtoend檢測hdfs是否可用，是否能跑map/reduce10分鐘一次fsckGCFullGC監控2012華東運維技術大會Tasktracker&Datanode數量異常作業監控大作業讀寫數據特別多運行時間特別長監控2012華東運維技術大會GC策略Editlog鎖調度性能調優2012華東運維技術大會推薦使用CMS停頓時間短/technetwork/java/javase/gc-tuning-6-140523.html#cms指定heap內存的初始值和最大值相等-Xms-XmxGC策略2012華東運維技術大會2012華東運維技術大會所有更改FSNamesystem的RPCCall都需要等待Editlogsync到磁盤才能返回Editlog2012華東運維技術大會減少持有鎖的時間減少鎖頻率blockReport減少鎖粒度使用讀寫鎖鎖2012華東運維技術大會調度效率運行效率Maplocality小作業重要的作業調度2012華東運維技術大會創建大堆小文件創建大堆文件名非常長的文件DDOSHadoopkiller2012華東運維技術大會大量的job&tasks使用大量的counter往標準輸出和標準錯誤輸出大量的信息Hadoopkiller2012華東運維技術大會HadoopbugLinux內核bugJVMbug交換機故障爬蟲通過jobtrackerweb端抓取jobhistory文件Session30分鐘過期，導致內存暴漲，頻繁fullgcbugs2012華東運維技術大會誤刪除數據誤停止masterIPalias被搶分發不完整的hadoop-site.xml到slave，導致作業失敗拔錯硬盤，格錯系統人為錯誤2012華東運維技術大會承辦單位：ChinaUnix社區、ITPUB社區

協辦單位：mysqlops中文網、TopGeek場地支持：創智天地贊助商：又拍云存儲、韓國派凌科技有限公司北京基調網絡系統有限公司北京藍汛通信技術有限責任公司聯想集團ThinkServer全球研發中心出版社支持：水利水電出版社、圖靈教育2