騰訊大講堂第五十一期研發管理部大講堂主頁：:///class與講師互動：:///group/classWalker游戲產品運營事故案例介紹講述事故背后的故事，從案例了解網游運營目錄凱旋游戲產品MiniBoss活動事故白裝備事故QQ堂游戲產品歡樂幸運星活動事故QQ夢想游戲產品售賣系統道具復制游戲事故“絳紫寶箱〞道具復制事故QQMiniGame平臺DirServer雪崩騰訊游戲發布軌跡2004年2005年2006年2003年2007年2021年2021年從2003年到2021年，騰訊游戲的開展已經走過了5年多的歷程。2003-08QQ游戲大廳發布凱旋公測?凱旋?產品?凱旋?是騰訊代理IMAZIC的一款3D大型網游，也是我們試水網絡游戲市場的第一款產品。為此騰訊在上海專門組建了網絡游戲事業部來負責該產品的運營工作，該游戲從2003年8月1日正式公測上市。?凱旋?產品?凱旋?在當時是一款非常高端的產品，3D畫面效果優秀出色，采用了無縫地圖技術，真實裝備Avatar，任務鏈設計，寵物系統等等，設計理念新穎，市場影響力大。網游運營事業部組織圖部門總經理市場部策劃部客服部技術部海外部渠道部市場策劃組網站設計組翻譯測試策略

網絡游戲事業部的組織架構圖?凱旋?公測之后，為了迎接十一長假，籌劃希望籌劃一些線上活動，繼續沖高在線，MiniBoss活動就此出爐。?凱旋?產品MiniBoss事故記錄由籌劃部提出希望在國慶節期間開展一個在線活動，營造游戲中的節日氣氛，并提高節日期間在線；活動籌劃案需求轉交韓方后，韓方回復他們正好新開發了一個類似的活動包，可供我們使用；這個活動包的內容主要是將游戲內地底深處的超級BOSS縮小后隨機放到地面刷出，供普通玩家挑戰，并且還有時機獲得珍貴寶石；籌劃部門同意采用該活動包，作為國慶期間節日活動的一部份，并相應準備了相關的網站宣傳內容；活動包由韓方提供給海外部，同時籌劃部之前提供了測試需求給海外部，海外部測試后認為符合需求，因此交給了技術部，然后技術部安排了自動更新的腳本，在10月1日凌晨自動啟動。MiniBoss事故記錄10.1期間，部門放假，活動自動執行，結果因為一些細節設計問題和寶石產出幾率過高，導致活動期間珍貴寶石大量產出，玩家采用自動化方法大量獲取珍貴寶石后對整個經濟系統產生巨大影響；流通道具的大量產生導致了一系列問題，游戲體驗被迅速透支，流失玩家數量驚人；假期結束后，整個游戲在線由4W多下跌到缺乏2W，游戲內經濟崩潰，物價異常變動，大量忠實玩家離開，流失玩家數量巨大。因此事故時間太久，無法回檔，官方已經沒有任何方法消除事故影響；經此打擊之后，凱旋的游戲在線一直未能得到恢復，之后再未突破過4W水平，在線持續下跌至目前水平。?凱旋?產品部門總經理市場部策劃部客服部技術部海外部市場策劃組網站設計組翻譯測試策略韓方IMAZIC?凱旋?產品在MiniBoss事件中，錯誤究竟發生在哪里呢？似乎每個部門都有錯，但是每個部門卻又沒有能力去發現和制止錯誤，似乎大家一起努力的結果就是朝錯誤的方向越跑越遠；在錯誤產生之后，卻很難找到責任人，甚至沒有一個直接責任人出現。事故之后，團隊沒有收獲任何經驗教訓，只能繼續這樣運轉。?凱旋?產品白裝備事件記錄2004年1月15日凱旋發布一個新的版本的時候出現的一個BUG，導致局部玩家背包中的帶屬性的綠色藍色等高級裝備變成沒有屬性的白色裝備，同時還出現局部玩家角色消失問題；在我方測試時，未及時發現此問題。更新后，開始陸續接到玩家投訴，技術部檢查后確認是游戲BUG造成，于是通過商務部向韓方提出緊急修復的需求，同時開始逐個手工處理玩家投訴；當天下午的時候，玩家投訴量到達400單，技術部門開始通宵處理，到次日凌晨投訴量已經上升到1500單，手工處理已經無法承擔。這時候因為北京的展會緣故，相關領導均不在公司，一直無人拍板最終處理方案，只能繼續手工處理。白裝備事件記錄等到下午，韓方發來一個統計工具，用于統計受損的賬戶數量；經過統計后發現受影響賬號竟然在10萬以上，于是又經過漫長討論，最終決定回檔。此時距離發現問題已經過了30多個小時，需回檔時間近2天，受影響活潑玩家幾十萬人；回檔過程中，再次發現數據異常，無法啟動效勞器，游戲停機時間一再延長，在18個多小時后才恢復了效勞；經此打擊，更多的活潑玩家離開了凱旋，游戲在線下跌到1萬余。對于回檔游戲數據，團隊既沒有成熟的運營處理預案，也沒有進行過任何演練，遲鈍的反響和生硬的處理手法顯現出了運營團隊的稚嫩。?凱旋?產品在白裝備事件中，我們得到了哪些教訓呢？對于網游產品，測試部門是一定需要專業重點建設的；對于緊急事故必須有完備的處理預案和責任人制度；對于重大的備份恢復操作，平時要經常演習熟悉；對于風險評估和具體應對，我們還需要更多的經驗；對于用戶管理和運營維護方面的經驗缺乏，輿論導向控制不力，用戶反響收集緩慢，信息不全，用戶體驗很差；最重要的是，我們需要一個符合網游產品運營特點的團隊管理結構。只有合理的將一個整體任務的結果責任賦予某人，才能讓其擁有與這個責任對等的權力來制約和控制整個事情。經驗必須是沉積在每個人身上，而不是整個團隊，富有經驗的的產品經理是一個團隊的重要財富。現在的運營團隊工作模型一個運營團隊的三層工作模型客服市場運維渠道網站研發用戶……現在的運營團隊工作模型涉及的資源關系籌劃客服運維市場網站渠道信息商務品牌用戶外包程序美術公關法務廣告戰略平安其他內部團隊運營團隊工程組現在的運營團隊內部工作模型運營工程A運營工程B運營工程C?凱旋?產品后續?凱旋?之后，公司在很長時間一直沒有再代理海外的游戲產品；QQGame的崛起讓公司決策方面決定加強自研網游產品的投入，上海團隊主要力量被拆散，大局部骨干人員流失，騰訊在大型網游市場的第一步就摔了一個不小的跟頭；自研QQGame產品獲得成功后，公司決定繼續研發更加高端的游戲產品，第一款ACG產品?QQ堂?2004年中正式立項了。騰訊游戲發布軌跡2004年2005年2006年2003年2007年2021年2003-08QQ游戲大廳發布凱旋公測2021年2004-12QQ堂公測?QQ堂?產品?QQ堂?從2004年6月開始開發，12月30日正式公測上市，2005年7月1日發布正式版本，游戲最高在線一度到達22萬最高同時在線，注冊用戶數多達數千萬玩家。?QQ堂?產品QQ堂產品第一次建立了產品運營團隊，雖然才3個產品人員，但是已經開始建立工程和產品的負責制。同時，部門也逐漸開始嘗試將技術主導型的工作模式轉變產品運營主導型的工作模式；QQ堂如果誕生在別的公司，注定將成為一個沒有任何市場反響就會迅速失敗的產品，但是我們的平臺給這個產品源源不斷的送去了用戶，讓產品研發運營團隊得以生存，得以學習和提高。在運營了7個月后，產品運營團隊開始逐漸找到了感覺，終于開始學會如何掌控這個產品，7月的正式版本之后，QQ堂慢慢發力，在線開始節節上升；產品團隊信心十足，甚至開始變得有點急功近利了?QQ堂?產品QQ堂“歡樂幸運星〞抽獎2005年8~9月間，因為互娛BU另外一款重量級產品?QQ夢想?的跳票，互娛系統的月度考核指標遇到了極大的挑戰，領導層號召各個產品設法拉高收入，嚴守KPI底線；QQ堂產品當時在線狀況開展良好，如何轉換成為收入的問題于是變得更加重要，大家開始群策群力的奉獻點子，力求幫系統更多承擔一些收入；在幾次風暴會議后，多個營銷性質工程開始啟動。其中，有一個博彩類的工程非常被大家看好，這個工程叫做QQ堂“歡樂幸運星〞抽獎活動。?QQ堂?產品2005年9月29日晚8點，在經過研發測試等同事加班加點的緊張開發之后，“歡樂幸運星〞活動如期開發完畢，并按照版本方案，更新到了外網環境；8點半鐘，運營團隊接客服報告，聲稱有兩名玩家已經中到一千萬游戲幣的大獎。運營團隊按照緊急預案召集所有相關人員趕回公司處理；9點多，客服方面再次匯報，已經確認BUG存在，有大量玩家重復中獎。運營負責人要求立即關閉道具售賣系統；10點前，運維同事關閉了道具售賣效勞器，產品，研發，運維，測試等各線人員趕到，馬上召開了事故分析處理會議，并通知平臺線方面同事協助；11點，事故原因查明，得到事故初步損失統計，參與得利玩家第一批名單也已經獲得，運營團隊開始要求各方面協助攔截非法游戲幣。?QQ堂?產品事故過程原因在抽獎活動的設置中，集齊一套道具(7塊多Q幣)，可能中獎1000萬游戲幣(相當于1000Q幣)，一般情況概率應該是萬分之零點六，但是籌劃文檔幾經修改后中獎表格已經出現了很多錯誤。而籌劃評審，運營評審，程序實現各個環節中居然都沒有發現中獎列表的機率加起來已經不是100%了；程序實現后提交測試組測試兩輪，在測試中因為沒有使用大量QB來進行真實的模擬測試，所以居然沒有發現概率方面存在異常；種種錯誤累加起來使26%概率的特等獎終于出現在了外網環境中；從當晚8點多發布活動到10點之前關閉這個活動,僅一個多小時共產生游戲幣21個億，有700多名用戶參與了刷取游戲幣；由于錢的數量巨大，玩家四處轉移游戲幣。而凍結賬戶方面沒有預案，雖然緊急處理及時，但凍結不徹底，扣款程序又出問題等,最終損失還是構成了一級事故；事故發生后對員工和相關領導都受到了處分。事后總結需求文檔需要更仔細check，評審環節的疏漏非常嚴重；任何概率類設計都需要設置總量控制，設置多級閥門控制，不要把能廣泛流通的貨幣或者道具直接及時的交到玩家手上，不要獎勵；緊急預案不夠完善，只考慮到產品范圍內的各種處理方案，沒有考慮如果在部門或者公司級平臺上出現問題后的處理措施。在處理過程中，產品人員才驚奇的發現我們原來還有游戲幣銀行這樣的東西。在要求各個方面協助凍結相關賬戶的時候，各系統才開始編寫相關的程序進行掃描和回扣，這其中又發生新的BUG，但是屢次扣款失敗，使損失額度沒有能得到很好的控制。?QQ堂?產品后續“歡樂幸運星〞事件之后，互娛停止了所有涉及抽獎Q幣，游戲幣的活動，再不涉及任何通過平臺渠道發放Q幣的活動，以防止風險；QQ堂團隊也停止了這種直接通過抽獎獲利的營銷活動，開始繼續專注于游戲內容的設計和付費挖掘；2006年2月份，QQ堂一系列游戲活動獲得成功，同時在線到達22萬高點，收入也實現了連續翻番，QQ堂道具營銷方面經驗讓很多產品學習得益。騰訊游戲發布軌跡2004年2005年2006年2003年2007年2021年2003-08QQ游戲大廳發布凱旋公測2021年2005-06QQ寵物發布2005-10QQ幻想公測2004-12QQ堂公測QQ夢想產品?QQ夢想?是騰訊的一款戰略級產品，是互娛自主研發了三年多的首款MMOG產品。這款產品也是互娛在凱旋工程失利之后，再次嘗試運營的MMOG產品。該款產品2005年10月25日公測，最高同時在線用戶數一度到達66萬，是互娛重要的收入產品。QQ夢想產品?QQ夢想?產品是一款探索獲取經驗的產品，雖然我們投入了大量的人力和時間在這款產品上，但是也畢竟暴露出了我們的很多經驗缺乏之處；雖然借助騰訊平臺的強大力量，?QQ夢想?獲得了公測的良好效果，但是游戲設計，運營理念方面的一些缺乏還是讓產品在線不斷下挫。在收費后，產品在線已經缺乏公測時的一半；在一年多運營過程中，這個工程也不斷出現過一些不同程度的事故，在線活動的投訴率一直居高不下。QQ夢想道具復制漏洞事故記錄2006年11月12日下午3點，客服方面報告，在游戲中出現一個開店售賣的BUG，會導致開店商人顯示的物品列表和實際不符。有玩家利用此漏洞進行欺詐，導致大量用戶投訴，已經構成一級突發事故，事故已經分派到三線；接報后，產品經理和PM〔兼效勞端主程〕趕到公司處理。經過分析，發現是因為客戶端BUG導致看到的要買的寵物和實際要買的寵物不一致，從而被玩家利用進行欺詐。產品方面分析了具體過程和投訴單據后認為該問題比較嚴重必須盡快解決，因此打通知測試組運維組，準備進行緊急更新；因為客戶端方面人員一時聯系不到，因此PM決定從效勞端解決該問題。PM提出兩個臨時解決方案，一個是帶寵物商品交易會直接失敗，一個是帶寵物商品交易，寵物商品會自動回到玩家背包。產品方面建議采用后者方案，比方不容易引起玩家困惑。QQ夢想產品下午5點，臨時修改完畢，程序在內網更新，測試組進行了測試。6點，更新到外網一臺效勞器，經過一個小時觀察感覺正常，7點半進行了全服更新，產品方面在官網和論壇發布了暫停交易公告；再繼續觀察了半小時無異常，產品方面和客服方面溝通之后，大家回家吃晚飯。其實這時一個嚴重的BUG已經被引入到整個游戲世界中問題開始蔓延一個游戲道具復制漏洞實際上已經被局部玩家發現，玩家在不斷利用這個BUG復制道具的同時，開始通過各種途徑傳播這個問題：游戲內/各種論壇/QQ群越來越多的用戶開始利用這個BUG復制道具，而且用戶開始意識到大量非法道具一定會被官方查處，因此開始設法用各種各樣的方式轉移復制出來的非法道具。QQ夢想道具復制漏洞事故記錄晚上8點多，客服報告，開店售賣可能還是存在問題。程序組測試組趕回公司處理，分析后認為下午的修改，有極低概率可能導致道具復制，并且及時修改了這個問題；晚上9點半，程序方面回報問題已經解決完畢，按問題出現概率來看，帶來影響應該不大。因此產品方面就沒有將此問題升級到事故處理流程進行分析處理；處理問題最有價值的黃金時段就這樣過去了QQ夢想道具復制漏洞事故記錄次日上午，產品方面發現用戶反響意見很多，問題比較嚴重，于是要求程序組重新分析原因，要求運維組統計道具復制問題的程度。測試組重現BUG后發現還有更簡單的重現方法，復制門檻很低。運維統計的初步結果也表現涉及復制玩家多達千名，于是召集事故處理會議進行討論；事故處理會議決定先對嫌疑最大的963個賬號進行查封處理，以防止復制道具進一步流傳，同時開始進行掃描分析；因為事故發生已經過去10多個小時，復制物品游戲內流向已經非常復雜，但是最近的數據備份時間卻是在凌晨四點，在事故發生之后，再近一次的備份時間是前天的凌晨四點。運營方面陷入兩難境地，無論是否回檔都面臨重大損失。QQ夢想道具復制漏洞事故記錄事故處理小組無法迅速做出回檔決定，于是一方面向BU層面報告，一方面決定采用保守方案，掃描全效勞器數據，以查找并凍結復制裝備；到中午時間，數千個擁有復制裝備的賬號已經被凍結，但是游戲內仍然有大量復制道具仍然還在流通，整個游戲的物價受到劇烈影響，經濟系統陷入混亂之中；為了穩定玩家情緒，運營團隊通過官網發布公告，抱歉并宣稱不會回檔處理，官方有能力收回非法裝備，希望大家給與支持；到下午時間，掃描數據的工作已很難取得成效，大量無意購置復制裝備被封號的玩家也開始劇烈投訴。各渠道的一線客服壓力劇增，大量人力被調派來協助處理，數以千計的投訴單據給產品方面增加了巨大壓力；在這樣巨大的壓力下，運營組決定先停止效勞器，然后再決定具體處理方案。11月13日夢想玩家在游戲內各大城市聚集，示威游行，強烈要求官方回檔。QQ夢想道具復制漏洞事故記錄一邊是運營方已經做出的不回檔保證、超越48小時的回檔帶來的損失、回檔全部57組效勞大區數據的難度和風險、回檔后會產生的各種用戶的海量投訴；另一邊是玩家越來越劇烈的抗議情緒、游戲內混亂的經濟系統、接近崩潰的物價和無數根本就無法處理的投訴；系統和部門領導都參加了第二輪的事故處理討論會議，會議到晚上1點鐘做出決定，最終決定不惜一切損失和風險進行回檔；接著運維組開始連夜準備回檔方案，程序組開始制作各種工具，產品組開始準備相關公告和補償方案；那天深夜，回檔的公告在經過了無數人的反復的，斟字酌句的修改后，最后終于在向玩家承諾公布處理方案時限的最后半小時放到了官方網站上；早晨8點，回檔成功，效勞器分批開始重新開放。QQ夢想產品QQ夢想道具復制漏洞事故記錄回檔公告告訴玩家：整個QQ夢想世界全部57組效勞器將在此次停機維護結束之后恢復到11月12日凌晨4：00左右的狀態，所有玩家的游戲數據也將全部回檔到同一時間，所有玩家都需要回檔48小時；我們需要補償玩家大量的經驗值，道具，金幣，寵物，游戲點卡，玩家寄售卡等等；我們贈送給玩家兩天免費游戲，兩天雙倍經驗雙倍掉率等等；對于用戶的一切概率事件，我們均無法復原。之后數千單的各種投訴還困擾了工程組將近一個月的時間，此次事故流失的玩家難以估量，直接經濟損失數百萬計。在夢想游戲本來進入衰退期之前，此次事故無疑是起到了加速產品老化的效果。在線損失收入損失南方都市報11月16日刊登題為“騰訊付費游戲停擺玩家討伐如潮〞的負面報道，其后被很多媒體競相轉載。輿論危機工作影響事故善后歷經2周，打亂原定的資料片開發方案；程序、籌劃、測試、運維、客服，全體團隊成員都超負荷運轉；客服一線從其他各個產品抽調人力組織力量突擊消滅海量的投訴單據，一個多月后所有積單才根本被清理完畢；事后，此次事故被確定為一級重大運營事故，相關責任人都受到了處分。QQ夢想產品事故總結對于道具復制類型問題不夠敏感，游戲內缺乏自動監測報警機制，導致事故之初沒有得到足夠重視；事故分析速度較慢，對于道具復制問題需要進行長達數小時的全庫掃描才能得到結論，過慢的分析能力影響了對事故的定性和處理決策速度；游戲內嚴重缺乏防止物品復制的機制，缺乏各種有效的平安開關，缺乏各種不同的運行模式，使運營決策上處處為難；游戲數據的備份回退機制不夠靈活，無法實現根據賬單回滾，游戲數據備份周期過長，回檔過程缺乏演練，很多必備工具缺乏；游戲測試機制不夠完善，緊急發布流程存在很多隱患。事故總結需要在游戲產品設計之初就考慮到未來的可運營性可監控性單純通過用戶反響來發現問題并缺乏夠迅速，還是要系統本身對于各種異?，F象有自動監控和報警的機制，比方關鍵道具的產生量，異常交易量等等可管理性在產品開發設計中需要參加設置可由產品運營人員進行配置操作的開關量，如允許/禁止某類物品買賣的開關。在游戲中出現某些問題時，可以直接由運營人員通過配置操作來解決，而不需通過修改程序來解決?？苫謴托栽诋a品設計中就需要考慮靈活的備份機制，針對單用戶，用戶群的局部數據回退機制，單系統的復原機制等等QQ夢想產品后續QQ夢想游戲在經歷了這次曲折之后，游戲衰退速度明顯加快，到次年3月份在線人氣已經跌破10萬，游戲產品生命周期臨近。這之后，QQ夢想還經歷了一次727寵物捕捉系統事故，夢想產品正式進入快速衰退期；工程組從07年初開始探索免費網游運營模式，制定了夢想“突圍〞研發方案，利用夢想已有資源在3個月內制作出一款采用免費運營模式的?QQ自由夢想?產品迅速推出；?QQ自由夢想?取得了不錯的運營成績，將流失的夢想用戶挽留了回來，到08年，QQ自由夢想重回10萬在線，并創造收入新高。4月3日，QQ自由夢想承載了團隊的希望，將正式上市公測，以期重續QQ夢想的昔日輝煌。QQ夢想產品MMOG產品有其獨特的復雜性，在各種復雜因素的作用下，有其無法防止的風險，一點點人為因素就有可能立即造成重大損失，所以只能讓每位運營人員都要學會如履薄冰，隨時提高警惕；我們在技術上也不斷的加強防范，現在的游戲平安機制已經比一年前要更加完善，各種平安開關，自動監測機制，防復制設置，更快的客服反響制度，玩家的預警組織等等能幫助我們更早更快的發現問題，分析問題，更及時正確的作出處理決定。但是，只要網游運營一天，事故風險就會如影隨行，總會有各種BUG逃過我們的重重攔截，隨時等待爆發。回憶我們的經驗在管理層面上合理的運營組織架構，確保產品責任/工程責任/設計責任/資源責任/日常工作責任等等都明確到人，工作流程清晰條理，關鍵環節多人審批，多人監督；建立完善的事故預警/升級/處理機制，事先準備各級事故處理預案，指定各級事故召集人，建立事故召集處理會議制度；加強用戶管理，增加玩家層面預警能力，建立多種用戶組織，加強輿論控制和引導能力，加強危機公關應對能力；重視測試環節，保證充分的測試時間和標準的測試過程，測試用例需要各方面共同制定，高風險工程一定經過充分的外部測試?；貞浳覀兊慕涷炘诩夹g層面上在產品設計之初就應該考慮產品的“可運營性〞，預知未來可能的運營需求和風險，在架構設計上留有足夠考慮；完善靈活的備份機制，各種記錄完善細致，各種統計和復原類工具齊備；對于重大風險事故需要定期演練，各種處理手段機制制定詳細的技術預案，做到有備無患。在籌劃層面上在任何產品設計和活動設計的評審環節參加運營風險評估局部，重視平安性設計，共同回避可能發生的問題。自由夢想“絳紫寶箱〞事故1月10日早上8點，?QQ自由夢想?停機更新版本；10點多開機后，玩家研究院玩家首先報告，發現連續開啟付費道具“絳紫寶箱〞會產生復制道具。用戶管理客服初步驗證后迅速通知了產品負責人；產品方面評估后認為應按重大事故處理，通知運維組立即關閉所有效勞器，同時召集研發，測試，客服等方面參加的事故分析處理會議，組成事故處理小組；10點30分左右，所有自由夢想效勞器關閉，運維組按照預案開始使用工具掃描全區產生的復制道具，并統計影響用戶總量，產品組發布緊急停機公告，客服組通知一線相應口徑話術，同時通知所有玩家組織，準備輿論引導方案；11點，程序方面BUG原因查明，運維第一次掃描結束，復制道具用戶被定位，根據實際情況，事故處理會議決定采用不回檔，采用刪除復制道具的方案來進行處理；12點，程序BUG修復完畢，啟動緊急發布流程，測試組開始進行發布前測試1點，運維全服掃描完畢，所有復制道具及相關賬號被定位；2點，事故處理會議確定最終處理方案，開始刪除復制道具，復原對等交易；3點，新的腳本測試完畢并完成更新發布；4點，所有用戶數據處理完畢，產品發布開服公告；4點半，所有效勞器恢復運營，產品組開始協助處理后續疑難投訴，外部玩家輿論持續監測。自由夢想“絳紫寶箱〞事故充分信息監測收集，事故分級，指定召集協調人和事故處理會議的機制保證了我們能在最短時間和獲知問題，并有效分析，快速應對各種意外事故，隨著經驗累積，事故的處理速度和方法也能得以不斷改善客服用戶運營測試研發運維運營事故處理會議停機/掃描通報分析/測試分析/解決召集解決方案事故召集人信息源QQMiniGame平臺QQMiniGame平臺〔QQ游戲平臺〕是互娛最大的休閑游戲平臺，最高在線已經接近450萬，注冊用戶3億，日活潑用戶數近2300萬，包含60多款休閑游戲；QQ游戲平臺是以休閑游戲為主，無用戶交易系統，道具物品不流通，因此運營事故的發生風險與大型MMOG相比大大降低；QQ游戲平臺的運營事故主要與提供海量用戶效勞產生的壓力相關。Dir雪崩事件記錄：1月14日中午13：40分，接到dircoredump告警。登陸發現大局部dirserver已經coredump。簡單查看了下發現問題很難定位。同時從運營同事側了解到中午12點左右增加了目錄樹的節點，于是讓運營同事回退配置文件，然后拉起所有core掉的dir效勞器。

大約在2：30左右所有效勞器被拉起，由于大量用戶不斷登陸，使得網卡流量到達極限。查看dir日志發現工作是正常的。但是用戶就是無法登陸。

3：00查看dir的負載正常，每分鐘處理7萬個以上登陸請求。再查看前端t