1、性能優(yōu)化不是僅局限于后臺(tái)性能優(yōu)化不是僅局限于后臺(tái)-Qzone性能優(yōu)化報(bào)告QQ空間產(chǎn)品中心Qwang騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Qzone優(yōu)化概述優(yōu)化概述存儲(chǔ)優(yōu)化日志重構(gòu)訪問優(yōu)化接入層邏輯層表現(xiàn)層騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)日志重構(gòu)前問題分析日志重構(gòu)前問題分析數(shù)據(jù)量增長過快總數(shù)據(jù)量9T日增長量約20G擴(kuò)容需進(jìn)行大量數(shù)據(jù)搬遷Cache命中率低（50%），DB壓力大騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)舊系統(tǒng)結(jié)構(gòu)舊系統(tǒng)結(jié)構(gòu)模塊日志回復(fù)日志標(biāo)題日志計(jì)數(shù)優(yōu)點(diǎn)CACHE內(nèi)存化，提升性能多進(jìn)程號(hào)段分布處理業(yè)務(wù)異步化缺點(diǎn)CACHE量有限，命中率低，對(duì)DB的性能依賴比較重模塊相互獨(dú)立，容易造成數(shù)據(jù)不一致

2、騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Qzone數(shù)據(jù)層優(yōu)化（日志重構(gòu)）數(shù)據(jù)層優(yōu)化（日志重構(gòu)）與產(chǎn)品經(jīng)理的Trade-off區(qū)分近期日志與往期日志區(qū)分活躍數(shù)據(jù)、非活躍數(shù)據(jù)和歷史歸檔數(shù)據(jù)二級(jí)緩存（內(nèi)存+文件）針對(duì)單個(gè)號(hào)碼進(jìn)行路由騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)新系統(tǒng)結(jié)構(gòu)新系統(tǒng)結(jié)構(gòu)系統(tǒng)分三個(gè)模塊：日志信息、日志標(biāo)題、訪問計(jì)數(shù)CGI層對(duì)日志標(biāo)題、訪問計(jì)數(shù)模塊有讀/寫權(quán)限；對(duì)日志標(biāo)題模塊只有讀權(quán)限，其數(shù)據(jù)來源于日志信息模塊騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)日志信息模塊結(jié)構(gòu)日志信息模塊結(jié)構(gòu)騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)日志重構(gòu)后的特點(diǎn)日志重構(gòu)后的特點(diǎn)將數(shù)據(jù)區(qū)分為活躍數(shù)據(jù)、不活躍數(shù)據(jù)和歷史歸檔數(shù)據(jù)，減少C

3、ache數(shù)據(jù)量，提升Cache命中率Cache根據(jù)數(shù)據(jù)訪問活躍度進(jìn)行擴(kuò)容DB根據(jù)存儲(chǔ)容量進(jìn)行擴(kuò)容騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Qzone日志重構(gòu)前后數(shù)據(jù)對(duì)比日志重構(gòu)前后數(shù)據(jù)對(duì)比重構(gòu)前重構(gòu)后數(shù)據(jù)量日志標(biāo)題Cache10臺(tái)，69G，命中率90%10臺(tái)，128G，命中率88%DB5臺(tái)，340G5臺(tái)，600G日志信息Cache20臺(tái)，68G，命中率50%12臺(tái)，3T，命中率80%DB20臺(tái)，9T12臺(tái)，10T日志計(jì)數(shù)Cache10臺(tái)，122G，命中率100%10臺(tái)，122G，命中率100%DB4臺(tái)，100G4臺(tái)，100G訪問量日志標(biāo)題7100次/秒6000次/秒日志信息5000次/秒4500次/秒

4、日志計(jì)數(shù)7000次/秒10000次/秒騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Qzone訪問速度慢訪問速度慢Http請(qǐng)求量大，下載數(shù)據(jù)量大用戶CPU消耗高用戶經(jīng)常投訴打不開Qzone騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Qzone訪問優(yōu)化前測速訪問優(yōu)化前測速騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Qzone訪問提速優(yōu)化訪問提速優(yōu)化量化性能數(shù)據(jù)關(guān)鍵路徑時(shí)間點(diǎn)統(tǒng)計(jì)騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Yahoo 14 性能優(yōu)化規(guī)則性能優(yōu)化規(guī)則Make fewer HTTP requestsUse a CDNAdd an Expires headerGzip componentsPut CSS at the topMo

5、ve JS to the bottomAvoid CSS expressionsMake JS and CSS externalReduce DNS lookupsMinify JSAvoid redirectsRemove duplicate scriptsTurn off ETagsMake AJAX cacheable and small騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Qzone訪問優(yōu)化訪問優(yōu)化域名訪問優(yōu)化靜態(tài)頁面與動(dòng)態(tài)數(shù)據(jù)分離減少http請(qǐng)求降低瀏覽器CPU消耗Ajax優(yōu)化Web Server優(yōu)化騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)域名相關(guān)域名相關(guān)減少*域名的使用，降低動(dòng)態(tài)DNS查詢請(qǐng)

6、求走訪校園網(wǎng)及北方城市，發(fā)現(xiàn)雙ISP的local DNS的問題前置機(jī)通過域名糾正被錯(cuò)誤定位的用戶騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)靜態(tài)頁面相關(guān)靜態(tài)頁面相關(guān)拆分靜態(tài)頁面、圖片、樣式及flash，分散至等靜態(tài)文件域名I的CDN外包靜態(tài)文件服務(wù)器優(yōu)化支持長連接支持gzip壓縮使用expiresQzone http總請(qǐng)求量靜態(tài)頁面動(dòng)態(tài)數(shù)據(jù)相冊(cè)圖片其他靜態(tài)數(shù)據(jù)804614146騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)減少減少http請(qǐng)求請(qǐng)求合并小圖片請(qǐng)求合并css和js文件合并動(dòng)態(tài)數(shù)據(jù)請(qǐng)求動(dòng)態(tài)數(shù)據(jù)支持304有效利用瀏覽器cache和js變量緩存動(dòng)態(tài)數(shù)據(jù)騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)小圖片的請(qǐng)求合并（小圖片

7、的請(qǐng)求合并（css+背景圖）背景圖）騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)合并合并css和和js文件文件合并css文件進(jìn)入Qzone只需要下載2個(gè)css文件Css文件合并工具合并js文件刪除無用字符（空格、換行等）Js文件合并工具騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)合并動(dòng)態(tài)數(shù)據(jù)請(qǐng)求合并動(dòng)態(tài)數(shù)據(jù)請(qǐng)求合并多個(gè)模塊的動(dòng)態(tài)數(shù)據(jù)為一個(gè)靜態(tài)文件騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)動(dòng)態(tài)數(shù)據(jù)支持動(dòng)態(tài)數(shù)據(jù)支持304對(duì)大數(shù)據(jù)量的請(qǐng)求在存儲(chǔ)層上增加時(shí)間戳瀏覽器請(qǐng)求cgi讀取數(shù)據(jù)時(shí)間戳瀏覽器時(shí)間戳數(shù)據(jù)時(shí)間戳讀取瀏覽器上報(bào)時(shí)間戳讀取數(shù)據(jù)返回304返回200YesNo騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)利用利用js變量和瀏覽器變量

8、和瀏覽器Cache利用js變量Js將獲取的動(dòng)態(tài)數(shù)據(jù)放入數(shù)組變量每次發(fā)起動(dòng)態(tài)數(shù)據(jù)請(qǐng)求前檢查數(shù)組內(nèi)是否保存了相應(yīng)數(shù)據(jù)利用瀏覽器cache取消了Cache-Control: No-cache使用url+隨機(jī)數(shù)避免瀏覽器cache騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)瀏覽器下載請(qǐng)求量和數(shù)據(jù)量對(duì)比瀏覽器下載請(qǐng)求量和數(shù)據(jù)量對(duì)比優(yōu)化前優(yōu)化后（無Cache）優(yōu)化后（部分Cache）優(yōu)化后（全Cache）請(qǐng)求量160865812數(shù)據(jù)量2.4M1.5M48K8K騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)降低瀏覽器降低瀏覽器CPU消耗消耗將XML修改為JSON降低瀏覽器Parse XML的CPU消耗支持跨域請(qǐng)求，減少proxy

9、.html請(qǐng)求減少iframe的使用盡可能使用div合理使用cookie瀏覽器20個(gè)同域cookie的限制減少因cookie過多造成的分包Item文件檢查工具騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Ajax優(yōu)化優(yōu)化進(jìn)行數(shù)據(jù)分級(jí)，按優(yōu)先級(jí)順序請(qǐng)求數(shù)據(jù)打開Qzone所需的數(shù)據(jù)優(yōu)先加載異步化請(qǐng)求，盡量避免瀏覽器同域下兩個(gè)并發(fā)請(qǐng)求的限制圖片延遲加載頁面渲染相關(guān)的數(shù)據(jù)延遲加載騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)盡可能多的盡可能多的Para-Downloading騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Web Server優(yōu)化優(yōu)化拆分CGI異步邏輯將可以異步化的邏輯交給異步app server處理配置文件內(nèi)存化Cgi

10、90%的消耗在讀取配置文件使用gprof等工具使用輕量級(jí)Web Server放棄apache、優(yōu)化httpsvr減少共享內(nèi)存加鎖解鎖的開銷騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)輕量級(jí)輕量級(jí)Web Server（qzhttpd）性能部分：所有機(jī)器的CPU的idle都維持在90% - 93%左右周末高峰期：最大請(qǐng)求量：900左右，平時(shí)都維持在：200-400之間原有服務(wù)和現(xiàn)有服務(wù)的差別：周一 至 周四：httpsvr進(jìn)程cpu最大占用率：10% qzhttpd進(jìn)程cpu最大占用率：6%， 差別不大周末：httpsvr進(jìn)程cpu最大占用率：20%qzhttpd進(jìn)程cpu最大占用率：10%， 差別較大騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Qzone訪問測速（訪問測速（2007.10）騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Qzone訪問測速（訪問測速（2007.11）騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)Qzone訪問測速（訪問測速（2007.12）騰訊大講堂性能優(yōu)化不是僅局限于后臺(tái)運(yùn)營和監(jiān)控系統(tǒng)運(yùn)營和監(jiān)控系統(tǒng)測速平臺(tái)