1、 MySQL數(shù)據(jù)庫架構(gòu)與運(yùn)維實(shí)踐分享大綱：樂視數(shù)據(jù)庫介紹揭秘私有云RDS架構(gòu)及實(shí)踐一、樂視數(shù)據(jù)庫概述1、數(shù)據(jù)庫平臺介紹我們數(shù)據(jù)庫部門的數(shù)據(jù)庫種類較多：有MySQL、Oracle、MongoDB、Redis等。從另一角度，可分為傳統(tǒng)的DB (MySQL、MongoDB.) 及云數(shù)據(jù)庫RDS。其中，MySQL在公司內(nèi)部廣泛使用，今天將就樂視MySQL的運(yùn)維情況進(jìn)行分享。2、數(shù)據(jù)庫產(chǎn)品現(xiàn)狀MySQL版本較多，有官方MySQL5.5、MariaDB10、PXC5.6等；架構(gòu)有1主多從、1主多層、PXC（Percona-XtraDB-Cluster）等結(jié)構(gòu)；硬件有SAS盤、SATA SSD，主要使用SA

2、TA SSD。3、數(shù)據(jù)庫架構(gòu)Master-Slave 結(jié)構(gòu)有：1主N從1主N從+MB (master-backup)1主N從+Relay提個問題，圖中1主N從+Relay結(jié)構(gòu)，引入relay有什么優(yōu)缺點(diǎn)？優(yōu)點(diǎn)：在跨機(jī)房高可用時(shí)，布署一臺同步用的relay 在異地機(jī)房可減少跨機(jī)房同步帶寬。缺點(diǎn): 增加了架構(gòu)復(fù)雜度，主從關(guān)系變成多層樹結(jié)構(gòu)。若是使用不當(dāng)，比較亂，易出錯。我見過超過4層的主從，梳理關(guān)系就很麻煩，建議不超過3層。4、數(shù)據(jù)庫監(jiān)控我們的數(shù)據(jù)庫監(jiān)控以開源軟件為主，有天兔Lepus、Prometheus、Open-Falcon等。（1）天兔Lepus是一個由Python+PHP開發(fā)的數(shù)據(jù)庫企業(yè)

3、級監(jiān)控系統(tǒng)支持MySQL/Oracle/MongoDB/Redis等數(shù)據(jù)庫的監(jiān)控對于不是特別大的DB規(guī)模，天兔監(jiān)控就夠用，也挺好用，可省去大量開發(fā)成本。（2）Prometheus Prometheus是一個開源的服務(wù)監(jiān)控系統(tǒng)，它通過HTTP協(xié)議從遠(yuǎn)程的機(jī)器收集數(shù)據(jù)并存儲在本地的時(shí)序數(shù)據(jù)庫上。它提供簡單的網(wǎng)頁界面、一個功能強(qiáng)大的查詢語言以及HTTP接口等。（3）Open-Falcon 我們用Open-Falcon來做服務(wù)器基礎(chǔ)監(jiān)控。對Open-Falcon進(jìn)行了一些2次開發(fā)，如增加電話報(bào)警功能、IDC 的概念。（4）作為補(bǔ)充還有Zabbix、微信告警等此外，公司監(jiān)控平臺提供email報(bào)警，短信報(bào)

4、警，電話語音報(bào)警。作為補(bǔ)充，數(shù)據(jù)庫平臺增加了微信告警。 優(yōu)點(diǎn)是方便，成本低。 重要性大于郵件的，不到電話或短信級別的可以用微信。5、數(shù)據(jù)庫備份數(shù)據(jù)備份是非常重要的，我們的DBA也非常重視數(shù)據(jù)庫的備份工作。在這我把備份概念略微擴(kuò)展，我認(rèn)為數(shù)據(jù)庫實(shí)時(shí)從庫也是一種備份。實(shí)時(shí)從庫大存儲機(jī)器 單機(jī)多實(shí)例布署（20-30+）重要業(yè)務(wù) 異地機(jī)房從庫多源復(fù)制從庫說明：我們找了一些大磁盤存儲10T+，在具布署了30+左右的MySQL數(shù)據(jù)庫，不提供線上服務(wù)。 這樣相當(dāng)于在一臺機(jī)器上有30個DB的熱備份。對重要業(yè)務(wù)，進(jìn)行異地跨機(jī)房從庫制作。可避免單一IDC異常，引發(fā)故障。樂視有一些統(tǒng)計(jì)分析數(shù)據(jù)庫，使用MariaDB

5、多源復(fù)制，一個實(shí)例同時(shí)同步多個主庫。某些情況也可以使用分析庫來恢復(fù)數(shù)據(jù)。冷備份xtrabackup 物理熱備份全備+增備Mount 掛載大存儲定期清理歷史備份主要使用xtrabackup來物理備份MySQL。使用了全備+增備，每周至少一次全備，多個增備。為了簡便，增備只做基于全備份的增備，并沒有使用增備的增備。利用Mount 掛載大的存儲 30T，做為備份存儲。為避免存儲容量滿，會有腳本定期壓縮，清理歷史備份。二、私有云RDS實(shí)踐1、私有云RDS項(xiàng)目背景為什么做私有云RDS？ 有各種理由： PaaS平臺的流行，老板提出需要把數(shù)據(jù)庫服務(wù)化、容器技術(shù)興起、成本優(yōu)化(硬件成本+管理成本)、用戶體驗(yàn)等

6、。但是最真實(shí)原因：忙！2、RDS介紹樂視云RDS基于Docker + Mcluster 開發(fā)的一種高可用、可彈性伸縮的在線數(shù)據(jù)庫服務(wù)（Relational Database Service，簡稱RDS）。其中，Mcluster（MySQL Server Cluster）是MySQL數(shù)據(jù)庫集群。Mcluster是我們開發(fā)出的一種私有云MySQL集群基于PXC (Percona Xtradb Cluster)封裝和調(diào)優(yōu)真正的多主架構(gòu)沒有單點(diǎn)故障，高可用性是RDS的根基良好的擴(kuò)展性PXC官方的鏈接： /doc/percona-xtradb-cluster/5.6/index.html3、私有云RDS

7、架構(gòu)（1）架構(gòu)圖RDS整體架構(gòu)主要分為以下幾大部分：Docker：樂視云RDS是跑在Docker容器內(nèi)部Database：為具體的數(shù)據(jù)庫。可以是MySQL，也可以是PostgreSQL等任何數(shù)據(jù)庫Matrix：負(fù)責(zé)前端數(shù)據(jù)庫創(chuàng)建、管理、監(jiān)控、維護(hù)和相關(guān)資源調(diào)度BeeHive：負(fù)責(zé)資源的調(diào)度管理，BeeHive類似KuberneteData Analysis：負(fù)責(zé)數(shù)據(jù)庫日志的分析還有用戶行為分析（2）RDS架構(gòu)圖2普通用戶登錄私有云平臺matrix，申請創(chuàng)建RDS。 BeeHive計(jì)算分析機(jī)群中的資源情況，選擇合適的3臺機(jī)器布署Mcluster DB，同時(shí)還會額外布署一個VIP容器來做DB高可用

8、和負(fù)戴均衡。用戶可以通過此VIP來訪問MySQL。RDS管理員可通過matrix后臺對平臺全部的RDS進(jìn)行管理、監(jiān)控運(yùn)行狀態(tài)等。4、Mcluster架構(gòu)Mcluster是樂視云基于PXC (Percona XtraDB Cluster)封裝和調(diào)優(yōu)的私有云MySQL集群。因?yàn)榛赑XC封裝，故Mcluster具有和PXC 相同的特點(diǎn)。多點(diǎn)讀寫機(jī)群中任一DB節(jié)點(diǎn)都可以寫入并行復(fù)制可以多個線程復(fù)制，以事務(wù)為單位，多個事務(wù)同時(shí)并行推送到所有集群節(jié)點(diǎn)強(qiáng)一致性各節(jié)點(diǎn)數(shù)據(jù)強(qiáng)一致性高可用性單一節(jié)點(diǎn)故障不會影響機(jī)群的可用性兼容傳統(tǒng)MySQL與傳統(tǒng)MySQL幾乎完全兼容，數(shù)據(jù)可以直接使用不需要任何轉(zhuǎn)換Mclust

9、er和主從MySQL對比RDS界面RDS界面用戶前端類似阿里云、AWS的RDS用戶平臺頁面。用戶選擇RDS的配置，主要是磁盤及內(nèi)存，點(diǎn)下一步，就可以提交RDS申請。(每個用戶可以免費(fèi)建3個，超出需要DBA審核)RDS界面管理后臺RDS管理員可登錄管理后臺進(jìn)行RDS管理，主要功能如下：用戶、宿主機(jī)資源管理RDS日常管理 申請審核，RDS信息查詢，人員變更等Docker 容器管理RDS備份RDS監(jiān)控 RDS運(yùn)行狀態(tài)監(jiān)控DockerFileDockerFilek完成的工作：安裝及配置MySQL安裝相關(guān)軟件啟動mcluter-managerMcluster-Manager大家可以看到在DockerFi

10、le最后一行，會啟動mcluster-manager。Mclustre-Manager功能：tornado的web服務(wù)啟動、停止初始化MySQL監(jiān)控、管理MySQLmcluster-manager安裝在Docker容器中，用來管理MySQL。外部系統(tǒng)不直接操作MySQL，而是通過mcluster-manager API 調(diào)用。包括啟動、停止、初始化、監(jiān)控、備份、管理MySQL等功能。RDS運(yùn)用私有云RDS上線后大大減輕了DBA工作量，降低了服務(wù)器成本和人力成本。 目前在樂視體系各子公司得到廣范使用。運(yùn)維和坑數(shù)據(jù)庫規(guī)范、流程非常重要私有云 可節(jié)省大量機(jī)器成本及人力成本私有云RDS產(chǎn)品設(shè)計(jì)、管理該異與公有云RDS用戶在線修改大表，引發(fā)故障多節(jié)點(diǎn)同時(shí)大量寫，容易引起死鎖組件較多，相互間依賴太強(qiáng)運(yùn)維工具待完善 如宿主機(jī)器故障，恢復(fù)工作量大數(shù)據(jù)庫規(guī)范、流程非常重要，因?yàn)檫@是運(yùn)維自動化的基礎(chǔ)。我們吃過這個虧，數(shù)據(jù)庫版本眾多，并且安裝目錄不同，帶來很大的麻煩。使用私有云確實(shí)是可節(jié)省大量機(jī)器成本及人力成本，這個在樂視云是可以確認(rèn)的經(jīng)驗(yàn)，因?yàn)槲覀兠颗_機(jī)器上安裝了2030個Docker，即跑了20-30個MySQL，較傳統(tǒng)的MySQL布署節(jié)省大量成本。若是有個別業(yè)務(wù)寫入量特別大，因?yàn)镻XC多份寫的原因，這時(shí)我們也可能遷移到傳統(tǒng)的主從