廣東移動自營業務數據庫云平臺方案V5.0Oracle銷售顧問部和企業架構部項目背景–自營業務云平臺廣東移動數年前已經開始建立內部的云計算平臺，以降低維護成本，和實現資源的動態調配在操作系統以及應用層面，目前已經采用云技術進行虛擬化和資源的動態分配數據庫建設方式目前是每個系統單獨建立自己的數據庫，數據庫不放在虛擬服務器中，每個數據庫之間不能共享計算資源項目需求–建立數據庫云技術架構建立一個數據庫云技術架構，降低應用數據庫建設成本，便于集中管理和維護新建立的數據庫云技術架構需要實現系統之間的數據隔離，實現資源的動態調配，保障每個應用在使用數據庫的時候獲得充足的計算資源新建立的數據庫云技術架構是易于擴展的，并可以連續提供數據庫服務，滿足每個應用的服務承諾DBaaSVs傳統IT操作傳統的應用開發

(管理驅動)PaaS部署方式

(最終用戶驅動)指明并獲得

硬件資源硬件資源配置部署硬件資源部署中間件

和數據庫部署應用

并且進行配置按需增加硬件資源

并進行重配置通過云

申請數據庫部署根據需求的改變調整容量/生產力Self-ServiceProvisioning不再使用的

應用程序可以撤除MiddlewareOS/MachinesDatabaseDEPLOYMENTPORTAL底層基礎架構

對用戶透明Databases數據庫云技術架構發展方向建議當前DBaaSEXADATAOSERPDWCRMOSDBSchema/DatabaseShareddatabaseschemas

/Sharedatabases云服務平臺總體架構示意

應用層、數據庫層和存儲層應用層數據庫層存儲層云服務平臺總體架構示意

應用層和數據庫層應用層數據庫層云服務平臺總體架構示意

數據庫層和存儲層數據庫層存儲層SOX

數據庫電子報賬平臺

數據庫開源報表

數據庫OA

數據庫IT服務

數據庫人力資源

數據庫財務集中

數據庫資產管理數據基建工程數據新應用

數據圖示系統僅為舉例云服務平臺總體架構示意（遠期規劃）

應用層、數據庫層和存儲層應用層數據庫層+存儲層數據庫云平臺架構優勢資源整合-數據庫云平臺充分可以充分利用整合的數據庫服務器以及存儲資源，并兼顧服務器和存儲容災提升性能-數據庫服務器使用真實的物理CPU、內存和網卡，減少虛擬化損耗集中管理-

實現數據庫的集中監控，并根據監控結果適時調整資源分配方便伸縮-云平臺中的節點增刪都是相當方便的，幾乎不影響當前應用以及數據庫的運行數據隔離-各個應用數據在云平臺中是相互隔離的，用戶之間不能查看沒有經過授權的數據數據庫云平臺使用的Oracle軟件資源申請分配自服務門戶統一監控/操作/快速部署平臺中央軟件庫OracleClusterware11g提供OracleCluster提供OracleAutomaticStorageManagementOracleDatabase11gRealApplicationClustersPartitioningetc.OracleEM12c在云平臺中的作用

完全涵蓋應用生命周期的所有階段規劃設置構建測試部署監視管理計量和計費優化自營業務數據庫云平臺

識別所有IT資產決定應用程序、成本模型、策略、角色等數據庫整合規劃集群、數據庫等基礎架構設置設置共享服務應用程序測試（ATS）數據庫測試（RAT）數據庫部署模板測試數據庫脫敏（DataMasking）創建數據子集（Subsetting）自助式資源管理云資源和請求監視

應用程序到磁盤的體系管理集中時間和配置管理最終用戶、業務級、應用程序監視計量資源利用和云使用選擇性地想應用程序所有者、最終用戶和/或業務部門收費優化云性能、容量、QOS、敏捷性、地理位置、人員、成本等OracleEM12c在云平臺中的作用

完全涵蓋應用生命周期的所有階段OracleEM12c在云平臺中的作用

完全涵蓋應用生命周期的所有階段DBaaS的兩種常用方式

可以在一個數據庫集群里面包含這些實現方式SchemaasaService各個應用數據在數據庫中以不同的schema/用戶分隔各個應用采用不同的服務名（ServiceName）連接數據庫數據庫可以對不同的服務進行資源管理，如CPU時間，內存分配等適用于數據量不大、服務承諾級別較低、重要性偏低、資源消耗較少的系統進行整合DatabaseasaService各個應用數據分別存放在獨立的數據庫中各個應用數據有自己的數據庫連接串數據庫可以控制使用當前服務器的CPU和內存資源適用于數據量較大、服務承諾級別較高、重要性偏高、資源消耗較大的系統SchemaasaServiceSchema層多個SCHEMA共享數據庫資源依賴于RAC統一操作系統平臺最高整合粒度：服務器、存儲、OS、數據庫實例最高性能：最少數據庫實例最高ROI：但是需要應用配合改造OSOSDBCluster采編平臺報表管理平臺、展現平臺StoragePool數據庫服務器資源池與存儲資源池

DatabaseServerPools

&StoragePools數據庫云平臺綜合告警

Service

綜合資源ServiceOSS服務器池CRMServiceBSS服務器資源池MSS服務器池空閑資源池DatabaseADatabaseBERPService通過業務策略動態管理數據庫服務資源可以通過制定最大資源、最小資源、重要程度策略等，動態管理服務可用性和服務質量統一管理跨大規模、多主機的復雜數據庫環境，易于實現“大分小”和“下合大”兩種資源管理需求HRServiceCallCenterService帳務Service在資源池內靈活定義服務資源分配計劃OSSBSSMSSFreeOSSBSSMSSFreeRACOneNodeDcpu_count=1RACOneNodeCcpu_count=1RACOneNodeBcpu_count=2RACOneNodeAcpu_count=48coreserver數據庫資源池存儲資源池Instance

Caging技術靈活隔離數據庫實例19Instancecaging允許管理員限制每個例程使用的CPU資源可以防止運行在一個例程中的失控進程影響到運行在服務器上的其它例程當數據庫運行時可以動態調整.?參數cpu_count?支持分割方式和過度配置與ResourceManager一起工作ShareasSchema關鍵點分析CPU資源數據庫中通過ResourceManager對每個應用使用的CPU資源進行控制IO能力數據庫中通過ResourceManager對每個應用使用的IO資源進行控制（11g新功能，只在Exadata或者Oracle存儲設備上提供）數據隔離應用數據存放于同一個數據庫中，數據在Schema層面被隔離。如果沒有經過授權，數據庫用戶只能訪問自己Schema中的內容，而不能訪問其他數據庫用戶下的Schema內容。如果應用程序之間存在數據交互，可以對用戶Schema中的對象單獨進行訪問授權ShareasSchema關鍵點分析存儲劃分所有的存儲都劃分給單一的數據庫，數據庫通過ASM進行存儲管理，分散IO，以及制定冗余策略添加新應用在數據庫中創建新的用戶Schema，提供所使用的數據庫空間資源，并使用ResourceManager進行計算資源規劃數據庫管理通過EnterpriseManager進行集中管理分配計算資源的場景

在現有數據庫中分配計算資源vs新建獨立的數據庫一個新應用需要申請數據庫計算資源，在目前Oracle11g數據庫的平臺上一般會有兩種方法：應用數據將使用現有數據庫的一個新用戶存放（SchemaasaService）應用數據將使用數據庫集群中新建的獨立數據庫來存放數據（DatabaseasaService）建議應用使用數據庫的服務來進行數據庫的連接，一個應用可以對應一個數據庫服務，也可以多個類似的應用對應一個數據庫服務分配計算資源的場景

在現有數據庫中分配計算資源vs新建獨立的數據庫使用哪種方式來分配資源的影響因素應用數據規模需要考量應用的初始數據規模，以及估計的日增/月增數據量。如果應用的初始數據規模已經是超百GB級別，可以考慮單獨建立數據庫方式系統承諾的服務時間有些應用的服務承諾是7×24小時，有些則是5×8，不同服務承諾的應用不建議整合在一起。可以考慮一開始的時候就做兩個數據庫，用于整合兩種不同服務承諾的小型數據庫應用使用數據庫用戶/schema的數量一般數據量不大的小型應用是不需要使用很多數據庫用戶/schema的，在做整合的時候需要考慮是否與現有的用戶/schema重名，出現重名情況可以協調新應用進行簡單修改即可。如果一個應用使用了很多的數據庫用戶/schema，則需要考慮單獨建立數據庫方式云平臺現時設置的兩種數據庫服務級別

測試階段根據自營業務特征設計服務等級銅牌銀牌整合粒度應用數據以新用戶/schema整合到現有數據庫中新建獨立數據庫存放應用數據DB/HA單節點

(集群保障HA)單節點或RAC可靠性90%99%存儲在RAID0+1上的ASM在RAID0+1上的ASM性能要求可接受較高備份整個整合的數據庫統一進行RMAN備份整個數據庫進行RMAN備份恢復可以在統一的備份集中恢復出單個用戶數據進行整個數據庫恢復數據導入導出用戶可以導入導出本用戶以及授權訪問的數據數據可以導入導出限制條件?用戶不能進行數據庫集群操作

?用戶不能進行數據庫起停操作

?用戶不具有DBA權限，不能進行數據庫管理方面操作

?在沒有其他用戶授權的情況下，用戶不能查看其他用戶的數據

?用戶可以導出（exp/expdp）自己以及授權訪問的數據，但不能進行數據庫備份，如果用戶需要從備份集中恢復數據，需要經過集群DBA操作獲得?不能進行數據庫集群操作

?建議留給局方進行統一的數據庫管理、備份等操作云平臺現時設置的數據庫規模級別

測試階段根據自營業務特征設計在新的應用需要分配數據庫資源的時候，綜合考慮應用的規模等級小型/中型/大型數據庫資源分配等級銅牌/銀牌通過EM12c進行統一的資源申請和資源快速分配提供等級CPU

核數內存存儲小型212GB最小200GB中型424GB最小300GB大型848GB最小400GB分配計算資源的場景

在現有數據庫中分配計算資源vs新建獨立的數據庫可以使用下面的表格來進行新增應用的調研，從而決定是在現有數據庫中分配計算資源，還是新建獨立的數據庫應用申請填寫應用名開發商服務承諾

（7×24/5×8/其他）最終用戶數最長停機時間初始數據規模

（GB）估計月增規模

（GB）使用中間件連接（3-tier）

/直接連接數據庫(CS)數據庫用戶/

schema測試環境

/原運行環境

CPU數目和內存數量壓力測試

/原運行

CPU峰值是否需要訪問數據視圖

分配計算資源的場景

在現有數據庫中分配計算資源vs新建獨立的數據庫對調研的結果進行評估應用評估填寫資源提供方式□

在當前數據庫中分配計算資源（SchemaasaService）□

在集群中新建數據庫（DatabaseasaService）審核原因□

較低的服務承諾級別

□

近期數據量規模較低

□

壓力測試/原運行資源消耗較低□

應用需要很高隔離度

□

數據規模較高

□

應用使用大量數據庫用戶且無法減少

□

壓力測試/原運行資源消耗比較高

□

服務承諾級別很高數據庫名□

7×24數據庫

新建數據庫名

□

5×8數據庫

數據庫服務名

數據庫用戶名

數據庫表空間及分配空間

服務資源控制

CPU數目控制

銅牌資源服務分配在EM12c中，通過預先設計好的服務模板，可以實現在現有數據庫中快速分配用戶/schema資源，其中需要填入的信息在現有的哪個數據庫實例上創建新用戶/schema選擇已經創建好的新建schema服務模板資源區域（Zone）名數據庫服務（Service）名用戶/schame名字以及密碼資源控制信息（CPU和內存的配比）詳情參見《EM12c_在現有數據庫中申請計算資源.docx》銀牌資源服務分配在EM12c中，通過預先設計好的服務模板，可以實現在現有數據庫集群中快速創建新的數據庫，其中需要填入的信息選擇已經創建好的新建數據庫模板資源區域（Zone）名操作系統用戶名/密碼新建數據庫名字新建數據庫選件數據庫資源控制參數（如CPU_COUNT等）詳情參見《EM12c_申請一個新的數據庫.docx》DBaaS整合架構

EM12c支持的數據庫版本從10gR2到12c虛擬機共享服務器專用的schema共享服務器，

操作系統和數據庫加強整合力度專用的數據庫共享服務器和

操作系統可插拔數據庫共享服務器，

操作系統和數據庫四種整合架構的比較虛擬機專用數據庫專用Schema可插拔數據庫整合程度低高極高極高維護非常復雜

（VM分配比較雜亂）簡單簡單到復雜

（視資源隔離需求而定）簡單投資回報低

（僅僅是服務器和存儲）高（服務器、存儲和操作系統）極高（服務器、存儲、操作系統和數據庫）極高（服務器、存儲、操作系統和數據庫）隔離度非常好好最少好實施簡單簡單困難簡單應用適合狀況僅適用于有限范圍適用與所有情況需要應用程序隔離適用于所有情況提供數據庫服務的傳統方式

耗時并低效研發申請數據庫獲得數據庫訪問管理層核準DBA申請硬件和存儲資源配置網格架構（GI）和數據庫（DB）系統管理員設置操作系統和網絡存儲管理員分配存儲…耗時從數小時到數周…提供數據庫服務的自助(云)方式

DBaaS在分鐘級別交付數據庫請求IT部門IT部門處理裝配和供應硬件、操作系統和網絡資源DBA安裝Oracle11gR2，GridInfrastructure和RACDBA創建數據庫請求

通過門戶網頁從服務目錄（servicecatalog）中選擇最終用于填寫網頁資料并設置密碼數據庫自動由“云”基礎架構生成傳統方式DBaaS提供數據庫的耗時=從數小時到數周提供數據庫的耗時=僅需數分鐘DBaaS設置的方式概要文件（CreatingaDatabaseProvisioningProfile)UsingSnapshotsUsingRMANBackupUsingExistingRMANBackupUsingDBCATemplateUsingExportSchemaObjects服務模板CreatingServiceTemplateUsingSnapCloneProfileCreateServiceTemplateUsingRMANBackupProfileCreateServiceTemplateUsingDBCATemplateProfileCreatingaServiceTemplateforSchemaasaServiceDBaaS的設置定義角色和分配用戶配置LDAP身份認證配置權限委派客戶化自服務登錄網頁設置PaaS基礎架構設置DBaaS云提供數據庫軟件部署數據庫配置Oracle監聽器注冊和管理存儲服務器DBaaS的設置(Cont.)設置DBaaS自服務門戶創建一個數據庫池配置請求設置設置限額設置Profiles以及服務模板

（ServiceTemplates）適用的Profile包括

SnapClone/RMAN備份/

DBCA模板配置Chargeback適用SchemaasaService

來配置schema運行請求前或請求后的腳本/

運行清理腳本DBaaS的設置(Cont.)使用DBaaS自服務門戶請求數據庫和schema檢視數據庫服務主頁檢視數據庫實例主頁檢視集群數據庫主頁數據庫云資源管理

場景1–新增數據庫集群節點OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)？數據庫云資源管理

場景1–新增數據庫集群節點命令行傳統方式將新增的服務器增加到集群里面，手工執行

$CRS_ORA_HOME/oui/bin/addNode.sh

腳本進行添加將RAC節點擴展到新增的集群機器，手工執行

$ORACLE_HOME/oui/bin/addNode.sh

腳本進行添加EnterpriseManager12c在管理目標中添加新增的服務器通過集群管理頁面，將集群部署到新的服務器，并且擴展RAC節點到新增的集群機器數據庫云資源管理

場景2–新應用申請在現有的數據庫中申請計算資源OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)？SCHEMATABLESPACEQUOTAPREVILEGECPUMEMORY…數據庫云資源管理

場景2–新應用申請在現有的數據庫中申請計算資源命令行傳統方式實現編寫好腳本，根據實際需求在腳本里面進行修改用戶如果需要申請調整計算資源，需要手工報告EnterpriseManager12c提供門戶式管理，應用用戶可以通過自助服務門戶網站提出新的數據庫資源申請，提出當前數據庫資源調整請求數據庫云管理員通過自主服務門戶網站接收申請，通過預設的模板根據實際情況填入各項數值和資源指標，一鍵部署所需要的計算資源數據庫云資源管理

場景3–新應用申請新建數據庫作為計算資源OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)NEWDATABASE？SCHEMATABLESPACEQUOTAPREVILEGECPUMEMORYASMDISKGROUP…數據庫云資源管理

場景3–新應用申請新建數據庫作為計算資源命令行傳統方式實現編寫好腳本，根據實際需求在腳本里面進行修改用戶如果需要申請調整計算資源，需要手工報告EnterpriseManager12c提供門戶式管理，應用用戶可以通過自助服務門戶網站提出新的數據庫資源申請，提出當前數據庫資源調整請求數據庫云管理員通過自主服務門戶網站接收申請，通過預設的模板根據實際情況填入各項數值和資源指標，一鍵部署所需要的計算資源數據庫云資源管理

EM12c提供數據庫云資源管理的更多功能提供集中統一化的管理界面，通過統一的平臺清楚了解各個數據庫的運行情況，對各個數據庫進行日常的管理事項，以及優化SQL語句提高執行效率EM12c提供ChargeBack功能，方便統計對外托管數據庫的使用情況，根據不同的計費模型（按照CPU內存的數量，或者真實使用量）進行計費對于新遷入數據庫云的應用，EM12c提供評估功能，通過收集應用一周或以上的運行情況評估整合之后的系統性能情況OracleRAC架構

Typicalsoftwaredeployment11gRelease2

OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)OracleRAC架構

Typicalsoftwaredeployment11gRelease2

OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)管理平臺數據采編平臺數據展現平臺數據報表數據根據應用設立不同的數據庫用戶，應用數據存放在相應用戶的schema中數據庫用戶根據應用需要進行適當授權，并注意避免權限過大通過ResourceManager為每個系統使用需要制定資源計劃為每個應用設定自己的ServiceName制定每個ServiceName的LoadBalance和Failover策略管理平臺采編平臺展現平臺報表應用應用通過各自的ServiceName連接數據庫使用SCANIP進行連接數據庫OracleRAC架構

Typicalsoftwaredeployment11gRelease2

OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)為每個應用設定自己的ServiceName制定每個ServiceName的LoadBalance和Failover策略OracleRAC架構

Typicalsoftwaredeployment11gRelease2

OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)管理平臺采編平臺展現平臺報表應用應用通過各自的ServiceName連接數據庫使用SCANIP進行連接數據庫OracleMAA架構解決方案SystemFailuresDataFailuresSystemChangesDataChangesUnplanned

DowntimePlanned

DowntimeRealApplicationClustersASM

Flashback

RMAN&OracleSecureBackup

DataGuard

StreamsOnlineReconfiguration

RollingUpgradesOnlineRedefinitionOracleMAABestPracticesOffloadread-onlyqueriestoanup-to-datephysicalstandbyPerformfastincrementalbackupsonaphysicalstandby

/technology/deploy/availability/demonstrations.htmlActiveDataGuard

為生產數據庫提供應急及容災數據庫Real-timeQueriesPhysicalStandbyDatabaseProductionDatabaseContinuousRedoShipping,Validation,andApplyReal-timeReportingFastIncrementalBackupsOracleRAC架構

完整的MAA架構

OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)OracleASMmanaged

SharedStorageOSOSOSOSOracleAutomaticStorageManagement(ASM)

OracleClusterwareOracleRealApplicationClusters(RAC)生產數據庫ActiveDataGuard應急/容災數據庫生產交易類應用只讀類應用EM12c完整的云控制

完整的生命周期管理集成的云堆棧管理業務驅動的應用程序管理自助式IT簡單和自動化業務驅動||IT資產發現

和資源供應初始化發現IT資產，并且將計算資源軟件部署在IT資產上

持續變更管理端到端的補丁、升級、