




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
數(shù)據(jù)倉(cāng)庫(kù)層次結(jié)構(gòu)規(guī)范一. 數(shù)據(jù)倉(cāng)庫(kù)層次結(jié)構(gòu)規(guī)范基本分層結(jié)構(gòu)系統(tǒng)的信息模型從存儲(chǔ)的內(nèi)容方面可以分為,STAGE接口信息模型、ODS/DWD信息模型,MID信息模型、DM信息模型、元數(shù)據(jù)信息模型。在各個(gè)信息模型中存儲(chǔ)的內(nèi)容如下描述:層(對(duì)應(yīng)原來數(shù)據(jù)模型的接口層信息模型:ETLSTAGE層存在的意義在于兩點(diǎn):對(duì)數(shù)據(jù)源作統(tǒng)一的一次性獲取,數(shù)據(jù)倉(cāng)庫(kù)中其他部分都依賴于ODS/DWD(對(duì)應(yīng)原模型的ODS和DW層信息模型層ODS/DWDMID信息模型DWDDWD的數(shù)據(jù)來源于生產(chǎn)型系統(tǒng),并為滿足一些不可預(yù)見的需求而進(jìn)行沉淀; DM信息模型DWDMIDMDW首先,元數(shù)據(jù)能提供基于用戶的信息,如記錄數(shù)據(jù)項(xiàng)的業(yè)務(wù)描述信息的元數(shù)據(jù),:(1)描述哪些數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中;(2)定義要進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)和從數(shù)據(jù)倉(cāng)庫(kù)中產(chǎn)生的數(shù)據(jù);(3)記錄根據(jù)業(yè)務(wù)事件發(fā)生而隨之進(jìn)行的數(shù)據(jù)抽取工作時(shí)間安排;(4)記錄并檢測(cè)系統(tǒng)數(shù)據(jù)一致性的要求和執(zhí)行情況;(5)衡量數(shù)據(jù)質(zhì)量。各層物理表前綴在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)時(shí),至少應(yīng)該具備以下物理幾層:聯(lián)通數(shù)據(jù)模型規(guī)范要求的層次數(shù)據(jù)中心物理模型層次名稱物理表前綴維度數(shù)據(jù)層DIM_數(shù)據(jù)集市層(DM)展示層DM_主題域DW_F_輕度匯總層(MID)輕度匯總層DW_M_細(xì)節(jié)數(shù)據(jù)層(ODS/DWD)細(xì)節(jié)數(shù)據(jù)層DW_V_接口層(STAGE)接口層SRC_數(shù)據(jù)庫(kù)對(duì)象命名規(guī)范所象名均英文字母劃線或數(shù)來命名得頭。用戶用戶名相似的英文,表空間或多個(gè)理文件也應(yīng)有開用和提應(yīng)速以上從邏輯上分出的各數(shù)據(jù)層應(yīng)當(dāng)在數(shù)據(jù)庫(kù)中用戶實(shí)現(xiàn)其分離,規(guī)定如下:數(shù)據(jù)層名稱用戶物理表備注接口層SRCSRC沉淀數(shù)據(jù)層DWDW_V,DW_M,DW_F數(shù)據(jù)集市層DMDM_元數(shù)據(jù)層MDWMDW_目前未設(shè)計(jì)維度數(shù)據(jù)層DIMDIM_數(shù)據(jù)庫(kù)表空間,原構(gòu)為準(zhǔn)作前綴單大帶或者ODS/DWD數(shù)據(jù)量單太大分和原議單800G議值4G。數(shù)據(jù)表空間數(shù)據(jù)倉(cāng)庫(kù)分層結(jié)構(gòu)用戶表空間名數(shù)據(jù)文件/裸設(shè)備STAGSRCTBS_STAG001……TBS_STAGXXX2G=<單設(shè)備文件<=8G,建議值:4GODS/DWDDWTBS_DWV001,……,TBS_DWVXXXdw_v的表INDX_TBS_DWV索引表空間TBS_DWM001,dw_m的表……,TBS_DWMXXXINDX_TBS_DWM索引表空間TBS_DWF001dw_f的表INDX_TBS_DWFDWF索引MIDMIDTBS_MID同上DMDMTBS_DM同上INDX_TBS_DMDM索引MDWMDWTBS_MDW同上DIMDIMTBS_DIM同上數(shù)據(jù)庫(kù)表命名規(guī)范表名長(zhǎng)超字符名中有單能表內(nèi)容的一個(gè)多個(gè)英文,多個(gè)分割,單詞如過長(zhǎng)縮寫式。命名規(guī)則如下:表的類型前綴層次說明示例維度表DIM_DIMDIM_+主鍵客戶視圖DW_V_USER_DW_M_USERDW三個(gè)視圖產(chǎn)品視圖DW_V_PROD_DW_M_PROD_DW市場(chǎng)營(yíng)銷視圖DW_V_MART_DW_M_MART_DW發(fā)展域DW_F_DEV_DW8個(gè)主題域根據(jù)業(yè)務(wù)具體分為:移DW_F_DEV_M_智能網(wǎng)DW_F_DEV_I_數(shù)固DW_F_DEV_D_收入域DW_F_INCO_DW同上使用域DW_F_USE_DW同上增值域DW_F_INC_DW成本域DW_F_COST_DW資源域DW_F_RES_DW競(jìng)爭(zhēng)域DW_F_COMP_DW服務(wù)域DW_F_SERV_DW數(shù)據(jù)庫(kù)分區(qū)表規(guī)范對(duì)于海量數(shù)據(jù)表要考慮設(shè)計(jì)為分區(qū)表。一般情況應(yīng)該采用“月份”作為分區(qū)。分區(qū)的名稱應(yīng)該如“PART200504”這樣的形式。如按日建子分區(qū),子分區(qū)名稱形式如下:PART200504_SUBPART_01數(shù)據(jù)庫(kù)表索引命名以IDX+表名+一位流水號(hào).例:IDX_ODS_BUSI_USER_1;如果表名過長(zhǎng)可以使用縮寫形式數(shù)據(jù)庫(kù)表鍵值主鍵命名以PK+表名+一位流水號(hào)(1~9).例:PK_DEPT_1;如果表名過長(zhǎng)可以使用縮寫形式外鍵命名以FK+表名+一位流水號(hào)(1~9).例:FK_DEPT_1;如果表名過長(zhǎng)可以使用縮寫形式數(shù)據(jù)庫(kù)字段命名規(guī)范數(shù)據(jù)庫(kù)字名中含能或多個(gè)英單詞下劃線分割單詞如過長(zhǎng)形式。一些基本字段名示例:用戶idUSER_NO用戶USER_COUNTS話單CDR_NUM通話時(shí)CALL_DURATION計(jì)費(fèi)次MOBILE_TIMES每個(gè)字段必須有注釋,并且在生成SQL腳本時(shí)一并生成,創(chuàng)建表時(shí)必須創(chuàng)建注釋。保持字段名和類型的一致性,同一字段名在不同表中必需保持同一數(shù)據(jù)類型。數(shù)據(jù)類型長(zhǎng)度在定義時(shí)應(yīng)稍大于目前標(biāo)準(zhǔn)的長(zhǎng)度,用空間來?yè)Q取將來變更帶來的不便。數(shù)據(jù)庫(kù)存儲(chǔ)過程規(guī)范則:P_注釋,范:每一存儲(chǔ)過程均應(yīng)記錄執(zhí)行存儲(chǔ)過程的日志信息。必須調(diào)用專用寫日志的存儲(chǔ)過程,同時(shí)有exception時(shí)的處理機(jī)制。范修改時(shí)應(yīng)注釋清楚修改人,修改日期,修改原因和修改內(nèi)容。數(shù)據(jù)庫(kù)函數(shù)命名規(guī)范函數(shù)命名規(guī)則F_功能,比如F_TRAN_AREA。據(jù)庫(kù)觸發(fā)器的命名規(guī)范觸發(fā)器以TR作為前綴,觸發(fā)器名為相應(yīng)的表的別名加上后綴,INSERT觸發(fā)器加‘_INSERTDeleteDELETEUpdate‘_UPDAETRCUST_ISERT序列命名規(guī)范序列以S作為前綴,序列命名規(guī)則為S_字段別名。二. 實(shí)施流程規(guī)范(完善中(1)對(duì)實(shí)施計(jì)的規(guī)劃(2)計(jì)設(shè)計(jì)實(shí)施方案(包括統(tǒng)一模型的修改)。具體實(shí)施過程。對(duì)實(shí)施結(jié)果測(cè)試。對(duì)實(shí)施過程中收集到的相關(guān)信息(系統(tǒng)需求、實(shí)施中遇到的問題和測(cè)試結(jié)果等)反饋到相關(guān)部門和人員。三. 數(shù)據(jù)庫(kù)安全管理規(guī)范為了規(guī)范管理,做好經(jīng)營(yíng)分析數(shù)據(jù)倉(cāng)庫(kù)的安全管理工作,實(shí)現(xiàn)不同的責(zé)任人不同的層次,將用戶權(quán)限盡可能的管理起來同時(shí)又不影響正常工作,需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行安全管理。數(shù)據(jù)庫(kù)安全管理從以下幾個(gè)方面來進(jìn)行:用戶組管理對(duì)用戶進(jìn)行分類,目前經(jīng)營(yíng)分析應(yīng)用用戶可以分為如下幾部分前臺(tái)程序發(fā)人員數(shù)據(jù)庫(kù)開數(shù)據(jù)庫(kù)管理人員由項(xiàng)目經(jīng)理和數(shù)據(jù)經(jīng)理來掌控,一般情況下不得使用DBA角色登陸數(shù)據(jù)庫(kù)。數(shù)據(jù)人員使用數(shù)據(jù)庫(kù)開發(fā)人員角色登陸,每個(gè)數(shù)據(jù)人員一個(gè)用戶,歸屬數(shù)據(jù)庫(kù)開發(fā)人員組。前臺(tái)程序開發(fā)人員,由界面開發(fā)人員使用,可以查看所有的表,但是無法進(jìn)行DDL操作。外部使用人員,主要是面向聯(lián)通用戶和臨時(shí)用戶用戶權(quán)限設(shè)定響定原越小越好。用戶密碼管理對(duì)用戶密碼進(jìn)行限制,必須由2位以上數(shù)字,2位以上字符,2位以上特殊字符組成不允許用戶密碼和用戶名同名不允許用戶密碼和用戶名相似用戶資源管理除了系統(tǒng)使用的用戶(SRC/ODS/DW)等外對(duì)用戶使用的系統(tǒng)資源進(jìn)行限定限定用戶使用內(nèi)存IP限定對(duì)于普通用戶,實(shí)行IP和用戶名綁定的策略對(duì)于外部開放用戶,要進(jìn)行IP申請(qǐng),由數(shù)據(jù)經(jīng)理或者項(xiàng)目經(jīng)理審核通過后予以開通數(shù)據(jù)庫(kù)監(jiān)控?cái)?shù)據(jù)庫(kù)監(jiān)控,主要對(duì)以下幾個(gè)方面進(jìn)行監(jiān)控:數(shù)據(jù)庫(kù)空間占用率查看目前各空間占用情況數(shù)據(jù)庫(kù)的無效索引查看目前數(shù)據(jù)庫(kù)中的索引情況數(shù)據(jù)庫(kù)的無效對(duì)象查看目前數(shù)據(jù)庫(kù)的對(duì)象有效性,主要針對(duì)腳本數(shù)據(jù)庫(kù)表分區(qū)的是否到達(dá)限額查看是否有表分區(qū)不滿足需求的情況,這項(xiàng)監(jiān)控根據(jù)具體需求來數(shù)據(jù)庫(kù)內(nèi)存占用情況查看目前數(shù)據(jù)庫(kù)內(nèi)存的占用情況DDL語(yǔ)句的監(jiān)控查看各種DDL語(yǔ)句的使用情況,記錄操作者的IP,時(shí)間,用戶名等情況特定DML語(yǔ)句的監(jiān)控對(duì)某些特定的重要的數(shù)據(jù)庫(kù)對(duì)象,記錄DML操作的歷史數(shù)據(jù)庫(kù)審計(jì)語(yǔ)句審計(jì)(StatementAuditing)對(duì)預(yù)先指定的某些SQL語(yǔ)句進(jìn)行審計(jì)。這里從SQL語(yǔ)句的角度出發(fā),進(jìn)行指定。審計(jì)只關(guān)心執(zhí)行的語(yǔ)句。例如,auditCREATETABLE;命令,就表明對(duì)"createt
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 貨物交易免責(zé)協(xié)議書范本
- 貸款訂單轉(zhuǎn)讓協(xié)議書模板
- 2025年大學(xué)化學(xué)試題理解與運(yùn)用試題及答案
- 《Part I》獲獎(jiǎng)教案下載七年級(jí)上冊(cè)初中英語(yǔ)北師大版
- 玻璃鋼航空警示球不同顏色的含義是什么
- 2025年理療師考試試題及答案
- 26屆化學(xué)初賽試題及答案
- 商業(yè)房意向協(xié)議合同協(xié)議
- 懷孕上班安全協(xié)議書模板
- 商業(yè)經(jīng)營(yíng)服務(wù)合同協(xié)議
- 供應(yīng)商的準(zhǔn)入管理
- 遼寧省名校聯(lián)盟2025屆高三高考模擬(調(diào)研卷)(四)數(shù)學(xué)試題
- 武漢2025屆高中畢業(yè)生二月調(diào)研考試數(shù)學(xué)試題及答案
- 小學(xué)數(shù)學(xué)六年級(jí)下冊(cè)-比例練習(xí)題(附帶答案及詳細(xì)解析)
- 物業(yè)財(cái)務(wù)知識(shí)培訓(xùn)課件
- 新媒體技術(shù)應(yīng)用 課件 5.1.1易企秀如何制作H5
- 第四單元 社會(huì)爭(zhēng)議解決(大單元教學(xué)設(shè)計(jì))高二政治同步備課系列(統(tǒng)編版選擇性必修2)
- 如何正確佩戴安全帽
- 【高考真題】2022年新高考物理真題試卷-河北卷(含答案)
- 社保系統(tǒng)保密培訓(xùn)
- 2024年中考物理試題分類匯編:浮力及其應(yīng)用(原卷版 )
評(píng)論
0/150
提交評(píng)論