1、企業級數據模型設計方法論探討1引言數據模型設計是一個老生常談的話題，在以往的數據倉庫BI項目中，數據模型的方法論、概念通常大多圍繞如何設計和建設數據倉庫，而應用系統（OLTP系統）模型設計卻缺乏方法論的指導，加之各應用系統通常都是由不同廠商在不同時期自行設計開發，彼此之間缺乏溝通，導致數據分散重復、口徑不一致和數據兼容性差.由于數據倉庫在企業整體信息化規劃中屬于下游系統，只能被動接收由各應用系統產生的數據，數據入倉之后，由于口徑不一致、兼容性差，給數據整合帶來極大困難。企業在投入大量的人力、物力和資金推進信息化建設，仍然出現大量的“信息孤島”現象。本文認為，企業信息化建設的成功很大程度上取決于

2、系統模型的合理性和不同系統間概念的一致性，而企業級數據模型是企業信息化的核心問題，通過企業級數據模型定義整個企業信息化體系的數據標準，逐步統一企業內部數據標準，指導各應用系統數據模型統一設計，可以從根本上保證系統之間數據的兼容性和一致性，消除由于各應用系統自行設計開發而導致的數據分散重復、口徑不一致和信息孤島現象，推動企業內各類應用系統的整合和數據的共享，全面提升經營決策、運營管理、業務拓展和客戶服務等方面的支撐能力。本文將首先闡述企業級數據模型的定義和結構，分析其業務價值.通過描述企業級數據模型與應用系統模型間關系，劃分兩者之間的概念邊界和區別，從而更好的理解企業級數據模型的真正內涵。其次，

3、闡述了企業級數據模型設計的基本方法和關鍵要點，使讀者能夠掌握企業級數據模型設計的整體思路，以便對后續工作提供借鑒和指導作用。最后，總結了多個項目的經驗教訓，分享企業級數據模型建模過程中的心得體會，希望對大家能有所幫助.2企業級數據模型定義2。1模型基本定義企業級數據模型不能等同于數據倉庫模型，企業級數據模型是站在整個企業業務的視角，對企業全部數據（包括生產數據和消費數據）全貌性、整體性描述。企業級數據模型是業務人員和IT人員進行溝通的媒介、也是企業內部與外部進行交流的紐帶。企業級數據模型是一種建設藍圖，它識別了企業內部跨功能、跨部門、跨組織的共享或冗余數據，為系統的規劃、設計和實施提供一種可視

4、化方式和支撐框架,是企業內部所有應用系統數據模型設計的起點，如ODSEDM系統的設計開發，有助于促進數據整合、消除數據孤島和遺留系統保持一致。企業級數據模型是一個數據集成定義，它不依賴于企業內部某個具體的系統或應用，也跟數據的物理實現無關（包括數據如何獲取、如何存儲、如何處理以及如何訪問）。2。2模型結構企業級數據模型可分解為三個層級：主題域模型、概念模型和邏輯模型。三個層次模型逐級擴展。企業級數據模型的創建更是一種藝術而非一門科學，應集中企業的集體智慧，共同推進企業級數據模型的不斷完善。2。2。1主題域模型企業主題域模型在企業級數據模型中處于第一層次，其覆蓋原則是“有需求才覆蓋”，一個企業的

5、平均主題域數量通常在1020之間。?主題域模型內涵主題（Subject）是在較高層次上將企業的數據進行綜合、歸類和分析利用的抽象概念，每一個主題通常對應一個宏觀的業務分析領域.主題域是對某個主題進行分析后確定的主題邊界。典型的主題域包括參與人、廠品、協議等。主題域模型處于企業級數據模型的頂層，是針對企業關鍵業務領域、業務概念的分類方法和框架。?主題域模型特征看似簡單的主題域模型實際上凝聚了企業內部中高層管理者的共識，因而需要耗費較長時間進行充分的溝通和交流；主題域模型的價值在于企業內部對業務的理解深度，以及體現企業內部各方達成的協議。2。2.2概念模型企業概念模型在企業級數據模型中處于第二層次

6、，將每個主題域進一步細分為“概念"，通常每個主題域包括1020個“概念”。企業概念模型由概念以及概念之間的關聯關系組成。?概念內涵“概念”是對主題域、主題域范圍的進一步定義和細化；“概念”描述了企業生產和消費的核心業務信息，獨立于具體的實現問題和細節；“概念”應基于企業的主要業務，應由企業主要業務驅動“概念”定義；“概念”的要點在于表現企業重要的業務視角，而不是數據量的大小；“概念”還需考慮行業的適用性，如包括供應商、合作伙伴以及外部引用數據的概念。?概念模型特征概念模型是一種高階數據模型，以實體一關系（Entity一Relationship,簡稱ER）理論為基礎，通過主題域形式描述

7、概念化的結構；概念模型是對主題域模型的進一步細化。概念模型定義了企業內主要業務實體及實體間的業務關系。概念模型不描述業務實體的數據屬性實體之間可能存在多對多關系，不對數據進行范式化處理。2。2。3邏輯模型企業邏輯模型在企業級數據模型中處于第三層次，并將每個概念進一步細分為“邏輯實體”。企業邏輯模型由邏輯實體、業務主鍵、關聯關系和重要屬性組成。?邏輯模型特征邏輯模型是對概念模型的進一步分解和細化，通過關鍵數據屬性描述更多業務細節邏輯模型描述實體、屬性以及實體關系邏輯模型只包含關鍵數據屬性，而不是全部實體和全部屬性。關鍵數據屬性是指那些如果缺失而導致企業無法正常運轉的屬性，但這種判斷通常是非常主觀

8、的決定。設計時一般遵從“第三范式”，以求達到最小的數據冗余，維護數據的完整性和可擴展性檢查數據模型是否符合第三范式要求，有如下三條檢驗標準：?主鍵是唯一的，不具有多義性.?每個非主屬性必須完全依賴于整個主鍵，而非主鍵的一部分。?關系模式中不存在傳遞依賴。邏輯模型獨立于具體技術，是IT人員和業務人員溝通的工具2。3企業級數據模型的業務價值企業信息化建設的目的是通過運用信息化技術來提高企業的生產、運營效率,降低運營風險和經營成本，從而增加企業盈利和持續經營的能力。企業級數據模型定義了企業信息化體系的數據標準，是企業內部各應用系統能夠實現相互協作、共享數據的前提，是企業信息化建設成功的必要條件，它的

9、業務價值體現在以下幾個方面：?提升數據質量。企業現有系統在與企業級數據模型映射過程中，能夠暴露系統之間數據的差異性、內在的冗余數據，可以將許多潛在的數據質量問題在正式實施之前予以暴露、并解決。?理清數據所有權.通過將跨業務、跨組織邊界的企業數據之間的關聯關系、依賴關系進行識別、并文檔化，企業級數據模型可以作為數據所有權管理工具，支持“共享”數據所有權的概念.?增強系統的可擴展性。企業級數據模型支持可擴展性的數據架構，基于戰略業務視角，獨立于具體的技術實現，支持可擴展性。能以很小的IT變更代價適用不斷變化的環境。?整合行業數據.企業級數據模型吸收了企業外部視角，結合行業數據集成框架，提高了企業的

10、行業數據適用性，從而提升了企業共享行業公用數據的能力，如客戶、位置、供應商等基礎數據.企業也可以與相關行業或合作伙伴共享數據。?整合套裝應用軟件.通過將套裝應用軟件映射到企業級數據模型中，提升了企業級數據模型在企業內部的匹配度，并能識別出套裝應用軟件和遺留系統之間的集成點，通過打包產品提供一致性、高質量的數據流轉地圖。2.4企業級數據模型與應用系統數據模型間關系企業級數據模型是企業內部所有應用系統數據模型設計的起點.企業級數據模型與應用系統數據模型之間的關系表現在以下三個方面：?企業級數據模型是企業內所有應用系統的基礎數據模型。在構建企業數據存儲架構（ODSDW數據集市和應用）之前，首先要基于

11、企業級數據模型中的企業邏輯模型創建一個應用級邏輯模型，而該模型是企業邏輯模型的子集，因此，企業邏輯模型是所有數據存儲架構的基礎模型。企業邏輯儂企業遇軻數據模型m!H-lJ：J1瓢般;要求碓.1I>w£曲城說滔的明密型用B模應級輯型tillVill門版升標*求DWKHW邏輯數咽里卡造曜邏涓敷布;K型KSS域邏弼敬櫥作中7全鵬做期也隼i'j應川樂，亢留花上小物理模型小卬于吃第J，T隹除件中曷JW5勢巾物周恒番H偌*廣，04憚即?數據架構框架.企業級數據模型為企業數據設計和數據存儲提供了一個數據架構框架，以支撐數據質量、可擴展性和完整性。業務數據需求和數據源（遺留系統）為企業

12、的數據設計提供“裝修材料".這些“裝修材料”以屬性的形式“填充”到企業邏輯模型框架中。?數據“粘合劑”.企業級數據模型為企業提供了一個數據集成框架，所有的應用級邏輯模型都可以被映射到企業邏輯模型中，企業級數據模型就像“膠水”，將企業內部所有數據連接在一起，包括套裝應用軟件。3企業級數據模型設計3.1模型設計方法企業級數據模型設計可采用“業務需求驅動自頂向下”和“基于現狀驅動自底向上"相結合模式，參照業界參考模型、行業最佳實踐，共同形成數據模型。從業務需求驅動入手自頂向下，參照業界參考模型、行業最佳實踐搭建數據模型整體框架通過現狀調研獲取企業內部業務流程、設計文檔、系統模型、

13、接口規范等現狀信息，現狀驅動自底向上，細化和完善數據模型的設計3。2模型設計要點本文不討論企業級數據模型設計的具體細節，只討論建模過程中的關鍵步驟和要點。企業級數據模型設計總體可分為四個步驟：前期準備、主題域模型設計、概念模型設計、邏輯模型設計。前期準備數據建模通用流程主題域模型(SAM)i，務語第統的術業資人員策四步技術人員笄二)中兩層管理人員第二步業務人員技術人員3。2。1前期準備在企業內部，涉及多個業務部門，對于一個業務問題通常會有多個不同的觀點和看法，每個相關人員需要理解和溝通各自的觀點和看法。為了闡明和溝通我們的觀點，我們需要理順企業內部所有核心術語定義以及術語定義的關系，形成一個精

14、確的和公認的術語詞典表。因此，在構建企業級數據模型之前，需要在企業范圍內統一業務術語，在后續建模過程中給相關人員提供一個溝通的基礎.LogicalPhysical/technical3.2.2主題域模型設計主題域模型設計凝聚了企業內部中高層管理者的共識，是企業內部各方相互妥協后達成的協議。主題域模型設計過程中注意以下幾個要點：?設計依據設計依據來源于三個方面：立足需求和現狀、行業最佳實踐和業界理論支撐立足需求和現狀。基于企業業務整體發展的需求以及行業監管要求，在企業范圍內開展業務調研、信息調研獲取企業的當前現狀信息，作為主題域模型設計的輸入信息。行業最佳實踐。借鑒國際、國內本行業相關企業的實踐

15、經驗以及相關工作成果。了解相關企業在數據建模過程中所取得的成就和經驗教訓確保企業在建模過程中少走彎路.業界理論支撐。參考業界通用數據模型設計思路，推動業界參考模型產品的客戶化處理。通常，每個行業都會有本行業的參考模型，例如：金融行業典型的參考模型包括TDFS-LDMffiIBMFSDM1型;通信行業典型參考模型包括NGOSSSID模型。?關鍵要點設計過程需要整個企業內部各個部門的廣泛參與，有助于形成合力、達成共識。業務專家的深度參與和親臨指導，有助于識別、理解組織架構和業務功能；主題域的定義和命名過程很重要，它有助于覆蓋企業的重要業務主題，避免重大遺漏；主題域名稱應該清晰、簡潔、易于理解；3。

16、2。3概念模型設計概念模型設計是從企業角度出發，采用“自上而下”的開發模式。不局限于某個特定業務領域或應用.概念模型設計過程中注意以下幾個要點：?兩個關鍵步驟識別各主題域下的關鍵實體，對關鍵實體再進行細分類。識別關鍵實體及其分類之間的關聯關系建立概念模型過程中必須得到業務領域專家和業務負責人的指導，并由業務用戶提供模型的應用需求.模型設計師完成初步設計以后，需通過多輪會議，由業務領域專家、相關主題域的專家驗證本主題域概念是否符合要求；會議過程中，概念模型初稿暴露出的概念重疊、沖突或其它關注的問題都將應記錄下來，由模型設計師繼續調整模型，概念模型的最終成稿通常需經歷多輪迭代，迭代次數取決于概念模

17、型的復雜程度和發現問題的數量.3.2o4邏輯模型設計邏輯模型基于概念模型進行擴展，包括擴充邏輯實體、提取關鍵數據屬性、業務規則、值域填充到邏輯模型當中，它是業務人員、IT人員用來發現、記錄和溝通業務的詳細“藍圖”。邏輯模型設計過程中注意以下幾個要點：?邏輯模型承載著企業數據標準。通過邏輯模型中的實體、關鍵屬性等可以有效地承載數據標準的內容，并傳遞到應用系統模型設計中。?邏輯模型承載著業務數據規則。基數規則。例如：定義與兩個實體間關系相關的某個實體的實例數量譬如下圖表示“一個客戶可以在銀行有多個存款賬號，最多有一張白金理財卡”。基數規則有“一對一、一對多、多對多”三種類型。參照性規則。例如：為確

18、保正確有效的數值所定義的規則。譬如下圖表示“存款不能沒有存款客戶，必須要有一個存款人客戶編號F1客戶右處辛白金理財卡I白金理.卡號j號戶編號(FK)?邏輯模型承載著企業數據質量規則，通過邏輯模型，可以了解數據質量要求,提前數據質量的管控或檢測，做到提前預防不合規的數據提交給下游數據使用者針對前頁的業務數據規則，可以對系統中數據進行如下質量規則的檢查。例如：檢查是否存在持有多張(大于1張)白金理財卡的客戶；檢查是否存在沒有存款人的存款帳戶存在。結合邏輯模型中實體屬性的域定義的格式、取值范圍等，在系統模型設計時繼承該實體屬性的質量檢測管控，防止不合乎標準的數據進入系統。?關鍵要點模型設計師創建邏輯

19、模型的初始版本，通過工作會議的形式，由業務領域專家進一步驗證邏輯模型的完整性和準確性；邏輯模型的設計過程需要多輪迭代，迭代次數取決于實體概念的數量、業務的復雜程度或者發現問題的數量。4心得體會與總結本人先后參與了金融數據模型、征信數據模型等多個大型企業的數據模型設計項目，具有扎實的理論基礎和豐富的數據模型設計實踐經驗.通過總結項目期間的經驗和教訓，分享建模過程中的心得體會，希望對大家能有所幫助。?企業級數據模型設計應以“自頂向下”方法為主，應通過中高層訪談、規劃研讀等方式，充分理解公司發展戰略目標、業務規劃和信息化規劃,以便站在企業整體業務視角上，洞察企業數據的全貌性和整體性；?在模型設計工作開始之前，應首先推動在企業范圍內形成統一的業務術語詞典，統一業務術語定義，“磨刀不誤