*歐陽(yáng)光明*創(chuàng)編*歐陽(yáng)光明*創(chuàng)編2021.03.07集團(tuán)主數(shù)據(jù)管理解決計(jì)劃1.歐陽(yáng)光明(2021.03.07)2.基本概念?主數(shù)據(jù)：是用來(lái)描述企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，例如客戶(hù)、供應(yīng)商、物料、產(chǎn)品、員工、組織等。主數(shù)據(jù)是具有高業(yè)務(wù)價(jià)值的，應(yīng)在企業(yè)內(nèi)跨越各個(gè)業(yè)務(wù)部分被重復(fù)使用的數(shù)據(jù)，并且存在于多個(gè)異構(gòu)的應(yīng)用系統(tǒng)中。?主數(shù)據(jù)管理：包含一整套用于生成和維護(hù)主數(shù)據(jù)的規(guī)范、技術(shù)，完整的平臺(tái)包含元數(shù)據(jù)管理，信息系統(tǒng)集成、ETL技術(shù)、數(shù)據(jù)倉(cāng)庫(kù)/闡發(fā)、ESB等組件和技術(shù)?！鯡SB(企業(yè)辦事總線)：將不合系統(tǒng)的業(yè)務(wù)籠統(tǒng)成事件或辦事，以基于消息內(nèi)容的形式，通過(guò)協(xié)議轉(zhuǎn)換、消息過(guò)濾、事件路由，對(duì)多個(gè)系統(tǒng)不合的事件進(jìn)行整合。需求概述為滿(mǎn)足集團(tuán)業(yè)務(wù)成長(zhǎng)，提高集團(tuán)信息化管理水平，為核心業(yè)務(wù)系統(tǒng)搭建基礎(chǔ)的主數(shù)據(jù)管理平臺(tái)，有效解決異構(gòu)系統(tǒng)間的主數(shù)據(jù)唯一性、一致性和共享性問(wèn)題。現(xiàn)狀描述現(xiàn)目前公司的核心業(yè)務(wù)主數(shù)據(jù)存儲(chǔ)于多套不合的業(yè)務(wù)系統(tǒng)中，包含AJX、HR、金蝶財(cái)務(wù)等等，招致的問(wèn)題主要有以下幾個(gè)方面：沒(méi)有規(guī)范的管理要求：招致不合系統(tǒng)使用時(shí)達(dá)不到管理要求，甚至重復(fù)管理同一數(shù)據(jù)(組織，客戶(hù)、人員等)；沒(méi)有標(biāo)準(zhǔn)的規(guī)則界說(shuō)：主數(shù)據(jù)到了不合的系統(tǒng)可能就變了名字或編碼，直接招致不合業(yè)務(wù)系統(tǒng)的數(shù)據(jù)無(wú)法共享；沒(méi)有統(tǒng)一的共享平臺(tái)：系統(tǒng)與系統(tǒng)間建立點(diǎn)對(duì)點(diǎn)的連接，當(dāng)系統(tǒng)增多的時(shí)候，這樣的關(guān)系結(jié)構(gòu)會(huì)更加混亂，如下圖：＊實(shí)線暗示已實(shí)現(xiàn)自動(dòng)同步，虛線暗示人工添加、導(dǎo)入。以上3點(diǎn)，直接影響新建信息系統(tǒng)時(shí)，沒(méi)有統(tǒng)一的接口標(biāo)準(zhǔn)可以調(diào)用主數(shù)據(jù)，而新系統(tǒng)要么手工維護(hù)多個(gè)系統(tǒng)相同的數(shù)據(jù)，要么單獨(dú)為每套系統(tǒng)開(kāi)發(fā)接口去適配。5.解決計(jì)劃5.1.實(shí)現(xiàn)思路基于現(xiàn)狀闡發(fā)，可通過(guò)搭建主數(shù)據(jù)倉(cāng)庫(kù)，利用ESB平臺(tái)建立各業(yè)務(wù)系統(tǒng)間的連接，實(shí)現(xiàn)主數(shù)據(jù)的CRUD管理。主數(shù)據(jù)倉(cāng)庫(kù)：主要涉及以下幾方面作用匯總、存儲(chǔ)分公司AJX主數(shù)據(jù)；建立分公司AJX主數(shù)據(jù)的對(duì)應(yīng)關(guān)系；建立系統(tǒng)間主數(shù)據(jù)的對(duì)應(yīng)關(guān)系；倉(cāng)庫(kù)中存儲(chǔ)的主數(shù)據(jù)其實(shí)不涉及其它業(yè)務(wù)系統(tǒng)的主數(shù)據(jù)，此處僅匯總分公司AJX系統(tǒng)的主數(shù)據(jù)，并建立與其它業(yè)務(wù)系統(tǒng)的主數(shù)據(jù)*歐陽(yáng)光明*創(chuàng)編*歐陽(yáng)光明*創(chuàng)編2021.03.07對(duì)應(yīng)關(guān)系。ESB平臺(tái)：擔(dān)任主數(shù)據(jù)倉(cāng)庫(kù)的CRUD維護(hù)；創(chuàng)建接入系統(tǒng)的資源公共接口（WebService、REST、數(shù)據(jù)庫(kù)等），供系統(tǒng)之間的資源調(diào)用；確保主數(shù)據(jù)在各系統(tǒng)間的唯一性。主數(shù)據(jù)評(píng)估從數(shù)據(jù)的關(guān)鍵性、共享水平、應(yīng)用規(guī)模等方面，建立主數(shù)據(jù)的特性評(píng)估流程。凡合適主數(shù)據(jù)特性的業(yè)務(wù)對(duì)象，均納入主數(shù)據(jù)倉(cāng)庫(kù)管理。初始數(shù)據(jù)導(dǎo)入根據(jù)界說(shuō)好的主數(shù)據(jù)對(duì)象和特征字段（可識(shí)另外關(guān)鍵字段，其中來(lái)源公司、來(lái)源系統(tǒng)為必須字段），使用ETL從各分公司AJX業(yè)務(wù)系統(tǒng)中抽取，并以不合的業(yè)務(wù)對(duì)象分類(lèi)存儲(chǔ)。由于以往各分公司的主數(shù)據(jù)自力，在此過(guò)程中還需要處理以下問(wèn)題：a）在倉(cāng)庫(kù)中新增不合對(duì)象的編碼規(guī)則，并與該對(duì)象所在公司、原有編碼做對(duì)應(yīng)；b）根據(jù)主數(shù)據(jù)的字段結(jié)構(gòu)，合其實(shí)不合公司的相同數(shù)據(jù)記錄，將相同數(shù)據(jù)的原有編碼與新的編碼做多對(duì)一關(guān)聯(lián)；其它系統(tǒng)的數(shù)據(jù)可根據(jù)前面界說(shuō)的主數(shù)據(jù)特性評(píng)估，以決定是否需要納入主數(shù)據(jù)倉(cāng)庫(kù)管理，例如HR系統(tǒng)的人員信息。共享平臺(tái)搭建主要工作在ESB與各系統(tǒng)的接口處理，可分為兩個(gè)階段的工作內(nèi)容：*歐陽(yáng)光明*創(chuàng)編2021.03.07階段一階段一：建立與各應(yīng)用系統(tǒng)的連接，梳理業(yè)務(wù)涉及的數(shù)據(jù)庫(kù)邏輯，并根據(jù)系統(tǒng)自身提供的接口（或直連數(shù)據(jù)庫(kù)），將系統(tǒng)的資源或業(yè)務(wù)籠統(tǒng)成可供外部調(diào)用的API。階段二階段二：以基于業(yè)務(wù)的形式創(chuàng)建事件流程，包含流程各節(jié)點(diǎn)與不合業(yè)務(wù)系統(tǒng)的接口連接，涉及的協(xié)議轉(zhuǎn)換和消息內(nèi)容處理。5.1.4.維護(hù)更新平臺(tái)建立之后，后續(xù)主要工作集中在：1）對(duì)新增主數(shù)據(jù)的編碼規(guī)則、字段建立，映射關(guān)系導(dǎo)入；2）業(yè)務(wù)調(diào)整后，業(yè)務(wù)系統(tǒng)邏輯梳理及ESB平臺(tái)接口、流程修改；3）新增業(yè)務(wù)系統(tǒng)，ESB平臺(tái)的接□實(shí)現(xiàn)；5.2.應(yīng)用場(chǎng)景5.2.1.離職員工賬號(hào)以公司OA系統(tǒng)流程為例，當(dāng)有員工離職的流程審批通過(guò)后，ESB平臺(tái)接收到該離職員工的特征信息消息，根據(jù)預(yù)先界說(shuō)的事件流程，拜訪接入的AJX、金蝶、報(bào)表辦事器等系統(tǒng)API,停用離職員工在該系統(tǒng)的賬號(hào)（需先建立該員工主數(shù)據(jù)庫(kù)記錄與各系統(tǒng)的記錄對(duì)應(yīng)關(guān)系）。無(wú)法接入的系統(tǒng)（VPN賬號(hào)，OA流程申請(qǐng)關(guān)聯(lián)員工是否有賬號(hào)），可通過(guò)ESB平臺(tái)調(diào)用消息接□（短信、微信等）或觸發(fā)OA流程，通知相關(guān)人員處理。*歐陽(yáng)光明*創(chuàng)編2021.03.07*歐陽(yáng)光明*創(chuàng)編*歐陽(yáng)光明*創(chuàng)編2021.03.07*歐陽(yáng)光明*創(chuàng)編*歐陽(yáng)光明*創(chuàng)編2021.03.075.2.2.客戶(hù)資料管理5.2.2.a）歷史客戶(hù)導(dǎo)入使用ETL從AJX系統(tǒng)導(dǎo)入客戶(hù)特征信息到主數(shù)據(jù)倉(cāng)庫(kù)，并新增唯一的主數(shù)據(jù)編碼與原編號(hào)做對(duì)應(yīng)關(guān)系，不合公司相同客戶(hù)建多對(duì)一關(guān)系，但只在客戶(hù)庫(kù)中存儲(chǔ)一條記錄。如其它系統(tǒng)也收集客戶(hù)資料，同樣使用ETL導(dǎo)入主數(shù)據(jù)倉(cāng)庫(kù)，已存在的客戶(hù)僅增加對(duì)應(yīng)關(guān)系；不存在的則增加主數(shù)據(jù)編碼及對(duì)應(yīng)關(guān)系。b）客戶(hù)新增無(wú)論從哪套系統(tǒng)增加客戶(hù)（能統(tǒng)一入口最好），都可以使用ESB平臺(tái)獲取該系統(tǒng)增加的客戶(hù)資料（如無(wú)接□推送消息，則只能使用ESB按期拉取），與主數(shù)據(jù)庫(kù)匹配：?已存在：增加對(duì)應(yīng)關(guān)系，（有需要）可通過(guò)ESB平臺(tái)主動(dòng)獲取相關(guān)系統(tǒng)的該客戶(hù)信息（銷(xiāo)量等更多信息），刷新本系統(tǒng)，不必再去重復(fù)收集；?不存在：增加主數(shù)據(jù)編碼和對(duì)應(yīng)關(guān)系，同時(shí)通過(guò)ESB平臺(tái)推送該客戶(hù)資料到其它系統(tǒng)中（如需要）?？蛻?hù)、員工（員工賬號(hào)）、產(chǎn)品管理的架構(gòu)基本一致（見(jiàn)下表）：多套系統(tǒng)可同時(shí)維護(hù)同一主數(shù)據(jù)對(duì)象，但相同對(duì)象只在主數(shù)據(jù)倉(cāng)庫(kù)中存有一條記錄，該記錄與多個(gè)系統(tǒng)建立有對(duì)應(yīng)關(guān)系，從而ESB平臺(tái)才可根據(jù)該對(duì)應(yīng)關(guān)系,按業(yè)務(wù)需求對(duì)相應(yīng)系統(tǒng)的記錄做CRUD管理。

主數(shù)據(jù)表：客戶(hù)MDM編碼客戶(hù)姓名身份證號(hào)碼其它特征字段10000001張三55010011110000002李四221000120客戶(hù)對(duì)應(yīng)關(guān)系MDM編碼來(lái)源系統(tǒng)來(lái)源公司對(duì)應(yīng)特征碼10000001系統(tǒng)編號(hào)公司編號(hào)1201110110110000001系統(tǒng)編號(hào)公司編號(hào)A1009110910110000002系統(tǒng)編號(hào)公司編號(hào)13333110110110000002系統(tǒng)編號(hào)公司編號(hào)133331107101如能限制主數(shù)據(jù)對(duì)象的新增入口（某套系統(tǒng)或統(tǒng)一平臺(tái)），則對(duì)應(yīng)關(guān)系的維護(hù)要簡(jiǎn)單很多。5.2.3.多維度數(shù)據(jù)闡發(fā)5.2.3.基于ESB平臺(tái)維護(hù)的對(duì)應(yīng)關(guān)系，在ESB創(chuàng)建《根據(jù)MDMID獲取員工指定月份、系統(tǒng)的數(shù)據(jù)》接口，使用該接口可取出某個(gè)員工在所有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，例如對(duì)某個(gè)員工的取數(shù)結(jié)果如下表：

某銷(xiāo)售員，某月數(shù)據(jù)統(tǒng)計(jì)MDM姓名職位入職時(shí)薪等薪報(bào)銷(xiāo)金3/曰銷(xiāo)量拜訪編號(hào)間級(jí)額客戶(hù)數(shù)量其中涉及的API接□和系統(tǒng)如下表（參數(shù)均為MDMAPI、日期）：字段來(lái)源系統(tǒng)ESDAPI（假設(shè)）參數(shù)姓名HR系統(tǒng)獲取員工基本信息接口Mdmapi職位入職時(shí)間薪等薪扌報(bào)表辦事獲取銷(xiāo)售員最新薪等薪Mdmapi級(jí)器系統(tǒng)級(jí)接口報(bào)銷(xiāo)金OA系統(tǒng)獲取銷(xiāo)售員指按時(shí)間差Mdmapi、日期額旅費(fèi)報(bào)銷(xiāo)金額合計(jì)接口3/曰銷(xiāo)量AJX系統(tǒng)獲取銷(xiāo)售員指按時(shí)間銷(xiāo)Mdmapi、日