數據中臺讓數據用起來目錄\h\h第1章數據中臺：信息化的下一站\h\h\h1.1數據中臺產生的大背景\h\h\h1.2數據中臺的3個核心認知\h\h\h1.3數據中臺的3個發展階段\h\h\h1.4開啟信息化的下一站\h\h\h第2章什么是數據中臺\h\h\h2.1解碼數據中臺\h\h\h2.2數據中臺必備的4個核心能力\h\h\h2.3數據中臺需要厘清的2個概念\h\h\h2.4數據中臺VS現有信息架構\h\h\h2.5數據中臺的業務價值與技術價值\h\h\h第3章數據中臺建設與架構\h\h\h3.1持續讓數據用起來的價值框架\h\h\h3.2數據中臺建設方法論\h\h\h3.3數據中臺架構\h\h\h3.4中臺手記（一）：我說服老板立項了\h\h\h第4章數據中臺建設的評估與選擇\h\h\h4.1企業數據應用的成熟度評估\h\h\h4.2企業數據中臺建設的應用場景\h\h\h4.3中臺手記（二）：打仗前手里得有一張“糧草”清單\h\h\h第5章數據匯聚聯通：打破企業數據孤島\h\h\h5.1數據采集、匯聚的方法和工具\h\h\h5.2數據交換產品\h\h\h5.3數據存儲的選擇\h\h\h第6章數據開發：數據價值提煉工廠\h\h\h6.1數據計算能力的4種類型\h\h\h6.2離線開發\h\h\h6.3實時開發\h\h\h6.4算法開發\h\h\h6.5中臺手記（三）：選一個適合自己的技術平臺真的很重要\h\h\h第7章數據體系建設\h\h\h7.1數據體系規劃\h\h\h7.2貼源數據層建設——全域數據統一存儲\h\h\h7.3統一數倉層建設——標準化的數據底座\h\h\h7.4標簽數據層建設——數據價值魅力所在\h\h\h7.5應用數據層建設——靈活支撐業務需求\h\h\h7.6中臺手記（四）：即將開啟的數據淘金之旅\h\h\h第8章數據資產管理\h\h\h8.1數據資產的定義和3個特征\h\h\h8.2數據資產管理現狀和挑戰\h\h\h8.3數據資產管理的4個目標\h\h\h8.4數據資產管理在數據中臺架構中的位置\h\h\h8.5數據治理\h\h\h8.6數據資產管理與數據治理的關系\h\h\h8.7數據資產管理職能\h\h\h8.8數據資產管理效果評估\h\h\h8.9數據資產管理的7個成功要素\h\h\h8.10中臺手記（五）：家里的這點家底可得管好了\h\h\h第9章數據服務體系建設\h\h\h9.1補全數據應用的最后“一公里”\h\h\h9.24種常見的數據服務\h\h\h9.33種常見的數據應用\h\h\h9.4數據服務背后的產品技術\h\h\h9.5中臺手記（六）：解決“數據應用最后一公里”問題\h\h\h第10章數據中臺運營機制\h\h\h10.1數據中臺運營效果評估模型\h\h\h10.2數據中臺運營的4個價值切入點\h\h\h10.3數據資產運營\h\h\h10.4數據成本運營\h\h\h10.5數據中臺運營的實踐經驗\h\h\h10.6數據中臺運營的要素與口訣\h\h\h10.7中臺手記（七）：讓數據用起來\h\h\h第11章數據安全管理\h\h\h11.1數據安全面臨的挑戰\h\h\h11.2貫穿數據全生命周期的數據安全管理體系\h\h\h11.3大數據平臺安全管理技術手段\h\h\h11.4中臺手記（八）：數據安全！數據安全！數據安全！\h\h\h附錄6大行業解決方案架構圖\h第1章數據中臺：信息化的下一站經過幾年的沉淀和醞釀，數據中臺已經成為新的風口。大家好奇它的過去，希望一窺它的全貌，憧憬它的未來，“讓數據用起來”是驅動數據中臺發展的原動力和大家為之奮斗的目標。本書的重點在于揭示數據中臺全貌并分享實戰經驗，本章則嘗試從多個視角梳理數據中臺產生的大背景，希望與讀者一同感受氣勢磅礴的時代大潮交匯在數據中臺這個點的始末，并拋磚引玉，提煉數據中臺應該成為共識的幾個認知，展望數據中臺應該有的發展階段，讓讀者自己形成對數據中臺的構想，做好準備與我們共同開啟數據中臺之旅。1.1數據中臺產生的大背景1.1.1新的時代浪潮時光機回到公元2019年9月，中國IT界正在掀起一股新的洶涌大浪，“中臺”這股技術之浪正在席卷IT界的每個角落，并經由IT工廠人員和各界媒體傳導至各個行業。數據中臺在DT時代的大背景下尤為引人注意，一些先知先覺的企業在討論和探索數字化轉型，談論有關“數據中臺”的概念，有人認為這是新一波的廠商向甲方企業收“智商稅”的概念泡沫，有人認為這是給予CIO影響力的權柄，也有人認為這是企業應對“危”與“機”的快速創新利器。利用數據進行創新，看似機遇近在眼前，但各種問題又充斥在每個相關人士的心中。“什么是數據中臺？”“數據中臺有什么用？”“什么樣的企業適合建數據中臺？”“應該怎樣保證數據中臺的效果？”“怎么才能說服我企業的董事長和CEO同意立項數據中臺？”“如何才能保證企業數據不被濫用，又能被開發出價值？”“在我的行業里，有沒有可以參考的成功的數據中臺案例？”“需要多長時間和多少錢才能建起來？建完之后，如何運營才能創造出價值呢？有沒有持續優化成本的辦法？”風起于青萍之末，浪成于微瀾之間。那么數據中臺之浪，又成于哪一朵微瀾之間呢？本書的作者們都是在數據領域里摸爬滾打十余年的老數據人，我們將與各位讀者一起穿透時光的迷霧，去追溯數據中臺之源，回顧25年的IT到DT的演進史，暢談“數據創新與數據中臺”的實踐心路，用不太出彩甚至有點干巴的技術文筆，梳理“讓數據用起來”的數據中臺機制，回答“數據中臺百問”，為在數據創新之路上的讀者們貢獻一點力量。1.1.2從IT到DT，中國信息化演進之路1996年8月，愛特信信息技術有限公司成立；1998年2月，愛特信推出搜狐；2000年7月，搜狐公司正式在美國納斯達克掛牌上市。1997年6月，網易公司成立；2000年6月，網易公司正式在美國納斯達克掛牌上市。1998年12月，新浪公司成立；2000年4月，新浪公司成功在美國納斯達克掛牌上市。而在1998年至2000年間陸續成立的騰訊、阿里、百度在十年之后接過中國互聯網的大旗，形成了以BAT為首的新一輪互聯網化浪潮。2015年3月5日，國務院總理李克強在政府工作報告\h\h\h[1]\h\h中提出：“制定‘互聯網+’行動計劃，推動移動互聯網、云計算、大數據、物聯網等與現代制造業結合，促進電子商務、工業互聯網和互聯網金融健康發展，引導互聯網企業拓展國際市場。”2019年3月5日，國務院總理李克強在政府工作報告\h\h\h[2]\h\h中提出：“推動傳統產業改造提升。圍繞推動制造業高質量發展，強化工業基礎和技術創新能力，促進先進制造業和現代服務業融合發展，加快建設制造強國。打造工業互聯網平臺，拓展‘智能+’，為制造業轉型升級賦能……促進新興產業加快發展。深化大數據、人工智能等研發應用，培育新一代信息技術、高端裝備、生物醫藥、新能源汽車、新材料等新興產業集群，壯大數字經濟。”從1995年到2015年的20年間，互聯網科技改變了眾多面向個體用戶端“2C”的生產關系，通過構建線上平臺，方便了人們的衣食住行，豐富了人們的生活體驗。而在同樣的時間里，在企業內部有一群為了企業生產力而奮戰的技術人士，他們利用IT技術提升企業內部的生產力。2014年，馬云先生正式提出“DT（DataTechnology）”的概念，“人類正從IT時代走向DT時代”。他認為，IT時代是以自我控制、自我管理為主，而DT時代是以服務大眾、激發生產力為主。這兩者之間看起來似乎是技術的差異，但實際上是思想觀念層面的差異。同樣也是在這一年年初，阿里內部的數據平臺事業部正在大刀闊斧地建立整個集團的數據資產，筆者們也很有幸深度參與其中，構建了多筆數據資產，此為題外話。2015年，“互聯網+”行動計劃的提出，讓企業內部IT與企業外部互聯網思維產生火花，云和SaaS形態的應用開始出現，從IT到DT正式有了廣泛的落地實踐。1995年到2015年，互聯網科技在中國從萌芽到提出“互聯網+”行動計劃，用了20年時間。從2015年“互聯網+”提出到2019年“智能+”提出，用時僅4年。我們驚嘆于這演進的速度之快，就像一個常常被提及的例子：“從整個地球史來看，人類科技進化速度的陡峭曲線，可以類比成一個猿人扔起一根骨頭，等掉下來的時候骨頭已經變成了火箭。”1.1.3外太空與黑土地，阿里與華為對中國數字化進程的貢獻1.外太空視角——阿里以數據為核心，推動數字產業化回溯“數據中臺”這個在中國被創新和實踐落地的產物，就不得不去看它發端的企業——阿里巴巴。筆者們認為阿里的貢獻巨大，主要有兩個原因。第一，基于內部海量數據應用的數據中臺實踐經驗，以及對以新零售、新金融等互聯網技術和思維為核心的數據賦能業務的創新嘗試，喚醒行業全面跟進和嘗試“中臺”理念。2014年阿里從芬蘭Supercell公司接觸到中臺概念后，在集團內部積極踐行，開創了“大中臺、小前臺”的組織機制和業務機制，通過高效、統一的后方系統來支持前端的機動部隊，提高作戰效率，減少冗余投入。2018年，中臺概念開始逐漸深入互聯網企業。·2018年9月，騰訊宣布新成立云與智慧產業事業群（CSIG）和技術委員會，后者將負責打造技術中臺。·2018年11月，阿里云事業群升級為阿里云與智能事業群，并開始對外輸出中臺能力。·2018年11月，美團被曝正在打通大眾點評、摩拜等各業務間的數據，構建數據中臺。·2018年12月，百度調整組織架構，高級副總裁王海峰同時負責基礎技術體系（TG）和AI技術平臺體系（AIG）。此后，王海峰曾在公開場合表示，打造技術中臺是百度調整組織架構的戰略方向之一。·2018年12月，京東進行了有史以來最大幅度的組織架構調整，增設中臺部門。京東商城CEO徐雷還在企業年會上強調：要將中臺提升為“永不停歇”的超級引擎。第二，持續對政府、對社會拓寬基于數據的宏偉認知，并積極實踐基于數據創新的城市大腦。比如，持續提倡：“未來，數據將會是生產資料，計算是生產力，互聯網是生產關系，智能時代是基于這些改變而隨之發生的巨大的社會變革。未來30年，智能技術將深入到社會的方方面面，改變傳統制造業，改變服務業，改變教育、醫療，所有的生活會因數據、計算而改變。IT讓20%的人受益，而DT時代和AI時代的數據技術會讓80%的人受益，這就是這個世界未來巨大的機會所在。并進一步落地為城市大腦、ET（EvolutionaryTechnology）系列。”2016年10月，云棲大會上城市大腦首次亮相。2017年3月，云棲大會深圳峰會推出ET工業大腦和ET醫療大腦。2017年6月，云棲大會上海峰會推出ET環境大腦。就像ET命名本身的科幻性隱喻，阿里所倡導的數據理念和實踐猶如外太空的智慧傳遞，廣泛而又深刻地影響著我們這個社會。2.黑土地的嘗試——華為扎根產業，領銜產業數字化轉型華為是推動中國信息化進程的另一個時代巨人，華為在CT（通信技術）領域成長為國際知名企業，進而轉入IT（信息技術）領域和移動終端領域，都取得了舉世矚目的成績。華為自身獨特的流程信息化實踐已成為傳統行業高效利用信息化、加速數字化轉型的問計首選。筆者們認為，華為對于產業數字化轉型的巨大貢獻在于其基于一套創造性的“管理架構、流程與IT支撐”的管理體系，在研發、生產制造、供應交付、銷售、財經等領域進行持續不斷地數據管理和數據應用實踐，沉淀了完整且成熟的數據管理相關流程、管控機制、組織建設、人才保障、平臺建設、使能服務等體系和機制。在多業務、超大規模和全球化分布式管理的環境下做到了“以數據使能業務”，幫助華為公司在人員不顯著增加的情況下，收入、利潤、現金流持續有效增長。2016年華為提出了數字化轉型戰略，當時希望通過數字化變革重塑華為的商業流程。公司由此提出“+互聯網”的概念，希望利用先進的數字、數據技術，改造華為業務流程，致力于率先實現ROADS（實時、按需訂閱、在線、自助、社交）體驗并成為行業的標桿。2018年華為建立了數字化轉型實踐中心（DTPC）并正式投入運營，與運營商一起開展數字化轉型的實踐探索和能力構建。提出統一的數字化平臺必須具備以下特征：充分協同并融入業務流程，統一數據模型并可平滑交換數據，云原生和能力開放，以及智能化。基于該數字化平臺，與內外部生態協作創新，可以快速提供最佳解決方案以滿足客戶需求，實現商業敏捷。對于數據中臺，雖然華為公司內部流程的IT架構中沒有明確的提法，但是華為在對外提供的解決方案中已不斷出現“數據中臺”字眼，致力于打造信息化、自動化、智能化“黑土地”的華為勢必要融入數據中臺的洪流之中。通過以下幾則有代表的信息，我們可以從側面了解華為的數據中臺。華為云官網：“（華為智慧）園區中臺包含數據中臺和業務中臺；數據中臺對園區數據進行標準化建模，園區各單體子系統數據上傳到云端后經過數據治理并存儲在數據中臺的主題庫中……”江蘇移動：“江蘇公司秉承集團2019年工作重點‘用戶滿意度領先’和‘降本增效’兩大方針，在提升用戶滿意度工作方面，攜手華為整合SEQ平臺、MR地理化平臺以及性能平臺等多個大數據平臺，初步實現江蘇移動滿意度提升數字化中臺戰略，通過大數據研究、分析及建模，江蘇移動與華為聯合研發，全國首次將全網用戶業務感知地理化，搶占‘用戶滿意度領先’的網絡高地。”\h\h\h[3]\h\h國網天津信通公司：“本次驗證工作中，天津公司作為國網公司試點單位，負責開展對華為公司數據中臺和云平臺相關產品的技術驗證測試，從而客觀論證華為產品全面支撐天津公司泛在電力物聯網建設的可行性。測試工作基于華為產品構建的數據中臺和云平臺，重點針對功能、性能、開放性、擴展性、兼容性，以及對業務應用的支撐能力開展驗證工作。”\h\h\h[4]\h\h1.1.4中國政府的支持與引導，為數據中臺生長提供陽光雨露1.兩會政府工作報告自2015年起，“互聯網+”在政府工作報告中經常被提及。政務在國家層面指引和推動中國經濟模式的升級和迭代。既扶植了數字產業化，又推動傳統行業和產業數字化轉型。2015年制定“互聯網+”行動計劃。推動移動互聯網、云計算、大數據、物聯網等與現代制造業結合，促進電子商務、工業互聯網和互聯網金融健康發展，引導互聯網企業拓展國際市場。2016年落實“互聯網+”行動計劃。增強經濟發展新動力，大力推行“互聯網+政務服務”，實現部門間數據共享，發揮大眾創業、萬眾創新和“互聯網+”集眾智、匯眾力的乘數效應。2017年擴充“互聯網+”模式。深入推進“互聯網+”行動計劃和國家大數據戰略，推動“互聯網+”深入發展、促進數字經濟加快成長，讓企業廣泛受益、群眾普遍受惠。2018年完善“互聯網+”模式。“互聯網+”廣泛融入各行各業，加強新一代人工智能研發應用，在醫療、養老、教育、文化、體育等多領域推進“互聯網+”，深入推進“互聯網+農業”，多渠道增加農民收入，促進農村第一、第二、第三產業融合發展。2019年全面推進“互聯網+”。運用新技術和新模式改造傳統產業，推行信用監管和“互聯網+監管”改革，優化環保、消防、稅務、市場監管等執法方式，加快在各行各業、各領域推進“互聯網+”。2.數博會中國國際大數據產業博覽會（簡稱“數博會”），2015年在貴陽創辦，2017年正式升級為國家級展會活動。作為全球首個大數據主題博覽會，憑借國際化、專業化、市場化的領先優勢，數博會成為全球大數據發展的風向標和業界最具國際性和權威性的成果交流平臺。歷屆數博會均受到國家領導人的關懷和指示。中共中央總書記、國家主席、中央軍委主席習近平向首屆和近兩屆數博會連續發來賀信。國務院總理李克強、副總理馬凱、全國人大常委會副委員長王晨先后出席前五屆數博會開幕式并致辭。其中，2019年數博會共吸引448家國內外企業參展、舉辦專業論壇53場，專業賽事6場、各類活動近百場，來自50多個國家和地區的政要、知名企業家、專家學者、協會組織、科研機構及媒體相繼參加各類活動，共話大數據前沿熱題，共繪大數據發展藍圖，共享大數據時代發展新機遇。3.數字中國建設峰會“數字中國建設峰會”2018年在福州舉辦第一屆，中共中央總書記、國家主席、中央軍委主席習近平發來賀信，向峰會的召開表示衷心的祝賀，向出席會議的各界人士表示熱烈的歡迎。2019年第二屆峰會在福州舉行，為期3天的峰會共對接數字經濟項目587項，總投資額4569億元，其中簽約項目308項，總投資額2520億元。本屆峰會的主題是“以信息化培育新動能用新動能推動新發展以新發展創造新輝煌”。峰會定位為中國信息化發展政策發布平臺、電子政務和數字經濟發展成果展示平臺、數字中國建設理論經驗和實踐交流平臺、匯聚全球力量助推數字中國建設的合作平臺。4.智博會中國國際智能產業博覽會（SmartChinaExpo，簡稱“智博會”），是經黨中央、國務院正式批準，由科學技術部、工業和信息化部、中國科學院、中國工程院、中國科學技術協會和重慶市人民政府共同主辦的展會。2018年5月，經黨中央、國務院同意將中國重慶國際汽車工業展與中國（重慶）國際云計算博覽會合并，并更為現名；決定智博會從2018年起，每年在重慶市舉辦一屆。2019年4月，中共中央總書記、國家主席、中央軍委主席習近平視察重慶工作時作出“繼續高標準辦好智博會，深度參與數字經濟國際合作”的重要指示，遵照這一重要指示，2019年智博會堅持“智能化：為經濟賦能，為生活添彩”的主題，智匯八方、博采眾長，重點圍繞“會”“展”“賽”及“論”，集中展示全球智能產業的新產品、新技術、新業態和新模式等。數字經濟的發展已呈現出越來越清晰的特征：數據信息資源逐步成為新的關鍵要素資源；數字技術創新是數字經濟持續發展的原動力；平臺化是數字經濟的主要產業組織形態；產業融合是數字經濟的主要表現形式；多元共治是數字經濟時代必然的治理要求；網絡空間成為驅動實體世界變革的關鍵力量。以構建數據資產體系、釋放數據資產價值為核心的數據中臺被推到了廣闊的舞臺中央。\h\h[1]\h/guowuyuan/2015-03/16/content_2835101.htm\h\h[2]\h/premier/2019-03/16/content_5374314.htm\h\h[3]\h/wireless/2935/a1093040.html\h\h[4]\h/xhvision/2019-07/23/c_1124787988.htm1.2數據中臺的3個核心認知數據中臺能否從自發的單點狀態、媒體熱點，變成數字經濟的基礎、普惠性的數據服務機制，有賴于以下幾個認知能否被業界廣泛接受，并為之共同努力。1.數據中臺需要提升到企業下一代基礎設施的高度，進行規模化投入數據中臺的目標是提供普惠數據服務，在“互聯網+”行動計劃和“智能+”的推動下，數字產業化和產業數字化成為數字經濟的兩大基礎。數字產業化（互聯網）從C端市場起步進而走向B端市場（互聯網+），產業數字化天然在B端市場（+互聯網）。數據中臺只有在B端市場被企業提升到下一代基礎設施的高度，才能幫助企業從根本上解決數字化轉型過程中遇到的瓶頸和痛點，例如數據孤島林立（其實質是底層計算和存儲架構的復雜性和異構造成的）、數據資產化程度低、數據服務提供效率與業務訴求嚴重不匹配等。相比于信息化部門把數據中臺中的某些功能和特性作為新技術來局部驗證和引入，數據中臺更需要企業從戰略高度進行頂層設計、確定規模化投入政策、設置更合理的組織架構，才能夠確保數據中臺作為數據應用的基礎設施并落地建設，承擔起企業數據資產全生命周期的管理。2.數據中臺需要全新的數據價值觀和方法論，并在其指引下形成平臺級能力數據中臺所包含的數據技術創新可以在成熟的平臺型企業內部孕育，技術的創新和融合應用于很多貼近業務的創新應用場景。但數據中臺不僅僅是技術平臺，倘若停留于此，就完全忽略了IT到DT的本質變化是圍繞數據資產，企業面臨的主要矛盾是無法解決業務端的靈活性和經營管理穩定性之間的沖突，單純地增大技術投入和人才投入都無法保障企業經營效能的持續提升。只有秉持數據價值觀和方法論，才可能系統性地解決企業經營發展圍繞數據的諸多問題，誰能率先解決面向數字經濟特征的全新數據價值觀和方法論的問題，并在其指引下打造出平臺級能力，誰就能真正意義上幫助企業把數據用起來。3.數據中臺圍繞業務、數據、分析會衍生出全新人才素養要求，需要盡快啟動人才儲備人才永遠是瓶頸，并且人才的具體定義在動態變化，需要為人才準備成長的土壤。信息化歷程中從簡單的搭建網站、單功能系統開發，到復雜系統開發、建設、運營，再到新技術引入等都曾經是人才具體定義的重要關注點。在社會范圍內，信息化人才天然趨向兩類企業：成熟穩定的平臺型企業或有成熟平臺潛力的企業。企業只有圍繞數據中臺明確了人才在企業的定位和職業通道，才可能吸引到或培養出擁有業務、數據、分析等綜合素養的新型信息化人才，企業在數據中臺人才儲備上需要盡快做起來。1.3數據中臺的3個發展階段“讓數據用起來”，既是終極目標，也是數據中臺要為處于不同數據認知成熟度階段的企業實現的一個個具體目標。業務不會停滯，信息化不斷追求自身的價值，數據部門力圖與業務部門具有同等組織地位和話語權，業務部門不斷提出新的挑戰，政府在加速拉動數字經濟建設……在這些因素的共同作用下，結合普惠數據服務按需取用、業務自流程化\h\h\h[1]\h\h、數據自我治理的特點，在筆者看來，數據中臺未來會經過以下幾個發展階段。1.3.1第一階段：數據中臺探索這個階段是個過渡階段。一方面，傳統的數據應用過往都是從外往內的（利用外部的技術、數據和資源來服務內部需求）。例如，零售行業要做精準營銷，在廣告上砸錢，做用戶畫像分析，利用外部的技術、數據、資源來服務內部需求，但是做完了會發現企業自身沒有沉淀，又回到了原點。另外一方面，還是要借助一個個具體的場景化數據應用來推動企業對數據中臺的認知，積累各行業（特別是頭部客戶）的業務和服務經驗快速迭代和打造數據中臺。這個階段會將數據生命周期各個階段的技術與現有業務場景或創新業務場景結合，迅速形成可見、可展示的業務成果。特點是項目短小精悍，容易見效果，缺點是由于缺乏數據中臺整體規劃及讓數據用起來的完整流程設計，無法對眾多單個數據應用沉淀的數據形成通用數據資產，每個項目都需要從頭到尾走一遍，當應用需求爆發式增長時，底層數據支撐的效率會大幅度下降，甚至影響最終的業務效果。1.3.2第二階段：數據中臺整合數據應用提升效率這一階段的特點是構建數據中臺的技術、理念、方法論是可復制的，市場上已有成熟的支撐數據中臺高效運轉的平臺級產品。企業通過規劃、建設、實施數據中臺能夠具備三方面的基礎能力：·數據的多樣性、多態性、多云連接能力（匯聚/交換能力）。交換的能力用來解決企業有哪些數據、數據在哪里等問題。·數據資產化的能力是數據中臺建設的關鍵，包括清洗、加工、治理、安全、質量等工具模塊及實施方法論。（說明：能直接作用于業務領域，業務能閱讀、能理解的數據才叫數據資產。）·數據服務化的能力，用數據技術來使用數據的方法。有了這三個能力，就能將上一階段構建起來的場景級數據應用，甚至是歷史建成的系統都整合成企業級數據應用平臺，既能滿足原有系統對數據的需求，又能快速滿足新業務場景對數據的需求，將數據作為資產上架，成為共享的生產要素。1.3.3第三階段：數據中臺重構數據空間和業務空間到了這一階段，數據中臺已經成為企業數據資產的核心能力和基礎，通過快速構建數據資產體系，幫助企業真正實現對其全量數據的有效管理。業務和業務流程本身都可以通過適當的顆粒度進行數字化解耦和標準化，企業能夠以自我為中心構建更加宏大的產業、行業價值鏈范圍的數據空間和業務空間，以數據編排的方式響應業務需求，徹底顛覆傳統的軟件工程方式，業務實現自流程化，數據實現自我管理能力。這里需要引入業務空間和數據空間的基本概念。·企業業務空間：企業任何一個業務條線從初始設立到日益精細分化，一般都遵循一個共性的演進過程：清晰定義該業務條線內專項業務的“毛細血管”功能體系、建設或升級相應技術支撐系統、生成專項業務數據。當所有業務條線都遵循這個發展規律，縱橫交錯的業務條線構成了企業實際運營的多維業務空間。企業的業務空間是產生和形成全量數據的根本依據和前提。·企業數據空間：在數字化時代，任何一家企業都是市場生態中的一個節點，從數據交換的宏觀視角來看，任何一家企業的數據全集只是整個市場數據生態空間中的一個子集。從企業自身視角來看，依據數據的生成和交互方式，企業全量數據的數據空間大致由三個維度構成：自主生產和消費的數據、外部數據（含單向外部獲取數據和單向對外提供數據）、內外部交互數據。\h\h[1]\h此前沒有人正式提過這一說法，在與政府、金融客戶溝通時經常會提到：當業務能夠實現對象數字化、規則數字化、結果數據化時，業務自身的流程也就可以按照規則自由、自行組建和優化了。1.4開啟信息化的下一站1.4.1在多建設模式并存中做好準備數字化需要探尋、挖掘數據的多維度業務價值，數據能力要在組織中孕育繼而成為業務能力的一部分，需要擺脫“需求→立項→建設實施→日常運維”的簡單模式，深入思考數據的業務本質。回顧信息化建設的歷程，筆者們發現因為企業自身組織變革和建設能力的限制，在相當長時間內會有多種建設模式并存，以數據中臺為驅動的建設模式將有可能成為融匯歸一的新型建設模式，如圖1-1所示。圖1-1數據中臺建設模式融合以下為4種主要的信息化建設模式：·軟件功能驅動模式：該模式對組織變革和建設能力要求最低，通常以采購和實施成熟產品為主，目標是業務部門直接能用。·數據治理驅動模式：該模式的目標是針對同一數據不同問題或不同數據同一問題進行分類治理，通常是業務上遇到了難題，立個專項來解決。·業務能力驅動模式：該模式對組織變革和建設能力要求最高，目標基于企業架構（EA）自上而下開展規劃建設，覆蓋組織從戰略到執行全業務過程，從業務設計到IT實現。該建設模式實施難度極高，通常會形成頂層規劃設計和一系列實施項目。·業務服務化驅動模式：該模式專注于新技術的引入，通常是面向用戶提升體驗、面向業務拉通資源調度。上述4種模式在建設數據中臺時都可以有效融合，讓組織變革和建設能力能夠充分支持業務數據化、數據資產化、資產服務化、服務業務化的數據中臺建設特點。1.4.2迎接數據中臺新時代2019年是數據中臺爆發的元年，除了數瀾科技與Forrester共同發布了首部行業白皮書《擁抱數據中臺，加速數字化轉型》，圍繞數據中臺的各種展會、發布會、產品也紛至沓來。阿里、騰訊、華為做的是云計算基礎設施，客戶要做云計算的時候，他們就會給出解決方案。同樣，數據應用也需要基礎設施，當企業需要數據應用時，數據中臺就會給出整體解決方案，真正“讓企業的數據用起來”。數據中臺的需求不是來源于外部，而是來自內部，來自企業對自身未來發展的擔憂。數據中臺是增援未來，是以發展的觀點解決企業面臨的問題，面對不確定的未來，企業無法確認今天的數據未來會怎么用，會產生什么樣的價值，所以才需要數據中臺。現在把數據源源不斷地接進來，源源不斷地進行資產化、服務化，未來當企業看清楚業務場景，把對數據的需求輸入數據中臺時，才知道原來數據可以這樣使用，才知道怎么去適配。數據中臺是對未來場景的能力支撐，是增援未來的能力。數據中臺已經掀起了幕布的一角，幕布后面的精彩世界需要政府、產業、行業、領先企業共同激蕩演繹。歡迎走進數據中臺的世界。第2章什么是數據中臺伴隨著云計算、大數據、人工智能等技術的迅速發展，以及這些技術與傳統行業的快速融合，企業數字化、智能化轉型的步伐逐漸加快。IDC預測，到2021年，全球至少50%的GDP將被數字化，而每個行業的增長都會受到數字產品與服務、數據化運營的驅動。數字化轉型成功的企業，其內部和外部的交互均以數據為基礎。業務的變化快速反饋在數據上，企業能夠迅速感知并做出反應，而其決策與考核基于客觀數據。同時，數據是活的，是流動的，越用越多，越用越有價值。隨著數據與業務場景的不斷交融，業務場景將逐步實現通過數據自動運轉和自動優化，進而推動企業進入數字化和智能化的階段。傳統IT建設方式下，企業的各種信息系統大多是獨立采購或者獨立建設的，無法做到信息的互聯互通，導致企業內部形成多個數據孤島。互聯網、移動互聯網的發展帶來很多新的業務模式，很多企業嘗試通過服務號、小程序、O2O平臺等新模式觸達客戶、服務客戶，新模式是通過新的平臺支撐的，產生的數據與傳統模式下的數據也無法互通，這進一步加劇了數據孤島問題。分散在各個孤島的數據無法很好地支撐企業的經營決策，也無法很好地應對快速變化的前端業務。因此需要一套機制，通過這套機制融合新老模式，整合分散在各個孤島上的數據，快速形成數據服務能力，為企業經營決策、精細化運營提供支撐，這套機制就是數據中臺，如圖2-1所示。圖2-1數據中臺定位本章主要闡述數據中臺的定義和核心能力，并澄清幾個與數據中臺相關的概念，最后總結數據中臺建設能為客戶帶來的業務價值和技術價值。2.1解碼數據中臺與許多新概念誕生之初的境遇一樣，數據中臺目前正處于“定義混亂期”。有人認為數據中臺是云平臺的一部分，同時包括業務中臺和技術中臺；有人認為數據中臺是數據的共享、整合和深度分析；還有人認為數據中臺是“計算平臺+算法模型+智能硬件”，不僅有云端，還需要智能設備幫企業在終端收集線下數據……從服務方到客戶方，對數據中臺的理解并不相同，如同一千個觀眾心中就有一千個哈姆雷特。筆者們有幸見證了數據中臺在中國從0到1的全過程，并在其中實踐多年，對于數據中臺的定義，筆者們認為：數據中臺是一套可持續“讓企業的數據用起來”的機制，是一種戰略選擇和組織形式，是依據企業特有的業務模式和組織架構，通過有形的產品和實施方法論支撐，構建的一套持續不斷把數據變成資產并服務于業務的機制。數據來自于業務，并反哺業務，不斷循環迭代，實現數據可見、可用、可運營，如圖2-2所示。通過數據中臺把數據變為一種服務能力，既能提升管理、決策水平，又能直接支撐企業業務。數據中臺不僅僅是技術，也不僅僅是產品，而是一套完整的讓數據用起來的機制。既然是“機制”，就需要從企業戰略、組織、人才等方面來全方位地規劃和配合，而不能僅僅停留在工具和產品層面。以中國某大型央企集團的數據中臺為例，該集團旗下擁有橫跨金融、地產、零售的多條業務線。要做數字化轉型，不僅是技術問題，更是組織與業務運轉模式改變的問題，需要頂層戰略規劃和組織架構上的改變。這也是為什么各大互聯網公司在宣布中臺戰略時，會伴隨著組織架構調整。圖2-2數據中臺是一套“讓企業的數據用起來”的機制每家企業的業務與數據狀況各不相同，業務對數據服務的訴求不同，數據中臺的建設將呈現出不同的特點，沒有任何兩家企業的數據中臺是完全相同的。數據中臺的實施不僅需要一整套技術產品，更需要針對不同業務、數據、應用場景的體系化的實施方法和經驗，過程中涉及企業戰略、組織、技術、人才等全面的保障和配合。2.2數據中臺必備的4個核心能力早在2015年，數字化領域的領先者已經開始從頂層戰略設計入手，調整組織架構，協調內外部的利益，更新方法論和認知體系，著手構建數據中臺體系。從2018年下半年開始，以數據中臺戰略為核心的變革潮流席卷互聯網行業，然而多數企業對數據中臺內涵的認識仍不夠全面，導致業務落地和商業創新還是困難重重。數據中臺需要具備數據匯聚整合、數據提純加工、數據服務可視化、數據價值變現4個核心能力，讓企業員工、客戶、伙伴能夠方便地應用數據。\h\h\h[1]\h\h1.匯聚整合隨著業務的多元化發展，企業內部往往有多個信息部門和數據中心，大量系統、功能和應用重復建設，存在巨大的數據資源、計算資源和人力資源的浪費，同時組織壁壘也導致數據孤島的出現，使得內外部數據難以全局規劃。數據中臺需要對數據進行整合和完善，提供適用、適配、成熟、完善的一站式大數據平臺工具，在簡便有效的基礎上，實現數據采集、交換等任務配置以及監控管理。數據中臺必須具備數據集成與運營方面的能力，能夠接入、轉換、寫入或緩存企業內外部多種來源的數據，協助不同部門和團隊的數據使用者更好地定位數據、理解數據。同時數據安全、靈活可用也是絕大多數企業看重的，他們期望數據中臺能協助企業提升數據可用性和易用性，且在系統部署上能支持多種模式（見圖2-3）。圖2-3企業看重的數據整合和管理能力2.提純加工數據就像石油，需要經過提純加工才能使用，這個過程就是數據資產化。企業需要完整的數據資產體系，圍繞著能給業務帶來價值的數據資產進行建設，推動業務數據向數據資產的轉化。傳統的數字化建設往往局限在單個業務流程，忽視了多業務的關聯數據，缺乏對數據的深度理解。數據中臺必須連通全域數據，通過統一的數據標準和質量體系，建設提純加工后的標準數據資產體系，以滿足企業業務對數據的需求，如圖2-4所示。圖2-4企業看重的數據提煉和分析加工能力3.服務可視化為了盡快讓數據用起來，數據中臺必須提供便捷、快速的數據服務能力，讓相關人員能夠迅速開發數據應用，支持數據資產場景化能力的快速輸出，以響應客戶的動態需求。多數企業還期待數據中臺可以提供數據化運營平臺，幫助企業快速實現數據資產的可視化分析，提供包括實時流數據分析、預測分析、機器學習等更為高級的服務，為企業數據化運營賦能。此外，伴隨著人工智能技術的飛速發展，AI的能力也被多數企業期待能應用到數據中臺上，實現自然語言處理等方面的服務。數據洞察來源于分析，數據中臺必須提供豐富的分析功能，數據資產必須服務于業務分析才能解決企業在數據洞察方面的短板，實現與業務的緊密結合（見圖2-5）。4.價值變現數據中臺通過打通企業數據，提供以前單個部門或者單個業務單元無法提供的數據服務能力，以實現數據的更大價值變現。圖2-5企業看重的數據資產服務化能力企業期待數據中臺能提升跨部門的普適性業務價值能力，更好地管理數據應用，將數據洞察變成直接驅動業務行動的核心動能，跨業務場景推進數據實踐。同時，企業對于如何評估業務行動的效果也十分關注，因為沒有效果評估就難以得到有效反饋，從而難以迭代更新數據應用，難以持續為客戶帶來價值，如圖2-6所示。如前所述，數據中臺是一套持續地讓企業的數據用起來的機制，要想把數據用起來，四個核心能力都需要不斷迭代和提升。從戰略上來看，匯聚整合、提純加工、服務可視化和價值變現的能力是數據中臺最核心的競爭力，是企業真正將數據轉化為生產力、實現數字化轉型和商業創新、永葆競爭力的保障，如圖2-7所示。圖2-6企業看重的數據價值變現能力圖2-7數據中臺4大核心能力不可分割\h\h[1]\h本節部分內容源自2019Forrester數據中臺行業白皮書《擁抱數據中臺，加速數字化轉型》。2.3數據中臺需要厘清的2個概念2.3.1數據中臺VS業務中臺1.數據中臺與業務中臺的區別業務中臺更多偏向于業務流程管控，將業務流程中共性的服務抽象出來，形成通用的服務能力。比如電商平臺，有C2C、B2C、C2B、B2B四種模式，其中訂單、交易、商品管理、購物車等模塊都是有共性的。將這些組件沉淀出來，形成電商行業的業務中臺，再基于這些業務中臺組件的服務能力，可以快速搭建前臺應用，譬如C2C模式的淘寶、B2C模式的天貓、B2B模式的1688、C2B模式的聚劃算，用戶通過這些前臺業務觸點使用業務服務。業務中臺不直接面向終端用戶，但可以極大提升構建面向終端用戶的前臺的速度和效率。業務中臺是抽象業務流程的共性形成通用業務服務能力，而數據中臺則是抽象數據能力的共性形成通用數據服務能力。比如，原始業務數據通過資產化服務化，形成客戶微觀畫像服務，這個服務可用于電商平臺的商品推薦，也可能用于地產購房意愿，還可能用于金融領域的信用評級等。同一個服務，在應用層面展現的內容可能不一致，但是底層的數據體系是一致的。數據中臺也將極大提升數據開發的效率，降低開發成本，同時可以讓整個數據場景更為智能化。2.數據中臺與業務中臺的聯系如果同時擁有業務中臺和數據中臺，則數據中臺與業務中臺是相輔相成的。業務中臺中沉淀的業務數據進入到數據中臺進行體系化的加工，再以服務化的方式支撐業務中臺上的應用，而這些應用產生的新數據又流轉到數據中臺，形成循環不息的數據閉環，如圖2-8所示。圖2-8業務中臺與數據中臺的數據應用閉環業務中臺與數據中臺互相促進，為企業業務的發展、管理者更好的決策提供支持。其中，業務中臺的存在是為了圍繞公司業務運營進行服務，將獲取的多維度數據傳遞給數據中臺，由數據中臺挖掘新的價值反饋給業務中臺，以優化業務運營。有人可能會有疑惑：數據中臺和業務中臺的建設是否有先后順序？筆者們以為，這兩者的建設沒有先后之分，主要依據企業的實際情況進行規劃。從數據層面看，業務中臺只是數據中臺的數據源之一，除此之外，企業還有很多其他的數據來源，如App、小程序、IoT等多源數據，可以將這些數據的價值直接賦能于現有業務或某個創新業務。從服務層面看，數據中臺的數據服務也不一定經過業務中臺作用于業務，它可能直接被上層應用系統進行封裝，如電商領域的“千人千面”系統。而從業務中臺的角度來看，如果沒有數據中臺，可以做一些簡單的數據處理，如分析和統計等，而通過數據中臺賦能，則可以使業務系統擁有“全維度”、“智能化”的能力，譬如推薦、圈人等，系統將從信息化升級成為一個智能化的業務系統。”不僅僅是業務中臺，目前各種中臺層出不窮，但筆者們認為中臺不是平臺，平臺可以有很多，可以有營銷平臺、風控平臺、管理平臺等，但是中臺，一個企業只需要有一個。現在還有業務中臺、數據中臺之分，但我們預測未來數據與業務會更緊密地結合，完全融為一體，會統一成“企業中臺”。2.3.2數據中臺VS數據倉庫數據倉庫的主要場景是支持管理決策和業務分析，而數據中臺則是將數據服務化之后提供給業務系統，目標是將數據能力滲透到各個業務環節，不限于決策分析類場景。數據中臺持續不斷地將數據進行資產化、價值化并應用到業務，而且關注數據價值的運營。數據中臺建設包含數據體系建設，也就是數據中臺包含數據倉庫的完整內容，數據中臺將企業數據倉庫建設的投入價值進行最大化，以加快數據賦能業務的速度，為業務提供速度更快、更多樣的數據服務。數據中臺也可以將已建好的數據倉庫當成數據源，對接已有數據建設成果，避免重復建設。當然也可以基于數據中臺提供的能力，通過匯聚、加工、治理各類數據源，構建全新的離線或實時數據倉庫。另外，數據中臺一般采用全新數據技術架構，可以更方便地進行數據價值的挖掘。隨著企業數據量越來越大，智能化場景越來越多，傳統架構的存儲計算能力無法滿足這類數據業務的需求。而隨著機器學習、深度學習等技術的發展，從看似無用的數據中挖掘出新價值的能力也越來越強，新的技術架構為這些場景的建設提供了很好的能力支撐。2.4數據中臺VS現有信息架構如何喚醒沉睡的數據資產，把數據真正用起來，以支持自身業務的智能化升級，這是擺在所有傳統企業面前的數字化轉型難題。因此，對于是否有必要建設數據中臺這件事情，似乎并無太多質疑之聲，但真要建設數據中臺，尤其是落實到具體建設的實操階段，企業又開始擔心，他們最擔心的莫過于，建設數據中臺是不是要將企業現有信息架構推倒重來。信息化時代初期，隨著公司的業務發展和戰略調整，為了更好地支撐業務，企業的信息化系統不知道被推倒重來過多少次，經歷了成千上萬次取數，也生成了數以千計的報表。伴隨著一批又一批的數據人員的成長和離開、行業專家和業務人員的晉升或轉型，數據倉庫之間的演進也經常是推倒重來，消耗了企業大量成本。數據中臺作為解決企業級數據應用難題的新方案，不是一套軟件系統，也不是一個標準化產品。站在企業的角度，數據中臺更多地指向企業的業務場景，即幫助企業沉淀能力，提升業務效率，最終完成數字化轉型。因此，數據中臺與企業現有信息架構不存在競爭關系，不會導致企業現有系統、功能和應用的重復建設。舉個簡單的例子，筆者們此前與一家做輪胎制造的上市公司進行過交流，它當時就用到很多個業務系統，比如OA系統、ERP系統、工藝設計與管理系統、物流系統、生產系統等。該企業的一個核心痛點是：“無法準確知道當前的輪胎能否準時或者提前交付”。制造型企業一般處于產業鏈的中間位置，非終端或者源頭端，比如這家輪胎制造企業，它的上游是橡膠提供方，下游是汽車組裝商或者汽車零部件廠商。輪胎的及時交付就意味著公司的生命線——穩定的現金流。而影響輪胎能否及時交付的數據變量是散落在所有系統中的，諸如物流的及時性、對生產過程的控制力、是否有重大的經濟壓力、甲方工藝設計需求的變化等。在有數據中臺之前，他們是怎么做的呢？企業首先需要拉出所有系統數據庫中的表，然后再用Excel去做對應關系，整個過程是非常瑣碎且耗時的。如果有數據中臺體系，可以通過中臺機制匯聚相關系統中的原始數據，并且面向輪胎這一公司經營的實體構建一系列場景化的標簽特征。同時，通過離線或者實時的數據交互模式，不斷更新特征值，將業務場景所關注的數據的價值直接展現出來。從上面的例子能看出，數據中臺在定位上與業務IT系統并不沖突。企業原有的IT系統依舊會根據業務和IT技術的迭代不斷升級，依舊對企業的生產運營或者經營管理提供支撐。數據中臺的定位則是在數據領域幫助企業不斷沉淀數據能力。兩者之間的關系是相互依托、相互賦能、相互促進的。數據中臺需要IT系統不斷提供數據，而IT系統未來更加需要橫向、綜合的數據特征來支撐。只有形成了數據中臺和IT系統良好的配合關系，才能更好地構建企業整體的IT支撐能力。在后續的章節中，讀者會看到一個完整的數據運營閉環。在這個運營閉環中，既有IT系統需要承載的職能，也包含了數據中臺的使命。兩者具體如何在技術上進行集成，后續也會具體講解。2.5數據中臺的業務價值與技術價值2.5.1業務價值：從洞察走向賦能業務創新，形成核心壁壘在以客戶為中心的時代，數據中臺對數字化轉型具有重要作用，以數據中臺為基礎的數據系統將位于企業應用的核心，通過數據從企業降本增效、精細化經營等方面為企業帶來巨大收益。具體來說，筆者們認為包含以下三個層面：1.以客戶為中心，用洞察驅動企業穩健行動在以客戶為中心的時代，客戶的觀念和行為正在從根本上改變企業的經營方式以及企業與客戶的互動方式。數據中臺建設的核心目標就是以客戶為中心的持續規模化創新，而數據中臺的出現，將會極大提升數據的應用能力，將海量數據轉化為高質量數據資產，為企業提供更深層的客戶洞察，從而為客戶提供更具個性化和智能化的產品和服務。譬如，數據中臺能夠匯聚全渠道的數據，在標簽管理、營銷圈人、效果分析等應用上實現全域的閉環，優化對客戶全生命周期的理解。此外，以數據中臺為基礎，通過數據化運營提升客戶留存、復購和忠誠度，也得到諸多企業的認可。2.以數據為基礎，支持大規模商業模式創新只有依托數據和算法，將由海量數據提煉的洞察轉化為行動，才能推動大規模的商業創新。數據中臺在通過算法將洞察直接轉化為行動、實現大規模商業創新方面的能力，令人矚目。另一方面，數據無法被業務用起來的一個原因是數據沒辦法變得可閱讀、易理解。信息技術人員不夠懂業務，而業務人員不夠懂數據，導致數據應用到業務變得很困難，數據中臺需要考慮將信息技術人員與業務人員之間的障礙打破，信息技術人員將數據變成業務人員可閱讀、易理解的內容，業務人員看到內容后能夠很快結合到業務中去，這樣才能更好地支撐商業模式的創新。此外，數據中臺提供標準的數據訪問能力，簡化集成復雜性、促進互操作性等特性也非常受企業CIO們的青睞。同時，在快速構建服務能力、加快商業創新、提升業務適配等方面，數據中臺也將會發揮重要的作用。3.盤活全量數據，構筑堅實壁壘以持續領先在以客戶為中心的時代，只有贏得客戶的企業才能在競爭中保持優勢。企業能否真正做到“客戶至上”，并不斷提高對客戶的快速響應力來滿足客戶的需求，甚至引領市場潮流，持續推進規模化創新，終將決定企業能否在充滿挑戰和機遇的市場上發展壯大，長久保持生命力與競爭力。面對紛繁復雜而又分散割裂的海量數據，數據中臺的突出優勢在于，能充分利用內外部數據，打破數據孤島的現狀，打造持續增值的數據資產，在此基礎上，能夠降低使用數據服務的門檻，繁榮數據服務的生態，實現數據“越用越多”的價值閉環，牢牢抓住客戶，確保競爭優勢。2.5.2技術價值：能力多、成本低、應用廣數字化轉型的需求必將催生多元化的數據場景，而多元化的數據場景將會帶來以下技術需求，企業數據中臺建設勢在必行。1.應對多數據處理的需求針對不同的數據應用場景，需要能夠快速應對多數據處理需求，比如：要保持原來的報表需求，仍需要保持批量離線計算的能力（Hadoop、OracleRAC）；針對準實時的指標統計和實時推薦，需要實時流式計算的能力（Storm、SparkStreaming、Flink）；針對決策類業務如海量人群的圈人需求和ad-hoc需求，需要即席計算能力（Greenplum、Elasticsearch、Impala）；針對高并發業務場景（如用戶畫像），需要在線計算能力（MySQL、Redis、Oracle）。因此，企業需要一個統一的數據中臺來滿足離線／實時計算需求、各種查詢需求（實時查詢和adhoc），同時在將來新數據引擎（更快的計算框架，更快的查詢響應）出現時，又不需要重構目前的大數據體系。2.豐富標簽數據，降低管理成本根據全國信標委大數據標準工作組發布的《數據管理能力成熟度模型》（DCMM），針對數據標準提到的數據分類主要有主數據、參考數據和指標數據，但根據目前真實的數據建設情況來看，需要對一類數據進行定義和分類，譬如標簽名為“消費特征”，標簽值為“促銷敏感”“貨比三家”“猶豫不決”。數據中臺能對這類標簽進行快速定義和有效管理。3.數據的價值能體現業務系統效果而不僅是準確度過去的數據應用場景主要為報表需求，注重數據的準確性，但在更多數據場景下，特別是對于標簽數據的應用，越來越多的數據是需要不斷“優化”的，數據本身沒有準不準確之分，比如某個會員是屬于促銷敏感人群，這個數據其實更多的說的是概率。4.支持跨主題域訪問數據企業早期建設的應用數據層ADS（傳統數據倉庫ODS/DW/ADS）更多是為某個主題域所服務的，如營銷域、人力資源域、風控域，而企業在數據應用的時候往往需要打破各個業務主題，會從業務對象主體出發來考慮數據應用，如人（會員、供應商、渠道、員工）和物（商品、倉庫、合同），從全域角度設計完整的面向對象的數據標簽體系。5.數據可以快速復用而不僅是復制傳統的架構中，要將數據應用到業務中，通用的做法都是通過數據同步能力，把計算的結果同步給業務系統，由業務系統自行處理，這會帶來一個數據管理問題，即無法獲取數據在應用場景中的具體價值和熱度，整個數據血緣鏈路也是割裂的。這種方式筆者們認為是復制數據，而不是復用數據。如何快速復用數據，正是可以在數據中臺中解決的問題。數字化浪潮席卷全球，企業正面臨著前所未有的挑戰和機遇，必須不斷加速數字化轉型才能生存和保持領先。數據中臺能夠幫助企業聚合內外部數據，支撐高效的數據服務，最終提升企業決策水平和業務表現。企業期待通過數據中臺把原始數據轉化為數據資產，快速構建數據服務，使企業可以持續、充分地利用數據，實現數據可見、可用、可運營的目標，以數據來驅動決策和運營，不斷深化數字化轉型。總結一句話：數據中臺是把數據這種生產資料轉變為數據生產力的過程。第3章數據中臺建設與架構不能把數據中臺簡單看作一個項目或產品，建設數據中臺要從戰略、認知、組織保障等更高的層面做規劃。3.2節重點介紹的數據中臺建設方法論體系，是筆者們多年大數據領域從業經驗和多個數據中臺建設經驗的總結。希望這套數據中臺建設方法論可以起到指引作用，幫助企業結合自身特點，在戰略規劃牽引下，建立起一套可持續運行的中臺建設機制，從而加速企業在數字化轉型上的進展。3.1持續讓數據用起來的價值框架數據中臺的使命就是持續讓數據用起來，它的一個根本性創新就是把“數據資產”作為一個基礎要素獨立出來，讓成為資產的數據作為生產資料融入業務價值創造過程，持續產生價值。數據中臺作為整個企業各個業務所需數據服務的提供方，通過自身的平臺能力和業務對數據的不斷滋養（業務數據化），會形成一套高效可靠的數據資產體系和數據服務能力（數據資產化和資產服務化）。這樣一來，當出現新的市場變化，需要構建新的前臺應用時，數據中臺可以迅速提供數據服務（服務業務化），從而敏捷地響應企業的創新。業務產生數據，數據服務業務，業務在陽，數據在陰，陰陽互補，形成閉環（見圖3-1）。圖3-1業務與數據閉環這個價值框架融入企業的運營活動中就能支撐數據中臺的組織地位：數據中臺必須擁有與企業的設計部門、制造部門、銷售部門等同樣重要的地位（見圖3-2）。圖3-2數據中臺的組織地位數據中臺不是單純的技術疊加，不是一個技術化的大數據平臺，二者有本質區別。大數據平臺更關心技術層面的事情，包括研發效率、平臺的大數據處理能力等，針對的往往是技術人員；而數據中臺的核心是數據服務能力，要結合場景，比如精準營銷、風控等，通過服務直接賦能業務應用。數據中臺不僅面向技術人員，更需要面向多個部門的業務人員。這在建設過程中要特別注意，不論是由信息化部門牽頭還是由業務部門牽頭執行數據中臺項目，都需要在整個企業內部形成一張有共識的藍圖：數據是企業的戰略資產（見圖3-3）。圖3-3數據是企業的戰略資產3.2數據中臺建設方法論對于圖3-4所示的數據中臺建設方法論體系，需要從組織、保障、準則、內容、步驟5個層面全面考慮，以確保數據中臺建設和實施能如期完成。·1種戰略行動：把用數據中臺驅動業務發展定位為企業級戰略，全局謀劃。·2項保障條件：通過宣導統一組織間的數據認知，通過流程加速組織變革。·3條目標準則：將數據的可見、可用、可運營3個核心準則始終貫穿于中臺建設的全過程，保障建設在正確軌道上。·4套建設內容：通過技術體系、數據體系、服務體系、運營體系建設保證中臺建設的全面性和可持續性。·5個關鍵步驟：通過理現狀、立架構、建資產、用數據、做運營5個關鍵行動控制中臺建設關鍵節點的質量。圖3-4數據中臺建設方法論體系3.2.11種戰略行動建設數據中臺是為了支撐企業數字化、智能化升級，通過全局的維度支撐業務，讓企業在市場上更具競爭優勢，因此需要從公司戰略層面來規劃。在中臺建設過程中，會涉及所有相關業態、各塊資源的協調和推進，這都需要站在更高的層面來考慮。當然，具體在實施過程中，為了能快速迭代推進，也會采取從點到面的突破方法，從某個業務或者某個部門開始，初步構建看到成效再逐步推廣，但不影響其作為核心戰略的定位。數據中臺要求整個企業共用一個數據技術平臺、共建數據體系、共享數據服務能力。現實中，企業業務發展不均衡，各種部門墻導致共建、共享非常困難。數據中臺不僅是對技術架構的改變，還是對整個企業業務運轉模式的改變，需要企業在組織架構和資源方面給予支持，所以中臺是一個企業的戰略行動，絕非一個項目組或者一個小團隊就能做的。數據中臺牽涉企業的方方面面，你要了解整個企業的業務情況，進行業務梳理，還要有技術的支撐、組織的支撐，否則很難推動落實。啟動數據中臺一定要有戰略規劃，首先它是“一把手工程”，只有企業的一把手才有這種推力來推動數據中臺的建設。數據中臺的目標是實現企業經營的數據化、精細化、智能化，本質是建設一套可持續讓企業數據用起來的機制。需要有相應的組織、制度、流程、資源的保障。3.2.22種保障條件數據中臺是企業級戰略，支撐企業數字化轉型，涉及企業的方方面面，數據中臺戰略的執行必然伴隨著企業組織保障以及整個企業數據意識的提升。首先，中臺戰略的實施需要有組織保障。與組織對應的是資源與責任，數據中臺由誰來建、誰來維護、誰來經營、業務需求怎么承接、效果怎么衡量等問題，已經超出IT的范疇，需要企業更高層面對應的組織來保障。圖3-5所示為中臺組織架構。企業實施數據中臺戰略，必須首先建立起數據中臺團隊，讓他們負責中臺的建設、維護、運營以及業務的承接和中臺服務的推廣等。另外，有了中臺，企業的運轉模式發生了變化，業務、后臺、管理等團隊也需要有對應的組織人員與中臺團隊對接。圖3-5中臺組織架構其次，中臺戰略的實施需要提升全企業的數據意識。數據文化是數據中臺戰略不可或缺的部分，數據中臺的推進依賴于數據文化的建立，反過來，企業數據文化的沉淀又是數據中臺建設的產出。大家談論大數據比較多，但經常對什么是大數據感到困惑，在筆者們看來，大數據和當年提的“互聯網+”一樣，是一種考慮問題的思維方式，用互聯網思維、數據思維來發現問題，解決問題。因此，用一句話來概括數據文化：用數據說話。可以從以下方面來提升數據意識：（1）數據采集意識建議盡可能采集一切業務觸點數據，隨著技術的發展，采集的方式也越來越多，比如業務數據、日志數據、埋點數據、網絡數據、傳感器數據等。了解可能的數據采集方式，盡可能把有價值的數據通過技術手段采集下來。（2）數據標準化意識之所以需要進行數據治理，是因為數據不標準。如果希望數據發揮價值，就需要保持統一數據標準的意識，只有不同部門、不同業務對于數據的理解都一致了，才能減少因數據口徑不一導致的資源浪費。（3）數據使用意識未來數據應用會涉及方方面面，每一個業務環節都有可能用到數據的能力，所以所有企業員工都要掌握數據可能的使用方式，知道在實際業務操作過程中應該怎么使用數據。另外，數據能夠找出人類經驗和人腦無法找出的關聯關系，比如啤酒和尿布的故事，就要求打破原有經驗，用更高的數據意識來發揮數據對于業務的價值。（4）數據安全意識還必須具備數據安全意識，有些數據即使對業務有價值，但由于侵犯隱私或者觸犯法律等因素，也不能用，或者需要換一種合法的方式使用。企業員工需要有足夠的數據安全定級、脫敏的意識。3.2.33項目標準則數據中臺的3項目標準則——可見、可用、可運營，不僅可作為企業在數據中臺建設中的具體建設指引，也可用來客觀評估目前建設內容的完整度。這3項目標準則的評估細則見表3-1。表3-1數據中臺建設目標評估表3.2.44套建設內容建設內容是數據中臺建設的核心，是可呈現的產出物，也是數據中臺價值所在，前面的戰略措施、保障條件、目標準則都是為了建設內容能夠順利產出并且可以持續發揮價值。筆者認為數據中臺的建設內容包含技術體系、數據體系、服務體系、運營體系四大體系，通過這四套體系的建設實現數據中臺讓數據持續用起來的目標。技術體系是基礎支撐，就像是骨架一樣撐起整個數據中臺。數據體系就像是數據中臺的血肉，數據中臺對外呈現的主要內容就是數據體系。服務體系是數據中臺的價值所在，就像數據中臺的靈魂一樣，激活靜止的骨架、血肉，讓中臺動起來，發揮價值。運營體系是數據中臺的守護者，通過運營體系保證整個中臺的健康、持續運轉。1.技術體系技術體系分兩個層面：大數據存儲計算技術和數據中臺工具技術組件，技術體系主要關注點是工具技術組件。大數據存儲計算技術，比如Hadoop、Spark、Flink、Greenplum、Elasticsearch、Redis、Phoenix等，相對標準，企業只需要進行合理選型即可，并不需要自己建設，而且技術難度很大，企業也不太可能自己建設。數據中臺工具技術組件包括數據匯聚、數據開發、數據資產管理、數據服務管控等。數據中臺是企業制定和實施數據匯聚、建模和加工規范的場所，也是企業數據體系存儲管理的工具平臺。通過工具化、產品化、可視化降低技術門檻，讓數據能夠被更方便地加工使用。2.數據體系數據體系是數據中臺建設、管理、使用的核心要素，全企業的數據通過各種方式匯聚到數據中臺，在數據中臺按照一定的建模方式進行加工，形成企業的數據資產體系。數據中臺始終圍繞著數據體系的建設和使用，讓數據體系盡可能完整、準確、使用廣泛。不同企業的業務不同、數據不同，數據體系的內容不同，但是建設的方法和對工具的要求是相似的，需要在中臺工具和建設方法的基礎上針對不同的企業建設不同的數據體系。3.服務體系數據中臺與大數據平臺的最主要區別是數據能更方便地以服務化的方式支撐業務，而這是通過數據中臺服務體系實現的。服務體系是通過數據中臺的服務組件能力，把數據變為一種服務能力，比如客戶微觀畫像服務、信用評估服務、風險預警服務等，讓數據能夠方便地參與到業務中并為業務帶去價值。筆者經常聽到的數字化轉型、數據化經營，就是讓業務決策通過數據而不是僅憑經驗，需要的正是數據服務能力。每家企業的業務不同，對數據服務的訴求也不同，數據中臺無法產品化地提供企業所需的所有數據服務能力。數據中臺通過提供數據服務生成、發布、監控、管理功能，幫助企業逐個建立屬于自己的每一個數據服務，逐步完成企業數據服務體系的構建。4.運營體系運營體系是數據中臺得以健康、持續運轉的基礎。運營體系包括平臺流程規范執行監督、平臺資源占用的監管及優化推動、數據質量的監督及改進推動、數據價值的評估、數據服務的推廣、稽查排名等。其目標是讓平臺可以持續健康運轉，產生持續價值。數據中臺是個復雜工程，數據的匯聚、開發、管理、服務都是要持續進行的工作，如果沒有運營體系的保障，可能會導致后期的參與者無從下手，隨著時間的推移，數據的質量、服務的效率也會持續下降，進而導致中臺無法使用。數據中臺是一個持續的過程，一旦啟動，就不能暫停，更不能停止，而保障數據中臺持續高效運轉的就是這套運營體系。3.2.55個關鍵步驟數據中臺在具體落地實施時，要結合技術、產品、數據、服務、運營等5個方面，逐步開展相關的工作，在構建閉環時會多考慮基礎設施部分的能力。一旦閉環建設完成，就可以在各個環節不斷豐富能力，逐步成為數據應用的完整體系。根據筆者的實踐經驗，數據中臺的建設過程主要通過5個關鍵步驟來完成，如圖3-6所示。圖3-6中臺建設的5個關鍵步驟1.理現狀梳理企業的系統建設、已經擁有的數據以及業務特點等現狀，了解企業對數據中臺的認知，以及相應的數據文化建設情況。點對點地與業務部門、IT部門進行溝通，獲取企業的產品和服務信息，形成業務現狀調研報告，同時了解目前企業以怎樣的組織形態來保證客戶的服務能力。詳細調研目前企業的IT建設情況和業務數據沉淀情況，比如采用的什么數據庫、數據量、數據字段和更新周期等，以便后續更好地設計技術架構。2.立架構根據現狀形成整體的規劃藍圖，形成技術產品、數據體系、服務方式以及運營重點等相關的方案，梳理并確立各塊架構。企業信息架構經常談到的4A，即業務架構、技術架構、應用架構和數據架構都需要在這個階段進行確認。這4個架構具體介紹如下：·業務架構：保障數據中臺能夠適用于企業的業務運管模型和流程體系。·技術架構：主要是指技術體系中的數據基座，主要根據業務架構近遠期規劃，對數據的存儲和計算進行統一的選型。·應用架構：特指數據中臺應用架構，后面幾個關鍵步驟的內容所依賴的工具主要由數據中臺作為平臺應用來承接。·組織架構：主要是保證中臺項目的順利落地需要企業考慮的整體組織保障，其中的角色有業務人員、IT人員、供應商和相關負責人。3.建資產結合數據架構的整體設計，通過數據資產體系建設方法，幫助企業構建既符合場景需求又滿足數據架構要求的數據資產體系并實施落地。這個步驟涉及數據匯聚、數據倉庫建設、標簽體系建設以及應用數據建設，其中最關鍵的是標簽體系建設。所謂標簽體系是面向具體對象構建的全維度數據標簽，通過標簽體系可以方便地支撐應用，大數據的核心魅力和服務能力主要就體現在標簽體系的服務能力上。4.用數據從應用場景出發，將已經構建的數據資產通過服務化方式，應用到具體的業務中，發揮數據價值。將數據資產快速形成服務能力并與業務進行對接，在業務中產生數據價值，實現數據的服務化、業務化。在服務過程中，數據安全是不得不考慮的問題，哪些人能看到什么數字資產，能選擇什么類型的服務都是需要嚴格審核的。5.做運營數據應用于業務后，其產生的價值通過運營的能力不斷優化迭代，并讓更多的人感知到數據的價值點。數據中臺建設是一個持續建設和運營的過程，所謂持續建設和運營是指在架構基本穩定的情況下，不斷循環第3～5步，多方角色會圍繞核心KPI不斷挖掘數據和業務場景的結合點，不斷根據質量和價值兩個點來運營優化。企業通過多個組織之間的配合推進，會逐步形成企業特有的數據文化和認知，這是企業在數字化轉型中非常重要但很難跨越的點。3.3數據中臺架構通過前面對數據中臺建設方法論體系的介紹，了解了數據中臺的行動、保障、準則、內容和步驟。這一節將讓大家了解數據中臺的總體架構、包含的模塊、模塊之間的關系以及運轉機制。數據中臺的目標是讓數據持續用起來，通過數據中臺提供的工具、方法和運行機制，把數據變為一種服務能力，讓數據更方便地被業務所使用。圖3-7所示為數據中臺的總體架構圖，數據中臺是位于底層存儲計算平臺與上層的數據應用之間的一整套體系。數據中臺屏蔽掉底層存儲平臺的計算技術復雜性，降低對技術人才的需求，讓數據的使用成本更低。通過數據中臺的數據匯聚、數據開發模塊建立企業數據資產。通過資產管理與治理、數據服務把數據資產變為數據服務能力，服務于企業業務。數據安全管理、數據運營體系保障數據中臺可以長期健康、持續運轉。1.數據匯聚數據匯聚是數據中臺數據接入的入口。數據中臺本身幾乎不產生數據，所有數據來自于業務系統、日志、文件、網絡等，這些數據分散在不同的網絡環境和存儲平臺中，難以利用，很難產生業務價值。數據匯聚是數據中臺必須提供的核心工具，把各種異構網絡、異構數據源的數據方便地采集到數據中臺中進行集中存儲，為后續的加工建模做準備。數據匯聚方式一般有數據庫同步、埋點、網絡爬蟲、消息隊列等；從匯聚的時效性來分，有離線批量匯聚和實時采集。2.數據開發通過數據匯聚模塊匯聚到中臺的數據沒有經過處理，基本是按照數據的原始狀態堆砌在一起的，這樣業務還是很難使用。數據開發是一整套數據加工以及加工過程管控的工具，有經驗的數據開發、算法建模人員利用數據加工模塊提供的功能，可以快速把數據加工成對業務有價值的形式，提供給業務使用。數據開發模塊主要面向開發人員、分析人員，提供離線、實時、算法開發工具，以及任務的管理、代碼發布、運維、監控、告警等一系列集成工具，方便使用，提升效率。圖3-7數據中臺總體架構圖3.數據體系有了數據匯聚、數據開