支持數字化轉型：變革數據管理架構和解決方案你可以推進數字化轉型，實現流程、事物和人員之間的互聯；提高技術平臺的性能；借助云服務和商務32%的受訪者表示，他們近期的物聯網投資項目產生了顛覆性的影響，幫助企業轉戰新的產品或服務領域，分析服務，把握機遇，實現企業的數字化轉型。如今，越來越多的業務和IT高管不僅希望利用技術來提高工作效率和生產力，加強成本控制，還希望利用技術創收、加速創新和提高企業履行使命的能力。IDC近日調查了500多家企業的物聯網投資情況。根據調查結果，32%的受訪者表示，他們近期的物聯網投資項目產生了顛覆性的影響，幫助企業轉戰新的產品或服務領域，57%的受訪者表示，他們的物聯網投資項目極具戰略意義，能幫助他們利用目前提供的產品和服務，更有效地參與競爭，降低成本，并提高工作效率。57%的受訪者表示，他們近期的物聯網投資項目極具戰略意義，能幫助企業利用目前提供的產品和服務，更有效地參與競爭，降低成本，并提高57%的受訪者表示，他們近期的物聯網投資項目極具戰略意義，能幫助企業利用目前提供的產品和服務，更有效地參與競爭，降低成本，并提高工作效率。鑒于信息是新數字化生態系統的核心，企業必須像對待其他資產一樣處理數據和信息。他們必須投資技術和人才，從洞察中發掘價值；重點投資培養企業的數據應用能力。但是，很多IT部門疲于應對信息帶來的挑戰：業務部門對速度和價值有著迫切的需求；數據復雜性和規模急劇攀升；數據技能和素養普遍不足。這并不是說，每個企業的情況都一樣。由于起點的不同，每個企業將開啟不同的數字化轉型之旅。若想踏上正確的轉型道路，企業需要對現有數據和信息功能進行準確的自我評估，并就持續轉型構建愿景。在IDC的調查中，他們根據企業現有的數據和信息管理功能，將企業分為三大類：第一類企業希望革新現有（往往是過時的）數據管理架構和解決方案。他們的數據管理技術彼此孤立，缺乏可擴展性和性能，無法應對企業內部或外部數據源生態系統中的海量數據、數據類型，以及數量的生成速度。第二類企業希望擴展最近部署的新一代數據管理技術，確保集成內部原有系統，從而實現更全面的數據管理功能轉型。這類企業已經有了成功的數據管理項目經驗，并從中獲得了實實在在的業務收益，包括數據貨幣化。第三類企業已經在新一代數據管理技術上投入了大量資金。這類企業成功地集成了新舊技術，并通過這類投資，在企業的各個領域實現了業務價值。如果貴企業屬于這一類別，那么現在是時候擴展早期成果了。如何做到這一點呢？答案就是利用新的數據管理解決方案提供的創新型加速工具（如人工智能），支持越來越多的內外部利益相關者。不論當前企業處于哪個階段，數字化轉型為每個人提供了機會。本文分為三部分，每個部分分別介紹處于不同數字化轉型階段的企業，更確切地說，是數據和信息架構與解決方案轉型的不同階段。我們聚焦數字化轉型的數據和信息管理功能，同時也充分認識到，若想實現全面的數字化轉型，我們還需要其他功能。本文剖析了數字化轉型帶來的機遇和挑戰，以及數據解決方案投資蘊藏的潛在收益。本文有三章介紹自我評估方法，以及企業在三個數字化轉型階段的常見特點。我們建議利用本文介紹的自我評估方法，自行評估企業的數據架構和解決方案的現狀。然后，你可以根據這些評估結果，制定未來計劃，構建業務案例，并制定技術投資決策。?2017IDC#US43338217頁現狀概覽1數據成數字化轉型核心3數據管理功能4踏上起跑線：變革數據管理架構和解決方案6自我評估6機遇7開啟數字化之旅7價值締造8建議9接力棒：變革數據管理架構和解決方案的下一步10自我評估推進數字化之旅11價值締造12建議13沖刺金牌：變革數據管理架構和解決方案，獲得巨大收益14自我評估機遇15持續推動并加快數字化之旅15價值締造16建議?2017IDC#頁1全新的數字化平臺32數字化轉型平臺的數據服務4頁1數據管理的自我評估維度62價值締造83十大建議91數據管理的自我評估維度102為變革推動者創造的價值123給變革推動者的十大建議131數據管理的自我評估維度142為高瞻遠矚的企業創造的價值163給高瞻遠矚的企業的十大建議17?2017IDC#大數據之“大”是一個無需反復重申的話題。為了駕馭所有數據，企業需要構建數字化轉型平臺（如圖1所示）。IDC認為，數字化轉型平臺是加速推進企業數字化轉型計劃的技術架構，能幫助企業快速構建面向外部的數字化產品、服務和體驗，同時積極地將內部IT環境升級為能夠將數據轉化為行動的智能智能核心平臺搭載了各種算法、代碼和模型，將幫助你從數據中挖掘洞察，據此采取行動。有些洞察和行動指向的是業務層面的決策，其他洞察和行動則與數據管理流程本身的決策有關，比如如何監控、處理、存儲（或不存儲）、分析和可視化數據，以及將數據嵌入其他應用？這些都是目前開發人員和管理員需制定的決策，而出現這種情況的很大一部分原因是因為企業在投資運營和分析系統中的決策自動化技術時，必要數據不足，無法從采用確定型方法轉為采用不確定型方法。圖1資料來源：IDC，2017年IDC認為，未來三到五年，能夠利用數字化轉型平臺方法，“重建架構，靈活調整規模”的企業最有可能成功實現數字化轉型。對企業來說，啟動數字化之旅迫在眉睫。根據麥肯錫公司(McKinsey&Company)的調查（資料來源：/mgi/overview/in-the-news/the-right-response-to-digital-disruption……有些企業高管可能認為，他們有大把時間來整合數字化計劃，或者，他們可以謹慎地推進數字化之旅。這種想法大錯特錯！我們的調查表明，在不到十年的時間里，新的數字化新興企業在各個地區、各行各業搶走了相當大一部分的收入份額（平均達到17%），留給現任企業的收入份額只有83%。……盡管數字化新興企業的收入“只”占全球總體收入的17%，但是他們的數字化收入占全球數字化收入的47%。構建智能核心平臺的方式將決定能否有效轉型，高效得參與競爭（或履行使命）。智能核心平臺必須搭配數據服務。?2017IDC#US433382173多年來，CIO一直致力于更高效地管理大數據的三大屬性（數量、速度和種類）。隨著企業面臨的生態系統和商業環境日趨復雜，他們亟需采用新方法。CIO的目光必須從三大屬性轉向三大元素（認知、增多年來，CIO一直致力于更高效地管理多年來，CIO一直致力于更高效地管理大數據的三大屬性（數量、速度和種類）。隨著企業面臨的生態系統和商業環境日趨復雜，他們亟需采用新方法。CIO的目光必須從三大屬性轉向三大元素（認知、增強和自動化），這三個元實現愿景的一個重要步驟就是要重新調整現有的信息管理和分析架構，轉而采用更專業（和更完善）的數據管理功能，并利用各種數據管理、治理、集成，以及數據完整性和分析服務。新架構包含這些數據管理功能。在新架構中，你能夠智能地協調通過數據管道實現互聯的核心和邊緣實體（機器、事物、人員、應用、機器人和數據存儲機制）網絡中的數據，并利用機器學習技術，持續監控、診斷、預測和規范機器可讀的規則和人工可讀的建議和洞察，然后從中挖掘智能信息（參見圖2）。資料來源：IDC，2017年?2017IDC#US433382174通過利用這些數據管理功能，你能夠全面認知企業現狀以及影響企業現狀的內外部事件；利用機器生成的建議，增強決策人員的能力；并部署自適應的自學型決策自動化解決方案。這是企業的愿景，但是你的企業目前處于哪個階段呢？下面幾章將一一介紹處于不同數字化轉型階段的企業。第一類企業正著手啟動數字化轉型之旅，革新數據管理架構和解決方案；第二類企業已經完成了初期投資，打算擴大投資規模；第三類企業開始投資最具創新性的最新解決方案，以期從數據管理解決方案中再次獲得指數級收益。我們將數字化轉型劃分為以下三個階段：1.踏上起跑線：變革數據管理架構和解決方案2.接力棒：變革數據管理架構和解決方案的下一步3.沖刺金牌：變革數據管理架構和解決方案，獲得巨大收益?2017IDC#US433382175你可以根據幾個因素，確定企業對數字化轉型的準備情況，包括，對革新企業數據管理架構和解決方案的準備情況。如果你最近一次大規模升級數據平臺要追溯至三年前，那么顯然在當時，一些“最新、最偉大”的技術還未面世。如果你的企業最近收購了另一家公司，而該公司使用的技術過時，那么你接過來的這個攤子對你來說就是一個很好的轉型機會。缺少最新的機器學習或流數據攝取技術不影響企業IT成熟度的界定。IT和業務高管了解他們企業的轉型之旅的起點在哪，知道需要進行哪類投資才能實現目標，這一點至關重要。如果你的業務和IT主管希望革新IT基礎架構，并且已經啟動了企業的數字化轉型，但同時受到了原有數據管理技術投資的阻礙，那么你的企業處于數字化轉型之旅的初級階段。有些技術運轉正常，并且這些年來也得到了優化；有些技術則磕磕碰碰，純屬浪費企業寶貴的人力資源和資金。你的企業很可能具有以下特點（如表1所示）：表1資料來源：IDC，2017年這些都不是不可逾越的挑戰。啟動數字化轉型之旅勢在必行，這是當今環境下的現狀。金融分析機構和激進的投資者近日開展了一系列嚴謹的評估調查并分析了后續損失的市場價值。結果表明，在過去幾十年支撐全球經濟發展的大型企業中，高管在宣貫其數字化轉型計劃時倍感壓力。?2017IDC#US433382176機遇不論企業規模如何，在數字化轉型早期，所有企業的目標都是制定數據優先的戰略。在制定此類戰略時，企業還需要評估潛在的機會以及構建漸進式業務案例的機會，用于證明新數據架構和解決方案投資的數據戰略應該包含以下五大元素：架構。架構是否基于數據平臺方法構建，能夠支持你靈活地訪問集成且可擴展的功能，進而采用模塊化、可重復使用的即插即用型方法，處理和分析所有工作負載涉及的數據？技術。技術組件中是否包括流數據和批量數據管理軟件，其中搭載了計算引擎的事件驅動型專業數據管理軟件、數據庫及數據存儲機制能否處理各種不同的數據類型和工作負載？現有的數據完整性和集成技術能否支持數據的收集、移動、整合和可視化，以及數據治理、數據質量和人員。你的企業是否掌握了顛覆數據格局所需的技術和分析技能？近年來，大多數企業的關注點都放在數據科學家身上；然而，數據架構師和數據工程師、治理團隊以及最重要的數據管理高管（越來越多的企業設立首席數據官一職）也需要因勢而動。流程。你能否理解、捕獲和分析整個數據管理生命周期中的流程，從而改進或革新這些流程？企業高管是否就加強跨部門協作和溝通進行了相關投資，用于宣貫數據驅動型文化的價值，以及進一步重申他們的觀點？數據。數據的可用性如何？在完整性、粒度、時效性、質量和安全方面，數據呈現出哪些特點？你有沒有追蹤和評估這些數據相關的變量？如果你將數據當作一種資產或資本，那么在總體數據戰略中，你也應該將數據視為資產或資本。變革數據架構和解決方案能為你帶來大量機會，但是在轉型初期，你獲得的收益多為提高效率、生產力以及對企業及其生態系統的總體認知能力，而這種認知能力的提升有望給企業帶來更豐厚的業務收益。具體來說，你將獲得以下重大機會：數據管理平臺。變革傳統IT數據管理平臺，融合最新的可擴展關系型數據庫、非關系型數據存儲、流數據集成、數據庫內數據轉換、數據完整性和數據安全技術應用開發。充分利用基于新數據平臺構建的新一代智能企業應用（此外，你還有機會基于新一代內存優化型數據庫，加速開發應用。）數據整合。整合和/或集成運營數據孤島和分析數據孤島內部和兩者之間的數據自助式數據準備。業務分析師或其他非IT用戶按需訪問數據準備功能，確保在正確的時機訪問可據以采取行動的信息，不受低效IT流程的限制數據流。集成流數據，整合并挖掘內部運營系統和外部數據源，獲取實時洞察任務自動化。更高效地管理數據和分析技術環境，因為無需再執行很多手動管理，比如，利用支持分析處理和事務處理[ATP]的數據庫，簡化系統管理，這樣員工就可以被調派至更具戰略性的活動中，如部署新應用基礎架構優化。使用針對特定基礎架構平臺進行了優化的新一代軟件，享受新一代的性價比優勢開啟數字化之旅數字化轉型之旅對于企業來說，機遇與挑戰并存。在數字化轉型過程中，企業有可能碰到以下技術和組對數據和/或分析感興趣的高管與承諾培養和投資數據驅動型文化的企業，這兩者之間是有區?2017IDC#US43338217采用新一代數據管理技術很可能會導致系統和數據庫管理員與數據工程師的角色發生變化。隨著技術供應商推出更多自動化技術，以及企業采用云解決方案，從事數據管理工作的員工需要從目前的一些手動重復性任務（如數據庫調試或基礎架構配置）中解放出來，投入到與新應用開發、供應商管理和數據治理等增值任務中。有些企業傾向于立即啟動快速創新項目，而且很多是關于所謂的大數據技術（如Hadoop）或人工智能的創新項目。你在利用技術處理大量半結構化數據并支持基于機器學習的分析時，應該將這些技術視為你的數據管理和分析解決方案工具集的一部分。此外，你還需要綜合總體數據架構來看待這些技術和其他技術，這點很關鍵。在使用近幾年大熱的一些開源數據管理技術時，你無需支付許可費用，但是卻需要投入大量支持和開發成本。你必須將這些技術視為更廣泛的數據管理平臺的一部分。企業意識到，數據管理和分析功能五花八門，他們需要循序漸進地部署這些功能并將其集成至平臺中。除了數據庫和數據湖技術外，你還能利用各種數據集成和完整性技術，執行數據清理、元數據管理、主數據管理、數據整合、數據可視化、流數據移動和數據治理任務。此外，為了完成分析任務，你需要使用高級分析、數據可視化、圖表分析、空間分析、AI/機器學習、富媒體和文本分析等技術。價值締造在數字化轉型之旅的早期，企業有望獲得三類收益。不同類型的收益之間有著某種聯系。值得一提的是，初期的數據架構和解決方案變革投資只能為企業帶來有限的業務收益，但卻能帶來豐厚的技術收益。然而，隨著數字化轉型之旅的繼續推進，企業將獲得更廣泛、更多種類的收益，并且更多的是業務收益。最后，數據平臺投資將開始為企業創造大量業務收益。換言之，為了認知企業過去、現在和預期運營狀態以及影響企業的外部因素所做的初期投資將幫助企業增強決策人員的能力，并自動化常規任務。根據企業首先選擇革新的特定技術，他們有望獲得的收益如表2所示。資料來源：IDC，2017年?2017IDC#US433382178建議假如企業計劃開始變革數據架構和解決方案，支持數字化轉型計劃，請務必考慮表3中列出的建議。資料來源：IDC，2017年?2017IDC#US433382179如本文開頭所述，就數據架構和解決方案而言，企業處于不同的轉型階段。你的企業最近可能已經投資部署了一些全新的數據庫和數據管理解決方案。你可能部署了內存計算數據庫和磁盤優化型數據庫（或者可能用前者替代后者），或者你可能利用實時流數據集成功能，增強了現有的批量數據提取、轉換和加載(ETL)解決方案。近期你也有可能投資了其他最新技術，其中可能包括面向以下領域的更強大的新功能：主數據管理和元數據管理、數據治理、結構化數據和非結構化數據的集成、事務系統數據和關系型數據倉庫的集成，和/或非關系型數據湖技術。換句話說，在數字化轉型之旅中，你的企業已經采取了一些前期的關鍵措施構建一個統一的數據服務架構。但是，在這段旅程中，你還會碰到更多其他的機遇和挑戰。表1列出了數據管理的自我評估維度。表1資料來源：IDC，2017年?2017IDC#US43338217機遇在該數據管理轉型階段，企業將獲得以下機遇：以標準化的方式及時訪問企業內部生成或從企業外部獲得的任意類型的數據建立企業級數據治理機制，在確保一致性和合規性的同時，不影響創新和靈活性提取在各種數據管理軟件和基礎架構選項（包括云選項和企業預置型選項）中實際處理的數據訪問面向以下領域的增值服務：可視化和案例講述高級分析，包括機器學習集成，包括整合和虛擬化完整性（轉換、清理和增強）以數據即服務形式提供的外部數據換言之，你將有機會擁有一個數據管理平臺，讓你能夠監控和檢測整個企業及其生態系統中的業務和技術流程。相比只是將運營應用當作事務處理和工作流管理工具，此類數據管理平臺處理企業應用的方式與頂尖線上零售商處理Web資產的方式一樣。這類數據管理平臺將借助企業應用，持續監控和檢測活動，并在后續利用高級分析功能，調整人員和機器之間、人員之間（以及未來機器之間）的流程和互動。推進數字化之旅數字化轉型之旅對于企業來說，機遇與挑戰并存。在數字化轉型過程中，企業有可能碰到以下技術和組信息技術團隊、業務線團隊和分析團隊之間的關系發生了變化企業內各個部門的最新數據管理技術采用率各有不同，導致企業在集成和訪問數據時面臨挑戰對于以何種步調將數據管理功能遷移至云端，企業內部意見不一內部員工缺乏相應技能，沒有掌握最新技術、新的架構設計和新的分析方法，也無法滿足與數據外部貨幣化有關的新業務要求由于一些項目沒有取得預期的收益，再加上企業對于試驗性項目缺乏耐心，導致承諾的項目資金不一定能夠到位企業對于使用機器學習或人工智能自動執行個人任務或整個流程存在不信任感；因為受到自動化常規業務流程任務的影響，系統和數據庫管理員、數據工程師以及業務用戶的角色也發生了相應的變化首席分析官和其他與數據打交道的首席級高管進行了調查。調查結果顯示，85%的高管采用了正式的方法來評估其數據計劃或項目的價值；65%的高管從數據中挖掘出了巨大或廣泛為此付出的所有努力都是值得的。2017年，IDC對122名首席數據官、首席分析官和其他與數據打交道的首席級高管進行了調查。調查結果顯示，85%的高管采用了正式的方法來評估其數據計劃或項目的價值；65%的高管從數據中挖掘出了巨大或廣泛的價值。價值締造全新的數據管理平臺提供的收益可分為以下三大類（如表2所示）。資料來源：IDC，2017年?2017IDC建議企業在繼續推進數據管理轉型之旅時，請務必考慮以下建議（如表3所示）。資料來源：IDC，2017年?2017IDC如本文開頭所述，就數據架構和解決方案而言，企業處于不同的轉型階段。你的企業可能已經在新一代數據管理技術上投入了大量資金，包括定制的軟件，如，內存計算列式數據庫、數據湖和專業的NoSQL數據庫，或者針對地理空間數據、時序或其他數據類型的引擎；流數據引擎，以及各種以IT為中心的最終用戶自助式數據準備、集成、完整性和治理軟件。混合計算基礎架構利用更先進的私有IaaS或云IaaS，支持不同的工作任務。而且，你的企業在集成傳統技術和新技術方面已經有了成功的經驗。除非你的企業是沒有原有系統束縛的新興企業，否則集成傳統技術和新技術對于你來說是至關重要的一步。而你們企業不僅在這些技術和相關員工和流程方面投入了資金，還從企業各個領域的此類投資中實現了業務價值。如果你的企業屬于這一類別，那么現在是時候擴展早期成果了。如何做到這一點呢？答案就是利用新的數據管理解決方案提供的創新型加速工具（如人工智能或機器學習、物聯網和增強現實/虛擬現實支持越來越多的內外部利益相關者。你的企業很可能具有以下特點（如表1所示）：表1資料來源：IDC，2017年?2017IDC#U機遇在該數據管理轉型階段，企業將獲得以下機遇：充分利用新型數據，比如，位置數據、行為數據、態度數據和交互式消費者數據；物聯網事件和性能數據；以及來自文本、視頻、圖像和音頻等數據源的非結構化內容。按需訪問來自內外部數據源的最新虛擬化數據。結合使用流數據處理、規則引擎、優化和機器學習技術，構建以決策為中心的計算架構，開發由事件驅動的系統。利用Kafka、Hadoop和Spark等開源組件和框架，擴展目前投資的數據管理軟件。引進數字助理、自然語言生成技術和新的企業搜索技術，提高知識型員工的生產力。開發機器人，自動執行重復性任務，解放員工從事增值型任務；然后隨著時間的推移，將以往的自動化任務互聯，從而自動執行某些業務流程。建立由數據驅動的新業務線，該業務線負責指導數據貨幣化工作，或者將數據與從數據中挖掘的增值型內容捆綁在其他產品或服務中，從而實現數據的貨幣化。利用最新的數據管理技術，吸引有意推動創新的開發人員和數據科學家。調整并改進現有業務流程，或基于新數據管理架構和解決方案生成的新洞察、新指標和新數據流，構建新業務流程。換句話說，你將有機會設計并部署感知和響應系統，自動執行越來越多的任務。借助此類新解決方案，你不僅能自動執行業務任務，還能自動執行技術任務，比如，數據集成、數據完整性、數據管理和分析流程中涉及的任務。軟件開發的指導原則是“打破常規”。即，將軟件開發和數據管理流程從由規則主導的確定型模式轉向持續自動調整的模式，前一種模式存在已有數十年，后一種模式是基于對數據管道各個層級粒度的持續觀察、分析、決策和閉環式行動進行調整。新架構將包含API數據、分析和洞察服務。此外，在新架構中，你能夠以智能方式協調通過數據管道實現互聯的核心和邊緣實體（機器、事物、人員、應用、機器人和數據存儲機制）網絡中的數據，并利用機器學習技術，持