工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)白皮書1.0_第1頁
工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)白皮書1.0_第2頁
工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)白皮書1.0_第3頁
工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)白皮書1.0_第4頁
工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)白皮書1.0_第5頁
已閱讀5頁,還剩200頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

本報告所載的材料和信息,包括但不限于文本、圖片、數(shù)據(jù)、觀點、建議,不構(gòu)成法律建議,也不應替代律師意見。本報告所有材料或內(nèi)容的知識產(chǎn)權(quán)歸工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟所有(注明是引自其他方的內(nèi)容除外),并受法律保護。如需轉(zhuǎn)載,需聯(lián)系本聯(lián)盟并獲得授權(quán)許可。未經(jīng)授權(quán)許可,任何人不得將報告的全部或部分內(nèi)容以發(fā)布、轉(zhuǎn)載、匯編、轉(zhuǎn)讓、出售等方式使用,不得將報告的全部或部分內(nèi)容通過網(wǎng)絡(luò)方式傳播,不得在任何公開場合使用報告內(nèi)相關(guān)描述及相關(guān)數(shù)據(jù)圖表。違反上述聲明者,本聯(lián)盟將追究其相關(guān)法律責任。工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟聯(lián)系電話的十九大報告中提出要“加快建設(shè)制造強國,加快發(fā)工業(yè)是國民經(jīng)濟的主導,每一次工業(yè)屆的重大變革都會對社會發(fā)展形成重大系統(tǒng)深度融合,以加速工業(yè)體系的智能化變革。工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟(AII)在牽頭編寫單位:中國信息通信研究院工業(yè)大數(shù)據(jù)應用技術(shù)國家工程實驗室:祝守宇、紀上海理想信息產(chǎn)業(yè)(集團)有限公司:吳珉杰、本報告所載的材料和信息,包括但不限于文本議,不構(gòu)成法律建議,也不應替代律師意見。本護。如需轉(zhuǎn)載,需聯(lián)系本聯(lián)盟并獲得授權(quán)許可。未報告的全部或部分內(nèi)容以發(fā)布、轉(zhuǎn)載、匯編、轉(zhuǎn)讓、出售等報告的全部或部分內(nèi)容通過網(wǎng)絡(luò)方式傳播,不得在任何公 1 1 2 3 5 6 8 9 10 12 12 12 16 17 18 19 19 20 21 22 23 24 25 26 26 26 27 32 32 33 33 34 37 37 37 38 40 45 46 47 47 48 51 51 52 52 54 57 58 59 59 59 63 64 64 64 65 69 70 71 71 76 82 82 85 85 86 90 90 91 91 93 95 97 98 99第一章工業(yè)大數(shù)據(jù)系統(tǒng)綜述1.1建設(shè)意義及目標工業(yè)大數(shù)據(jù)系統(tǒng)的建設(shè)首要解決的是如何將多來源的海量異構(gòu)數(shù)據(jù)進行統(tǒng)1.2重點建設(shè)問題.如何采集來自多種數(shù)據(jù)源的異構(gòu)數(shù)據(jù);.如何按照不同的數(shù)據(jù)留存需求進行高效存儲;.如何按照業(yè)務需求選擇數(shù)據(jù)計算引擎和處理工具;.如何保障系統(tǒng)的安全和穩(wěn)定運行。第二章工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)概述業(yè)外部數(shù)據(jù)源獲取數(shù)據(jù)的功能,并實現(xiàn)在不同2.1數(shù)據(jù)采集與交換將工業(yè)互聯(lián)網(wǎng)中各組件、各層級的數(shù)據(jù)匯聚在一起,是大數(shù)據(jù)應用的前提。為了避免在不同系統(tǒng)間建立連接導致的N平方復雜性,一般采取消息中間件統(tǒng)中的哪些數(shù)據(jù)感興趣,如果不再感興趣,則可以取消訂閱;而消息中間件則根據(jù)費者。信息的生產(chǎn)者也稱為發(fā)布者(Publisher信息的消費者稱為訂閱者數(shù)據(jù)交換是指工業(yè)大數(shù)據(jù)應用所需的數(shù)據(jù)在不同應用系統(tǒng)之間的傳輸與共2.2數(shù)據(jù)集成與處理工業(yè)大數(shù)據(jù)集成就是將工業(yè)產(chǎn)品全生命周期形成的許多個分散的工業(yè)數(shù)據(jù)模與分析;數(shù)據(jù)加載是將已經(jīng)加工好的數(shù)據(jù)織數(shù)據(jù),用于處理永久、穩(wěn)定的數(shù)據(jù);NoSQL數(shù)據(jù)服務層的主要作用是提供數(shù)據(jù)服務的接口,以實現(xiàn)工業(yè)大數(shù)據(jù)的訪問、2.3數(shù)據(jù)建模與分析2.創(chuàng)新理論和模型建立周期比較長2.4決策與控制應用2.5技術(shù)發(fā)展現(xiàn)狀第三章工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)實現(xiàn)3.1技術(shù)組件選擇3.1.1數(shù)據(jù)采集入理步入步入集器集集入1.設(shè)計資料:設(shè)計資料大多來源于傳統(tǒng)工業(yè)設(shè)計和制造類軟件,如:CAD、括企業(yè)資源計劃(OA/ERP)、生產(chǎn)過程執(zhí)行系統(tǒng)1.工業(yè)控制系統(tǒng)數(shù)據(jù):工業(yè)控制系統(tǒng)數(shù)據(jù)的來源主要包括分布式控制系統(tǒng)4.其他外部裝置:其他外部裝置產(chǎn)生的數(shù)據(jù)以視頻攝像頭為例,數(shù)據(jù)主要來LWM2M等多種通信協(xié)議的能力。在面對各類傳感器的數(shù)據(jù)采集時,可以結(jié)合SigFox等技術(shù)和工作于授權(quán)頻譜下傳統(tǒng)的2/3/4G蜂窩技術(shù)及其3GPP支持的LTE3.1.2數(shù)據(jù)存儲NoSQL數(shù)據(jù)庫Neo4j設(shè)備監(jiān)控、實時診斷等對時適用于大數(shù)據(jù)量的,周期性的數(shù)據(jù)分析,例如階段性的等適用于事件及人之間的關(guān)聯(lián)分析,比如建立用戶畫像進產(chǎn)線或銷售環(huán)節(jié)的綜合報表海量數(shù)據(jù)高并發(fā)時的彈性擴需要迭代優(yōu)化的數(shù)據(jù)挖掘場景,如故障預測、用戶需求失、降低成本及人為誤判的可能性。這類用于分析的歷史數(shù)據(jù)一般選擇使用3.1.3數(shù)據(jù)計算3.1.4混合云架構(gòu)3.2建設(shè)標準3.2.1基礎(chǔ)業(yè)務能力.數(shù)據(jù)存儲和計算。大數(shù)據(jù)平臺應該能支持TB到PB級多種類型數(shù)據(jù)的存3.2.2數(shù)據(jù)管理能力3.2.3運維管理能力大數(shù)據(jù)平臺在生產(chǎn)環(huán)境下的部署、運行與維護,需要做到高可靠、簡操作、3.2.4安全管理洞及病毒,根據(jù)掃描的結(jié)果更正網(wǎng)絡(luò)安全漏洞和系統(tǒng)中的錯誤配置;3.2.5性能要求3.2.6開放與兼容性接,能夠兼容支持各類數(shù)據(jù)源、外圍協(xié)同系便集成與優(yōu)化。同時提供開放接口,支持與各類.兼容性。由于傳統(tǒng)用戶的大部分數(shù)據(jù)分析任務是以結(jié)構(gòu)化數(shù)據(jù)為主的第四章總結(jié)與展望附錄一:典型案例一、富士康NPI制造大數(shù)據(jù)1、案例背景與業(yè)務痛點NPI制造大數(shù)據(jù)平臺主要解決以下兩個業(yè)務痛點:數(shù)據(jù)包含產(chǎn)品各階段的生產(chǎn)數(shù)據(jù)(產(chǎn)品測試數(shù)據(jù)、產(chǎn)線組裝數(shù)據(jù)、進料(DIF&SMC)進行數(shù)據(jù)集成與處理并建立分析工作流模塊、數(shù)據(jù)查詢模塊以及據(jù)產(chǎn)品將關(guān)聯(lián)性數(shù)據(jù)進行整合,再由DIF(DataIna)KM主要接收各類型文檔進行分類儲存、解析內(nèi)文、并利用ElasticSearch(一套支持全文檢索的開源項目)進行建立索引庫及支持文件內(nèi)b)分析工作流:用戶自定義需求數(shù)據(jù)字段通過storedprocedure定期向3、實施效果與推廣意義新且先進的模型研究。每個步驟都是可累積經(jīng)二、中國聯(lián)通工業(yè)大數(shù)據(jù)采集分析平臺1、案例背景與業(yè)務痛點為貫徹落實《中華人民共和國國民經(jīng)濟和社會發(fā)展第十三個五年規(guī)劃綱要》2、解決方案數(shù)據(jù)挖掘?qū)庸I(yè)大數(shù)據(jù)應用層產(chǎn)品良品優(yōu)化計劃質(zhì)量預測工藝偏差報表分析大數(shù)據(jù)分析離線計算(MapReduce/Hive)Storm數(shù)據(jù)挖掘?qū)庸I(yè)大數(shù)據(jù)應用層產(chǎn)品良品優(yōu)化計劃質(zhì)量預測工藝偏差報表分析大數(shù)據(jù)分析離線計算(MapReduce/Hive)Storm機床自優(yōu)北向接口采集終端采集終端歷史狀態(tài)/軌跡指令下發(fā)數(shù)據(jù)訂閱與發(fā)布大數(shù)據(jù)分析挖掘模塊數(shù)據(jù)清洗數(shù)據(jù)告警數(shù)據(jù)清洗數(shù)據(jù)告警數(shù)據(jù)解析實時計算(Storm/SparkStreaming)計算 南向接口通訊芯片/模組專用網(wǎng)元排產(chǎn)計劃平臺連接管理平臺計量器終端設(shè)備傳感器數(shù)據(jù)匯聚層入層接工業(yè)級的傳感器數(shù)據(jù)采集解決方案為工廠內(nèi)特殊環(huán)境的數(shù)據(jù)采集提供可靠3、實施效果與推廣意義4、案例亮點采用外部傳感器數(shù)據(jù)采集方式完成非開放總線數(shù)據(jù)生產(chǎn)設(shè)備和非數(shù)據(jù)化生三、華為云EI企業(yè)智能打造智能化九州通1、案例背景與業(yè)務痛點導致在企業(yè)業(yè)務快速發(fā)展的同時,物流卻止步不前,越來越無法滿足業(yè)務的需2、解決方案九州通公司基于華為云建設(shè)工業(yè)領(lǐng)域集成平臺,聯(lián)接企業(yè)、供應商和客戶,(3)發(fā)票識別:靠人工發(fā)票內(nèi)的明細進行(4)銷售預測:對各零售平臺的數(shù)據(jù)無法準華為云智能物流服務通過高效的機器學習和優(yōu)化算法解決了多個物流場景2.大數(shù)據(jù)平臺云上遷移方案3.銷售預測分析方案4.OCR增值稅發(fā)票單據(jù)識別方案3、實施效果與推廣意義讓開發(fā)和平臺能力共享更加的便捷,降低九4、案例亮點(3)機器學習平臺:通過Notebook四、濰柴工業(yè)大數(shù)據(jù)平臺1、案例背景與業(yè)務痛點2、解決方案機自帶程序?qū)Σ杉降臄?shù)據(jù)進行匯總并上傳至本地存儲服務器完成原始數(shù)據(jù)采生產(chǎn)節(jié)拍數(shù)據(jù)需要采集全部產(chǎn)線的工位節(jié)拍數(shù)據(jù),數(shù)據(jù)采集分為兩種情況:3、實施效果與推廣意義4、案例亮點程的最小平方函數(shù)對一個或多個自變量和因變量之間關(guān)系進行建模的一種回歸通過一定的數(shù)據(jù)清洗算法將與擰緊過程不相關(guān)的數(shù)據(jù)去除如上圖紅色部分。五、中國移動OneNET助力工業(yè)資產(chǎn)管理1、案例背景與業(yè)務痛點制版企業(yè)生產(chǎn)設(shè)備資產(chǎn)管理項目是中國移動物聯(lián)網(wǎng)開放平臺OneNET為制版企業(yè)的核心制造機床設(shè)備--電雕機以及其他制造設(shè)備提供的工業(yè)物聯(lián)網(wǎng)設(shè)備制版企業(yè)生產(chǎn)設(shè)備資產(chǎn)監(jiān)控項目是中國移動物聯(lián)網(wǎng)有限公司為制版企業(yè)的2、解決方案物聯(lián)網(wǎng)采集設(shè)備通過本地網(wǎng)絡(luò)或者蜂窩模組接入到中國移動OneNET物聯(lián)項目中機床的資產(chǎn)信息、財務信息和耗材記錄,通過企業(yè)ERP系處理OneNET采集的機床實時數(shù)據(jù),根據(jù)計3、實施效果與推廣意義4、案例亮點1、案例背景與業(yè)務痛點LEAPHD、物聯(lián)網(wǎng)采集及邊緣計算LEAPEdgeServer、數(shù)據(jù)集成平臺LEAP聯(lián)想工業(yè)物聯(lián)網(wǎng)集成平臺LEAPEDGE幫助用戶從物聯(lián)網(wǎng)大數(shù)據(jù)分析中獲3、實施效果與推廣意義在采用大數(shù)據(jù)解決方案之前,提升產(chǎn)品的質(zhì)量最大的問題在于數(shù)據(jù)來源少,而通過利用大數(shù)據(jù)技術(shù),聯(lián)想可以通過在全量移動設(shè)備上的數(shù)據(jù)跟蹤,實時/非點,預測以它為起點一個月后的需求量相對誤差<15%,6個月后的相對誤差數(shù)據(jù)平臺涵蓋大數(shù)據(jù)領(lǐng)域的多個核心技術(shù),并構(gòu)建了面向骨干企業(yè)的供應鏈優(yōu)化、七、格力電器工業(yè)大數(shù)據(jù)平臺1、案例背景與業(yè)務痛點格力集團在多年的發(fā)展中積累了大量的生產(chǎn)經(jīng)營數(shù)據(jù)及豐富的數(shù)據(jù)分析經(jīng)數(shù)據(jù)庫中。Sqoop使用元數(shù)據(jù)模型來判斷數(shù)據(jù)類型并在數(shù)據(jù)從數(shù)據(jù)源轉(zhuǎn)移到Kafka作為一種高吞吐量的分布式發(fā)布訂在實時數(shù)據(jù)處理上,通過采集層數(shù)據(jù)通過消息隊列組件Kafka接入到Spark3、實施效果與推廣意義億條記錄,目前采集數(shù)據(jù)超過100T,格力格力工業(yè)大數(shù)據(jù)平臺是航天云網(wǎng)工業(yè)大數(shù)據(jù)技術(shù)實踐與應用典型案例之一,八、合力叉車工業(yè)互聯(lián)網(wǎng)平臺1、案例背景與業(yè)務痛點市場,市場正在向這樣的顧客轉(zhuǎn)移——他們需要高質(zhì)量并且更加接近他2)個性化產(chǎn)品的需求是不穩(wěn)定的。過去對標準產(chǎn)品的大量需求已分割成對以做到這一點,但成本太高。而增加產(chǎn)品多4)在生產(chǎn)中建立豐富的多樣化,不能通過專用的規(guī)模化生產(chǎn)技術(shù)來實現(xiàn)。的生產(chǎn)周期生產(chǎn)大量不同品種、高質(zhì)量的產(chǎn)品。這需要有柔的收益。這樣得到的利潤差彌補了由于產(chǎn)量低帶來的低效率。隨著在規(guī)模化定制過程中經(jīng)驗的積累,會經(jīng)常發(fā)現(xiàn)具有多品種的產(chǎn)品能夠以與標7)由于細分市場規(guī)模越來越小且不斷變化,只有以更快的速度生產(chǎn)品種的產(chǎn)品才能不斷取得成功。產(chǎn)品技術(shù)變化的速度日益加8)隨著產(chǎn)品開發(fā)周期的縮短,產(chǎn)品生命周期也在縮者+海量用戶”生態(tài)資源,搶占工業(yè)大數(shù)據(jù)入口主導權(quán)、培育海量開2、解決方案提供移動端及客戶端多種方式,支持一線生產(chǎn)員工實時進行生產(chǎn)過程匯報,一致性檢查是根據(jù)每個變量的合理取值范圍和相互關(guān)系,檢查數(shù)據(jù)是否合乎要求,發(fā)現(xiàn)超出正常范圍、邏輯上不合理或者相互矛盾的數(shù)據(jù)并剔刪除等。最終將臟數(shù)據(jù)轉(zhuǎn)化為滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)。然后根據(jù)數(shù)據(jù)的具體類型格式存儲至關(guān)系型數(shù)據(jù)庫或者非結(jié)構(gòu)化數(shù)據(jù)庫中是數(shù)據(jù)以某種格式記錄在計算機內(nèi)部或外部存儲介質(zhì)上的過程、方式和結(jié)果。通過非分布式數(shù)據(jù)庫,對文本數(shù)據(jù)及圖片數(shù)據(jù)進行存儲管理;通過對數(shù)據(jù)讀寫操作的分布式處理,可提升數(shù)據(jù)庫整體數(shù)據(jù)寫入和查詢性能,滿足數(shù)據(jù)快速檢索要求;通過批處理計算集群,實現(xiàn)數(shù)據(jù)離線式的中的、有著特定關(guān)系性信息的過程。針對具體業(yè)務需求機器學習技術(shù),通過合適的數(shù)學模型,對采集數(shù)據(jù)進行深度挖掘計算。機器學習技術(shù),通過合適的數(shù)學模型,對采集數(shù)據(jù)進行深度挖掘計算。如建立叉車維保數(shù)據(jù)模型,利用歷史及實時數(shù)據(jù)對叉車全生命周期進行理和資源分配。資源池管理包括對資源池的擴充和縮減,暫停使用某些資源池等操作。平臺設(shè)計充分考慮數(shù)據(jù)集中管理的要求,對資源池進行3、實施效果與推廣意義2)通過工業(yè)互聯(lián)網(wǎng)平臺對車輛的監(jiān)控預警,和在焊接、涂裝等存在職業(yè)傷1)通過本項目的設(shè)備異常檢測和預防性維保的主流無人駕駛車形成較強的性能與成本優(yōu)勢,未來將提升4、案例亮點九、東方國信大數(shù)據(jù)助力聯(lián)合利華能源管理1、案例背景與業(yè)務痛點匯聚全球數(shù)千余名活躍開發(fā)者,逐漸形成資源富集、開放共享、創(chuàng)新活躍、高效提高產(chǎn)品競爭力,聯(lián)合利華提出每年在上一年基礎(chǔ)上減少能耗5%。在多年技術(shù)2、解決方案聯(lián)合利華能源管理大數(shù)據(jù)系統(tǒng)基于東方國信工業(yè)互聯(lián)網(wǎng)平臺Cloudiip,融數(shù)據(jù)采集層通過不同協(xié)議及接口完成深層次數(shù)據(jù)采集并實現(xiàn)不同協(xié)議數(shù)據(jù)),3、實施效果與推廣意義大數(shù)據(jù)系統(tǒng)對推動“互聯(lián)網(wǎng)+”智慧能源發(fā)展,推進能源監(jiān)測、能量計量、調(diào)度運行和管理智能化體系建設(shè),提高能源發(fā)展可持續(xù)自適應4、案例亮點),4)數(shù)據(jù)采用云存儲,磁盤容量無限制,可根據(jù)存6)平臺可進行海量數(shù)據(jù)在線加工、統(tǒng)計、分析十、優(yōu)也基礎(chǔ)工業(yè)大數(shù)據(jù)平臺在鋼鐵能效的應用優(yōu)也致力于運用工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)技術(shù)來提和工業(yè)互聯(lián)網(wǎng)平臺技術(shù)的深度耦合,開發(fā)整合成數(shù)字化智能化的專屬解決方案,1、案例背景與業(yè)務痛點煤氣系統(tǒng)在不同程度上存在上述的問題。各生產(chǎn)廠相距數(shù)公里,五臺產(chǎn)氣高爐平衡調(diào)度系統(tǒng)來介紹如何利用工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)技術(shù)解決鋼鐵行業(yè)的煤氣實時尋優(yōu)調(diào)配問題,感謝北京天澤智云在2、解決方案

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論