1、關于多媒體網絡信息緩存管理和安全管理范文關于多媒體網絡信息緩存管理和安全管理范文多媒體信息是多種媒體數據結合的綜合體，具體有文本、語音、圖像、視頻等形式。網絡的開放性提供多媒體網絡大數據形成的契機，即網絡社交、在線教育、電子商務、新聞傳播等行業無時無刻不在產生圖像、文字、語音等形式的多媒體網絡信息x。但是多媒體技術在改善人類生活方式與生活效率的同時，也造成了數據冗余的不良影響。由于人們對多媒體網絡大數據的管理整合力度不足，所以大數據喪失了原本的事物預測、規律挖掘價值。本文結合大數據時代信息處理的熱點技術營造了多媒體網絡信息整合的高效計算環境x，基于數據倉庫設計一套高效且有效的數據整合管理方案，

2、優化多媒體網絡信息數據的使用價值。一、多媒體網絡信息大數據整合（一）Spark并行計算框架大數據時代產生的多媒體信息數據呈海量規模增長，然而傳統的串行計算環境每次只能執行單個指令，難以滿足用戶高效率、大規模數據整合需求。所以，對這部分數據信息的整合需要在大數據并行框架環境下完成，確保每次能夠執行多個數據計算指令以增加問題求解的范圍，從根本上改善復雜性多媒體信息大數據 TOC o 1-5 h z 整合計算的速度x。根據開源計算框架Hadoop的性能不足，技術人員開發了全新的基于內存運算的Spark并行計算框架，采用彈性分布式數據集代替傳統計算框架的核心數據結構，解決了數據整合運算期間產生的大量網

3、絡IO開銷與內存IO開銷問題，因此大幅度提升了大數據整合計算的效率，減少了資源占用率。在Spark并行計算框架下，多媒體大數據整合用戶借助彈性分布式數據集可實現部分數據在內存中的緩存，并行計算操作執行可以循環使用這部分緩存數據。Spark并行計算框架為了靈活操作彈性分布式數據集，設置了一部分特定算子專門為彈性分布式數據集運算提供服務。算子本質上是Spark的函數工具，因此，算子與彈性分布式數據集是Spark并行計算框架的核心構成。彈性分布式數據集為抽象化的數據結構，數據集在機群服務器內存中的存儲形式被其定義為“分布式”，換言之，一個多媒體網絡信息數據集被規劃成數個數據塊，一一分布存儲在機群節點

4、部位x。Spark框架賦予每個多媒體數據塊獨特的BlockID標識，識別BlockID標識對應的元數據即可靈活執行對數據塊的存儲、傳輸等操作。此外，為了方便借助算子操作多媒體數據，多媒體數據塊運算過程中被劃分成多個區域。除了彈性分布式數據集與算子設定以外，Spark并行計算框架引入了智能化任務調度機制，以改善大數據整合操作的調度問題。各個任務階段可以根據實際運算量確定使用“串行”還是“并行”方式，階段任務的中間結果不必要保存在HDFS內，進而減少Hadoop開啟與任務調度過程中產生的開銷問題。（二）基于數據倉庫的多媒體網絡信息大數據整合技術在多媒體網絡大數據整合分析之前，有必要對其進行壓縮處理

5、，降低多媒體網絡信息的冗余度，提高數據存在的價值度。所以，多媒體網絡信息大數據壓縮也是針對其多余部分進行壓縮處理。例如，網絡文件中如果反復出現同一符號，高于正常符號出現的頻率，減少或者刪除部分此符號即可達到數據壓縮的目的。本文選取哈夫曼編碼算法進行多媒體信息的無損無失真壓縮，最大程度維持數據信號的質量x。在此基礎上，利用數據倉庫技術對多媒體網絡信息大數據進行整合。數據倉庫的體系架構設計，見圖x.基于數據倉庫的多媒體網絡信息整合能夠描述多媒體數據的歷史性變化歷程，存儲整合數據的性能相對穩定，可以按照內容主題進行數據整合歸類，為多媒體網絡信息管理決策提供基礎條件。結合圖x分析基于數據倉庫整合信息的

6、過程:多媒體網絡信息主要以文本、語言、圖像等形式存在，對這部分數據進行壓縮處理后需要采用ETL工具進行數據調度，以規范數據表達形式；ETL數據調度主要包括數據抽取、轉換與加載。接下來構建CDC數據倉庫，按照多媒體網絡信息的主題要求進行分類整合存儲，設計數據模型時發揮OracleBIEExxg中間件作用。最后，通過數據倉庫整合的多媒體網絡數據可以作為特定行業的業務規劃、關聯規則挖掘以及決策分析的依據。以上是絡信息數據倉庫構建的基本過程，為提高大規模數據整合效率與穩定性，設計了數據倉庫的優化調度策略。同時，在數據倉庫集成關聯規則挖掘算法，輔助完成多媒體網絡信息的關聯度挖掘。X.數據倉庫的優化調度策

7、略ETL是數據倉庫全程使用的重要數據處理工具，完成文本、語音、圖像等多媒體信息由網絡云平臺向數據倉庫的抽取工作，根據數據規模的不同可使用全量抽取或者增量抽取。抽取期間以更加標準規范的方式約束數據質量，將有價值的數據轉移到數據倉庫中，排除冗余數據部分x。為了保證ETL工具調度的高效性與通暢性，基于螢火蟲算法改進ETL任務過程，將一個ETL任務視為一個螢火蟲，通過尋找每個螢火蟲都可以聚集到最亮位置的方案，確定最佳的任務調度方案。螢火蟲算法優化后的ETL調度數據運算的時間開銷最低，并且不會打破ETL任務相互依存的關系。x.數據倉庫的關聯規則挖掘策略網絡運行產生的多媒體信息原本來自差異性源頭，所以對應

8、的數據結構也存在差異。經過ETL轉換、加載處理數據可以規劃到相應的數據模型之中，呈現一定的較為淺顯的關聯關系。而Apriori算法可以幫助數據倉庫整合后的多媒體網絡信息進行深層次、高效率的關聯規則挖掘，獲得數據之間的關聯關系規律。定義存在XY,支持度與置信度采用s、c表示；其中，X、Y分別表示規則的前件與后件，關聯規則挖掘過程中，僅含有X的項出現在所有項集中的頻率解釋為支持度，而同時含有X、Y的項出現在含有X項集中的頻率解釋為置信度。Apriori算法挖掘關聯規則主要分為兩步，一是獲得頻繁項集，二是基于頻繁項集得出關聯性較強的規則，前提是規則不小于最小支持度與置信度。“頻繁項集”是指在最小支持

9、度之上的項集。關聯規則挖掘遵循迭代原則，當不會出現后續頻繁項集時停止運算。二、多媒體網絡信息大數據管理（一）多媒體網絡信息大數據的緩存管理多媒體網絡信息在整合過程中以及客戶使用期間都會產生不同程度的數據搜索指令，處理好數據搜索與緩存間的關系是提高多媒體數據利用與傳輸效率的關鍵。OLAP（聯機分析處理）是數據倉庫分析數據的核心工具，以多維度形式靈活實現數據透視、數據上卷、數據下鉆命令，以此得到決策性信息。因此，本文采用OLAP設計緩存機制解決多媒體網絡信息大數據的緩存管理問題，以提高數據整合與數據使用的效率。詳細的緩存機制結構，如圖x所示。為用戶端設計單獨的緩存模塊，并設置相應的內存型數據庫。當

10、搜索指令發送到緩存機制時需判斷此部分內容是否存在于緩存模塊，如不存在則需要立即緩存；若存在則需要到達用戶界面，判斷此部分內容是否存已經緩存，若已緩存則輸出搜索結果，緩存結束；若沒有緩存則需更新搜索指令語句，更新的方法是刪除搜索已在緩存模塊的查詢指令，進而得到搜索結果輸出，緩存結束。（二）多媒體網絡信息大數據的安全管理多媒體網絡信息安全管理需要從運維階段、數據加密、技術人員安全培訓等方面入手，全方位保障大數據處于安全穩定運行之中。x.在數據運營與維護階段，需要標記數據的準確來源，便于后期查詢數據的傳輸經過，為不確定問題提供解決證據。歐盟對個人性質的多媒體網絡信息數據已經形成了登記規范制度，以便用

11、戶對特殊性數據有效溯源。X.數據加密技術可以良好解決多媒體網絡信息的安全問題，對于構建的數據倉庫可以使用SSL加密技術保護文本、圖像等形式信息的安全性，即使是進行數據節點與應用程序交換行為也可以保障大數據處于安全傳輸狀態。即使黑客非正常用途獲得已加密數據后，也無法解密，無法探尋到多媒體數據中的核心要義。x.大數據管理人員的專業化水平與數據安全系數成正比，所以，一方面要聘請領域專業人才開展數據管理培訓活動，定期更新技術人員的大數據知識儲備量；另一方面，要制定嚴格的數據安全責任制度，確保惡意行為發現初期做好相應的安全方案工作，明確個人在數據安全中的責任，以獎懲方式約束技術人員的數據安全意識。三、結語在多媒體綜合運用的時代，網絡信息多表現為文本、語音、圖像數據的結合體，需要對海量數據進行清洗、轉換、加載重新保留有價值的內容，才能精準發揮其事物決策分析功能。為此，本文在Spark并行計算框架環境下，基于數據倉庫對多媒體網絡信息大數據進行有效整合。總體而言，本文解決多媒體網絡信息整合的優勢有兩點:其一，Spark并行計算框架將彈性分布式數據集作為新的核心數據結構，有效降低數據整合中的網絡IO開銷與內存IO開銷；其二，數據倉庫采用ETL工具實現多媒體大數據的抽取、轉換、