學習單元五大數據5.3熟悉大數據的相關技術線上課前導學課前自測推課前學習資源包頭腦風暴任務調研今天，各種大數據工具和技術如Hadoop、Spark、NoSQL等不斷涌現，為企業提供了更多的選擇。不僅如此，大數據分析也被越來越多的企業采用，以支持數據驅動的決策和提高業務效率。

例如，通過對客戶行為的大數據分析，一些網絡安全公司可以更好地了解客戶需求，提供更精準的客戶服務。大數據相關技術是一系列為解決大規模數據處理和管理問題而涌現的技術，包括體系架構和數據分析兩方面。在體系架構方面，包括分布式文件系統、分布式計算框架、數據庫技術等；在數據分析方面，包括機器學習技術。小思考

請談談你認為大數據技術在未來發展中可能面臨的一些安全和隱私問題，并提出你的看法和建議。線上課前導學頭腦風暴任務調研課前自測參考網站：慕課網（/）極客時間（/）實驗樓（/）參考書籍：《Hadoop權威指南》《Spark大數據處理》《NoSQL數據庫原理及應用》《大數據時代》《Python大數據處理與分析》線上課前導學任務調研課前自測頭腦風暴1大數據相關技術包括哪兩個方面？2大數據技術如何幫助實現智能城市、物聯網、金融風險控制等應用？3你了解哪些大數據技術工具和技術平臺？它們有什么特點和優勢？線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結熟悉大數據的相關技術是當今不可忽視的重要課題，對于企業和社會發展都具有重要意義。學習大數據技術需要掌握大數據的相關技術，包括大數據處理和管理的基礎架構、分布式文件系統、分布式計算框架、數據庫技術等，以及機器學習技術和數據分析技術等。

在學習大數據技術的同時，需要了解大數據安全的基本概念和防護措施，以及大數據隱私保護的方法和標準。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結1.了解數據分析與挖掘；2.熟悉大數據體系架構。1.數據分析和數據挖掘的概念數據分析和數據挖掘的目的是通過對數據進行深入研究來發現新的見解、識別趨勢、提高效率和減少成本。2.數據分析的優勢根據研究機構AlliedMarketResearch公司發布的一份調查報告，到2027年，全球大數據和商業分析市場規模預計將達到4209.8億美元，從2020年到2027年的復合年增長率為10.9%。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環節1數據分析與挖掘3.數據分析和挖掘的工作流程大數據分析主要利用了4個關鍵流程。這些工作包括數據的收集、處理、清理和分析。以下了解這些關鍵流程。(1)收集數據移動記錄、客戶反饋表、從客戶那里收到的郵件、調查報告、社交媒體平臺和移動應用程序是數據分析師可以收集特定信息的來源(2)處理數據在收集數據之后，下一步要使用它將數據存儲在數據池或數據倉庫中，將允許分析師組織、配置和分組大數據，以便為每個請求繪制清晰的圖表，這對于最終結果也將更加準確。(3)清理數據為確保處理過的數據分析師的工作是完整和可行的，它必須清除重復數據、不真實輸入、系統錯誤和其他類型的偏差。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環節1數據分析與挖掘(4)分析數據這是最后一個步驟，可以分析收集、處理和清理的原始數據，并有可能提取急需的結果。在這里可以使用：1)數據挖掘2)人工智能3)文本挖掘4)機器學習5)預測分析6)深度學習線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環節1數據分析與挖掘大數據架構設計用來處理對傳統數據庫系統而言太大或太復雜的數據的引入、處理和分析。組織進入大數據領域的門檻各不相同，具體取決于用戶的權限及其工具的功能。1.Hadoop體系架構Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺，如圖所示。為用戶提供了系統底層細節透明的分布式基礎架構。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環節2大數據體系架構2.

Lambda體系架構隨著大數據應用的發展，人們逐漸對系統的實時性提出了要求，為了計算一些實時指標，就在原來離線數倉的基礎上增加了一個實時計算的鏈路，并對數據源做流式改造（即把數據發送到消息隊列），實時計算去訂閱消息隊列，直接完成指標增量的計算，推送到下游的數據服務中去，由數據服務層完成離線與實時結果的合并。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環節2大數據體系架構3.Kappa體系架構Lambda架構雖然滿足了實時的需求，但帶來了更多的開發與運維工作，其架構背景是流處理引擎還不完善，流處理的結果只作為臨時的、近似的值提供參考。后來隨著Flink

等流處理引擎的出現，流處理技術很成熟了，這時為了解決兩套代碼的問題，LickedIn

的JayKreps提出了Kappa架構。Kappa架構在Lambda的基礎上進行了優化，將實時和流部分進行了合并，將數據通道以消息隊列進行替代。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環節2大數據體系架構4.Unifield體系架構以上的種種架構都圍繞海量數據處理為主，Unifield架構則更激進，將機器學習和數據處理揉為一體，從核心上來說，Unifield依舊以Lambda為主，不過對其進行了改造，在流處理層新增了機器學習層。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環節2大數據體系架構線下課中演練前情回顧任務驅動演示講解鞏固小結1選擇題（1）大數據相關技術主要包括以下兩方面：A.數據庫技術和數據可視化技術B.數