2024年開源大數據行業發展洞察報告CONTENTS目

錄01大數據開源工具發展背景02大數據開源工具熱力趨勢03大數據工具熱力值說明2大數據開源工具發展背景0134?2024.10iResearch

Inc.大數據技術的行業應用來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。醫療保健預測分析用于病人護理：預測病人入院情況，優化資源分配臨床決策支持：通過數據聚合增強治療建議人群健康管理：分析數據以跟蹤疾病爆發并針對性干預制造業預測性維護：預測設備故障以減少停機時間供應鏈優化：利用數據洞察改善物流和需求預測質量控制：實時監控生產以確保產品質量金融服務欺詐檢測：監控交易以識別和防止欺詐風險管理：通過全面數據分析增強信用評分客戶細分：針對性分析客戶，開發有針對性的產品能源與公用服務智能電網管理：通過需求預測改善負載平衡預測性資產維護：安排維護以防止停電可再生能源預測：優化可再生能源的接入電網零售客戶個性化檢視：根據購買歷史定制營銷活動庫存管理：通過準確預測需求優化庫存水平價格優化：利用競爭者分析和市場分析動態定價產品電信客戶流失預測：識別不滿意的客戶以降低流失率網絡優化：分析流量以更好地分配網絡資源欺詐預防：檢測賬單和使用數據中的異常情況大數據技術應用廣度與深度持續加大，成為決定企業競爭力的重要因素十多年來，隨著大數據技術的演進與成熟，其在經濟領域中的應用也在拓展并持續深化。目前，在包括醫療保健、零售、金融服務、制造業、電信、能源與公共服務的各主要行業中，大數據技術在精細管理、趨勢預測、風險識別、決策支持等場景中發揮著越來越重要的作用。數字時代背景下，數據已成為企業核心資產，而大數據技術則是對這項資產開發，利用，賦能企業的重要手段，越來越多的企業認識到用對、用好大數據技術將決定自身的行業競爭力。大數據技術在各主要行業中的典型應用場景5?2024.10iResearch

Inc.來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。來源：中國信通院云計算開源產業聯盟，中國通信標準化協會《全球開源生態洞察報告（2024年）》，艾瑞咨詢研究院自主研究及繪制。?2024.10

iResearch

Inc. 大數據工具的開源6420大數據技術領域開源生態成熟度雷達圖技術流行度108創新轉化能力法律合規安全能力技術穩定性技術生產力大數據領域具備較好的技術穩健性，以Hadoop、Spark、Flink等為代表的傳統大數據產品已趨于成熟新型開源大數據工具不斷向個性化、定制化發展，如大數據框架中加入AI類庫，以及如Uber、Netflix、Spotify等企業根據自身特定業務貢獻新的適用于具體應用場景的大數據工具開源趨勢下，大數據傳統工具已經成熟，個性化新型工具不斷加入狹義上的開源大數據工具是指在開源大生態下，專注于解決海量、多類型數據的連接、存儲、管理等功能的工具集合。但從搭建大數據平臺角度出發，通常還需要加入AI類組件以幫助數據分析，云原生工具以實現容器編排，另外關系型及各類非關系型數據庫被視為大數據的基礎，由此得到廣義上的大數據工具套件。本報告將以廣義大數據工具為研究對象，對其進行分析。開源生態下狹義與廣義大數據工具前端框架組件庫功能插件制作平臺解決方案操作系統桌面操作系統服務器操作系統云操作系統IoT操作系統數據庫關系型數據庫鍵值數據庫向量數據庫時序數據庫圖數據庫大數據數據存儲數據處理數據分析數據管理數據連接中間件服務器中間件通訊中間件Web中間件安全中間件人工智能數據集智能算法庫訓練平臺AI引擎云原生微服務中間件容器技術及編排網絡服務6?2024.10iResearch

Inc.數據管理數據查詢與連接流處理與消息處理數據組織，版本控制，數據治理數據集間的查詢、整合、控制實時調控數據管道及事件流數據存儲數據框架數據庫指導數據如何存儲及序列化為分布式數據處理提供核心能力結構及非結構化數據主存儲系統開源大數據工具的分類及功能來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。1數據編排在線分析數據流自動化編排、監控并處理，實現數據有效利用 大數據集的快速聚合、查詢與實時分析機器學習運維自動化部署、監控及管理機器學習模型的運營平臺記錄及監控數據可視化監控數據基礎設施健康情況，追蹤指標表現 將數據洞察可視化展現按功能類型分為5層11模塊，合理的工具選型是搭建大數據平臺的前提大數據工具組件是大數據技術輸出的載體，數字化與智能化時代下，一套完整的大數據工具可以分為基礎層、數據連接層、編排與分析層、人工智能層、監控及可視化層共5層，包括儲存格式、數據框架，數據庫、數據管理、數據查詢與連接、流處理與消息管理、數據編排、在線分析、機器學習運維、記錄及監控、數據可視化11個模塊。大數據工具層級圖是對大數據工具的總覽，開源工具林林總總，企業應先解各個工具的定位與功能，根據自身需求牟定工具類型，再進行具體工具的選型。開源大數據工具層級圖監控及可視化層可視化展現系統健康情況，幫助理解數據洞察結論人工智能層為以機器學習為代表的各類AI的運行提供基礎服務編排及分析層實現大數據的自動化、實時處理及分析數據連接層管理數據的連接、流動、查詢等數據治理任務基礎層數據存儲、數據處理，確保基礎設施的可擴展性23457大數據開源工具熱力趨勢02熱力趨勢（1/12）：數據存儲開源大數據數據存儲工具熱力圖2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024沿二進制存儲、列存儲、云上數據湖的路徑演化，多樣化容納數據類型2024上半年熱力值8.447.717.647.537.027.026.895.855.465.355.064.724.683.380.78列存儲格式適應重任務下的數據分析查詢Parquet,

ORC二進制和結構化格式針對數據序列化進行優化Avro,Thrift,Protocol

Buffers云原生數據格式云上數據湖DeltaLake,Iceberg,

Hudi來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.8①②③熱力趨勢（2/12）：框架大數據框架隨數據量的擴大以及處理速度需求提升而迭代；進入大模型時代，大數據框架進而整合模型開發組件開源大數據框架熱力圖實時計算、內存計算流處理、批流一體Spark,Flink,

Storm分布式計算及存儲批處理Hadoop：HDFS+Mapreduce8.806.505.785.755.634.974.843.0520142015201620172018201920202021202220232024AI函數庫支持模型訓練、微調Ray,MLlib(Spark)①②③2024上半年熱力值來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.9熱力趨勢（3/12）：數據庫

-

之一數據庫種類逐漸豐富，支持云原生、大模型開發訓練及實時分析開源大數據數據庫熱力圖（1-15）2022

2023

2024?

云原生數據庫非關系型數據庫管理處理半結構、非結構型數據Cassandra,MongoDB,

HBaseAI相關——向量數據庫高效管理、查詢嵌入向量Milvus,

Weaviate①為基于云的高性能數據分析優化

②CockroachDB,

TiDB③7.016.996.876.256.116.015.715.605.535.485.485.455.395.385.182009

2010

2011

2012

2013

2014

2015

2016

2017

2018

2019

2020

20212024上半年熱力值來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.10熱力趨勢（3/12）：數據庫

-之二數據庫種類逐漸豐富，支持云原生、大模型開發訓練及實時分析開源大數據數據庫熱力圖（16-31）2024上半年熱力值5.024.384.264.084.023.863.863.753.623.543.303.152.992.960.700.522009

2010

2011

2012

2013

2014

2015

2016

2017

2018

2019

2020

202120222023

2024來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.11熱力趨勢（4/12）：數據管理隨系統復雜性提升，數據管理更注重數據血緣，版本控制及流程自動化開源大數據數據管理工具熱力圖?

數據質量/一致性保證、版本控制自動化驗證，可回溯Great_Expectations,

LakeFS①②③7.577.557.516.045.775.465.413.863.673.663.140.702012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024數據目錄及數據治理 ?

元數據治理，數據血緣快速精準查找、正確使用數據資產 ?

洞察數據關系，數據價值挖掘CKAN,

Metacat ?

Amundsen,DataHub,

Atlas2024上半年來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.12熱力值9.02熱力趨勢（5/12）：查詢與連接從批量到實時，從單一數據源到跨系統多元數據，從關系型數據到非關系型數據，工具的進化讓數據查詢更迅速、更靈活、更絲滑開源大數據查詢與連接工具熱力圖?

對于分布式數據的快速查詢做優化?

實時查詢，實時分析基于Hadoop框架的大數據查詢使用SQL語句進行低延時批量查詢?

多數據源多數據類型統一聯合查詢?

使用一套查詢語句及統一界面①②③2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 20242024上半年熱力值8.458.207.727.026.494.533.843.782.872.64?

Hive,Pig,

Presto來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.?

Druid,

Impala?

Beam,Trino,

Drill13熱力趨勢（6/12）：流處理及消息管理由簡單的消息處理功能發展為功能復雜適應混合場景的數據管理工具開源大數據流處理及消息管理工具熱力圖消息隊列、訂閱/發布、日志聚合 ?

分布式架構簡單消息系統中處理少量實時數據云原生、事件驅動架構混合負載+多租戶+地域復制①?

實時數據+高吞吐量+低容錯率

②③2009

2010

2011

2012

2013

2014

2015

2016

2017

2018

2019

2020

2021

2022

2023

20242024上半年?

RabbitMQ,

ActiveMQ來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.?

Kafka,NiFi,

Debezium?

Pulsar,

Memphis14熱力值7.087.026.506.406.376.015.515.255.024.974.673.713.483.253.221.60熱力趨勢（7/12）：編排大數據編排工具的演變反映了數據工作流不斷變化的需求和復雜性開源大數據編排工具熱力圖①②③2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024批處理過程、簡單任務依賴 ?

基于有向無環圖構建任務關系 ?

將數據管道視為軟件資產集中式調度器管理任務的執行 ?

模塊化架構并與云服務集成 ?

數據血緣追蹤，推動團隊協作2024上半年熱力值8.386.956.926.886.565.745.665.605.284.603.183.041.860.89?

Luigi來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.?

Airflow,

argo?

Dagster,DolphinScheduler15熱力趨勢（8/12）：在線分析由對數據的批量抓取分析發展為云原生可處理高并發的實時數據分析開源大數據在線分析工具熱力圖?

簡化查詢處理過程，實時動態分析列存儲，矢量化執行ClickHouse,Trino,Doris查詢處理結構化、預聚合數據準實時抓取查詢數據，分布式結構Druid,Pinot,

Kylin8.288.117.997.877.546.945.585.212.412013 20142015201620172018201920202021202220232024云原生架構，內存計算實時高并發數據分析?

StarRocks,Databend,

DuckDB①②③2024上半年熱力值來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.16熱力趨勢（9/12）：機器學習運維

-之一由基礎開發生命管理發展為以AI專有性能指標為核心設置的工具生態體系開源大數據機器學習運維工具熱力圖（1-11）端到端的ML流程編排與自動化支持本地與云環境Kubeflow,Polyaxon?

基礎模型開發跟蹤、可視化及部署8.818.447.657.597.297.176.416.135.775.625.542018201920202021202220232024?

實時模型服務，AI優先功能：可解釋性、公平性、漂移檢測?

BentoML,ZenML,

Ollama未與云融合，編排與自動化能力有限①Mlaflow,DVC,

Pachyderm②③2024上半年熱力值來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.17熱力趨勢（9/12）：機器學習運維

-之二由基礎開發生命管理發展為以AI專有性能指標為核心設置的工具生態體系開源大數據機器學習運維工具熱力圖（12-23）2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 20245.434.914.744.704.624.243.771.931.470.650.540.442024上半年熱力值來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.18熱力趨勢（10/12）：記錄與監測由簡單的日志管理及可視化發展為集日志、指標、追蹤為一體數據觀測棧開源大數據記錄與監測工具熱力圖構建更強大的指標評估系統實時、主動監測與預警Prometheus,

Grafana集中式日志管理與分析提供日志搜索能力及可視化界面Elasticsearch,Logstash,

Graylog8.917.897.886.976.606.546.526.506.505.004.644.243.96201020112012201320142015201620172018201920202021202220232024?

擴展性更強，效率更優①②與其他大數據處理組件無縫結合

③SigNoz,OpenTelemetry2024上半年熱力值來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.19熱力趨勢（11/12）：可視化由靜態、本地化解決方案向高互動性、云化、融合AI能力的方向演進開源大數據可視化工具熱力圖?

互動性可視化、儀表盤靜態可視化，基礎繪圖與桌面環境或某些編程語言整合ggplot2,Matplotlib,

Seaborn支持多用戶協作，加入AI能力與大數據架構、數倉深度融合Superset,Kibana,Redash①與數據實時互動，基于網絡部署

②Metabase,Bokeh,

Plotly③2024上半年熱力值9.157.967.805.485.435.405.275.164.783.633.633.341.912008 2009 2010 2011 2012201320142015 2016 2017 2018 201920202021 2022 2023 2024來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.20熱力趨勢（12/12）：數據安全實時威脅檢測和響應網絡流量的深度包檢測Falco,Suricata日志分析與事件關聯基本的入侵檢測能力（日志監控）OSSEC,

Sentry細粒度的訪問控制策略集中的安全策略管理Cilium,Ranger,

Knox①②③2024上半年熱力值8.808.385.574.934.524.183.673.512011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024從基礎安全和監控能力發展到高級威脅檢測，最終實現全面的訪問管理和數據治理開源大數據安全組件工具熱力圖來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.21開源大數據工具熱力趨勢總結由于不同時期的技術挑戰與應用需求促使大數據工具的迭代與豐富來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.22開源大數據工具發展時間圖201320142015201620172018201920202021202220232024實時數據處理互聯網企業對高通量、實時數據流的處理需求批流一體批流數據需整合統一而非后者替代前者數據湖及滄湖一體解決數據湖數據質量、一致性、實時性等問題機器學習組件整合大模型時代管理機器學習生命周期（實驗、再現及部署）數據存儲及擴展性解決分布式數據庫的擴展性及高時延聯邦查詢在多樣數據集間進行查詢而不移動數據與云原生整合云原生架構下更高效、自動化的管理容器數據編目及治理數據量上升后，需要工具對其發掘、歸納并翻譯數據查詢與分析解決數據查詢緩慢、不及時的問題數據安全集中性安全管理、細粒度訪問控制云廠商開源大數據工具支持度比較在34個地理區域內運營108個可用區計劃在墨西哥、新西蘭、沙特阿拉伯王國、泰國、中國臺灣和AWS歐盟主權云增加18個可用區和6個AWS區域擁有超過410個邊緣站點與本地區域自研ARM架構Graviton處理器為云原生工作任務高度定制，使AWS更具成本效益、更節能、更高效相較于x86芯片，Graviton3可達到60%的能耗提升，

Graviton2

可達到最高30%的性能提升對開源大數據工具提供廣泛支持，為主流大數據框架提供托管服務AWS生態中的如EMR，MSK等服務與大數據開源工具無縫結合AWS兼容各類開源數據倉庫與數據湖，通過Glue與Athena可以輕松查詢或轉換各類開源格式的數據服務范圍涵蓋包括64

個區域在內的共140個國家共有175個邊緣節點基于Intel及AMD芯片搭建云服務通過HDInsight與Databricks將開源大數據工具與Azure整合，為用戶處理結構及非結構化數據提供統一平臺Azure

Synapse也將基于Spark的分析原生地整合進來在38個區域中的115個節點運營（包括本地節點與邊緣節點）正在另外13個區域加緊布局，但總體上在歐美之外的區域布局較少主要基于Intel及AMD芯片搭建云服務提供第三方廠商Ampere

設計的AltraARM架構芯片第三方芯片尚未能與自身云平臺進行深度整合BigQuery是完全托管的數據倉庫，支持多種開源數據格式，同時支持與開源框架整合進行高階數據分析通過

GKE

支持容器化工作負載，

在Kubernetes集群上調度開源大數據應用，管理復雜的大數據管道來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.23基礎設施覆蓋度、云計算成本及效用以及開源配套服務是影響客戶在利用開源工具自建大數據平臺時選型底層云平臺的主要因素基礎設施覆蓋度：云廠商更廣闊的基礎設施覆蓋度意味著客戶在進行大數據處理時的延遲時間更少，并可以選擇本地化的部署方式，這對于需要低延時以及數據駐留合規性要求更為嚴格的國際化用戶尤為重要。云計算成本與效用：大數據的處理需要耗費海量計算資源，因此計算效率與成本效益是客戶的重要考量因素。定制化核心基礎硬件能夠從底層增強云計算效率，從成本及能耗角度看也會帶來顯著提升。開源配套服務：云平臺對于開源大數據工具更廣泛的配套服務以及更深度的融合決定了客戶利用開源工具構建大數據平臺的難易度與開發成本，客戶更傾向于使用開源友好度高的云平臺服務。綜合比較AWS，Azure與GCP三大全球性云廠商，AWS在基礎設施覆蓋的廣度、云計算優化的深度、以及生態中開源配套服務的豐富度上均有一定優勢，與當下處理復雜數據類型、重分析呈現的大數據熱點開發組件契合度較高，是大數據云基礎平臺的優質選擇。基礎設施覆蓋度 云計算成本與效用 開源配套服務24大數據工具熱力值說明03說明（1/2）：熱力值意義及數據采集來源：公開資料整理，艾瑞咨詢研究院自主研究及繪制。?2024.10iResearch

Inc.25熱力值意義本報告中所指熱力趨勢是從開發者視角所做的研究判斷，通過對開發者圍繞開源社區相關行為的定量分析，綜合得到熱力值，是開發者對該開源大數據工具的關注、參與、討論、貢獻的綜合體現。因此開源大數據工具的熱力值越高，代表該工具能夠更快速的迭代，受到更精細的優化打磨。從應用視角看，該開源工具更易被使用，并在應用場景中被廣泛推開，即熱力值由開發者端傳導至應用端。事實上，許多開源大數據工具的應用者同時也是開發者，他們針對實踐中的問題持續優化大數據工具，將解決方案回饋至開發社區。基礎數據【數據來源】GH

Archive:

https:///；

Github

Stars

Explorer:

https://emanuelef.github.io/daily-stars-explorer【數據采集時間】起始時間為最早有記錄時間，終止時間為2024年6月30日【數據采集對象】開源大數據工具所對應的Github代碼倉（

Repository

），而非對應的Github項目（

Project

）【選取范圍及指標意義】指標選取范圍為GH

Archive可提供的17類Github事件，事件定義遵循GH

Archive中對應的屬性說明。【指標選定邏輯】基于開發者在開源社區（Github）中的基礎行為，選取Star、Fork、Issue、Commit、Pull

Request五項核心指標，其他Github事件或為此五類事件的從屬事件，或其本身一般性屬性較低。以下表格為GH

Archive

中所列舉的

17

類事件，

標色事件