Tencen騰訊Tencen騰訊TECH)DAY騰訊技術開放日騰訊云工具指南06AGI時代首選的全棧式數據管理方案IDC數據解讀:數據管理賽道趨勢IDC中國企業軟件市場高級分析師王楠 04騰訊云數據管理產品全景解析騰訊云副總裁黃世飛 06產產品價值：一圖讀懂騰訊云數據管理產品矩陣02更彈性高效的“數據存儲” 08更靈活智能的“數據處理與集成” 08更實時敏捷的“數據分析與應用” 09面向數據管理全流程的“數據安全防護” 09行業實踐：行業實踐：各行業數據管理具體場景痛點及解法微信讀書騰訊云ESRAG如何支持微信讀書實現AI問書功能? 博世騰訊云全棧式數據管理如何助力博世自動駕駛數據閉環? 福建海峽銀行騰訊云TDSQL助力海峽銀行核心系統升級 20極光騰訊云大數據如何幫助極光實現大數據平臺架構優化? 22通過五大能力建設破解企業數據安全主要威脅 25PARTPART01趨勢洞悉AGI時代下數據管理的新思路·數據在AGI時代價值愈發重要:數據已經成為社會和企業運行的關鍵生產要素,隨著智能時代的到來,數據將發揮更大作用,甚至成為企業競爭的核心壁壘;·新時代應用“全面系統、化繁為簡”的視角系統看待數據管理:不能只關注數據庫、大數據具體產品的可靠性指標,更需要彼此的系統性協同;·騰訊云以數據為基的敏捷結構貫穿數據旅程統籌管理:這包括Iaas層,對數據原材料的存儲、讀寫、調用處理;也包括paas層,基于大數據、數據庫等產品的數據價值挖掘及數據安全保障;更包括saas層,在不同行業場景中,例如LBs、AIGC應用的靈活部署。趨勢洞悉——AGI時代下數據管理的新思路IDC數據解讀:數據管理賽道趨勢IDC中國企業軟件市場高級分析師王楠隨著技術的進步和應用場景的擴展,數據將成為各行各業優化決策和提升效率的核心資產,數據管理也隨之成為企業戰略的核心之一。為此,企業需著眼于發展趨勢,明確數字化轉型核心價值優先級,打造以數據業務化應用場景為核心的路線圖,優選戰略伙伴共同構建高效的數據管理系統,確保數據質量和安全性。數據庫與大數據依然是核心產品●如今,本土數據庫崛起十分明顯。2023年本地部署模式的關系型數據庫市場中,ToP5本土廠商份額從2019的22%增加到36%,而ToP5國際廠商份額從65%下降至38%。中國數據庫管理軟件市場預測,2022-2027($B)中國——增長率年復合增長率1630%14.21412108645.525%20%15%10%5%0%2022202320242025202620272023年全年，中國數據庫軟件市場規模達到65億美元，同比增長17%。預計到2027年市場規模將達到142億美元，2022-27年復合增長率達為21%。●與此同時,大數據的價值亟待挖掘。調研顯示,企業認為60%的業務數據具有價值,但實際上僅有56%得到了分析。此外,非結構化數據管理需求日益增加,預計至2027年,全球非結構化數據將占數據總量的86.8%,大數據市場整體規模將增長至425億美元,年均增長率(CAGR)達21.5%。中國大數據市場IT支出預測(2022-2027)450004000035000300002500020000150001000050000單位：百萬美元0大數據管理軟件成為增長最快的方向硬件服務軟件202220232024202520262027來源:IDC中國,2024騰訊云工具指南.AGI時代首選的全棧式數據管理方案/04趨勢洞悉——AGI時代下數據管理的新思路高高低市場采納度數據治理和數據安全需要擁抱新技術●隨著數據量的激增和數據類型的多樣化,企業對數據治理和數據安全的需求不斷提升。未來五年,數據治理將與AI深度融合,帶動產品的新一輪升級,實現更敏捷、高效和精確的數據治理方式。 來源:IDC《企業大數據治理及安全可信研究報告》以最契合當前市場需求和極具未來發展潛力的數據資產助理為例,其利用生成式AI等技術來自動管理數據資產,功能覆蓋元數據管理、數據質量治理、數據資產自運維、自動化構建資產圖譜等,并通過交互式AI支持數據的快速查詢、開發和監管。●在數據安全領域,中國的數據安全市場也將快速增長,AI、區塊鏈和隱私計算技術將被廣泛應用于數據安全管理,推動數據流轉新型信任底座的建立。企業將越來越重視數據安全防護措施的全面性和先進性,以應對不斷變化的網絡威脅和數據泄露風險。通過實施數據加密、訪問控制、多因素認證等策略,企業能有效保護敏感數據的安全。同時,隨著數據安全法規和合規要求的持續完善,企業需確保其數據管理和處理活動遵守最新的法律規定,以保護數據安全和隱私。數據安全領域相關技術Al賦能數據安全已有技術上的不斷迭代更新Al賦能數據安全已有技術上的不斷迭代更新技術將重塑市場數據丟失防護數據加密數據脫敏企業級秘鑰管理數據訪問治理零信任之數據安全隱私計算-多方安全計算e數據風險管理數據安全基礎設施管理平臺隱私計算-多方安全計算eApl安全數據發現與分類數據隱私與合規隱私計算-聯邦學習隱私計算-機密計算數字版權管理硬件安全模塊滿足某些特定場景需求下的技術短技術發展時間長騰訊云工具指南.AGI時代首選的全棧式數據管理方案/05趨勢洞悉——AGI時代下數據管理的新思路騰訊云數據管理產品全景解析騰訊云副總裁黃世飛數據“上云”趨勢為企業帶來創新機遇的同時,也加快了數據管理多個領域的變革。在面對不確定宏觀環境時,企業需應對降本提效的挑戰;同時,從長遠視角看,生成式AI對數據管理的影響成為企業CI0在推動業務創新時必須考慮的關鍵因素。在不斷提升產品性能和穩定性的過程中,我們認識到,企業需要用系統性思維來全局統籌數據管理來發揮自身的數據價值。騰訊云致力于提供全面的數據管理解決方案,整合數據底座、通用工具能力和行業屬性應用服務并協同,實現企業數據的系統管理。●在數據底座方面,騰訊云提供的數據底座服務包括高效、穩定的AI存儲服務和分布式數據庫TDSQL,支持云原生數據倉庫TCHouse、一站式開發治理平臺weData,以及數據湖倉一體化智能引擎TBDS。此外,我們還推出了基于混元大模型的智能分析助手ChatBI,通過對話式分析讓用戶能夠快速獲取直觀的分析結果,致力于打造一個輕快、易用的智能大數據平臺。●在通用工具能力方面,我們通過數據應用、BI、向量數據庫等產品,助力企業快速部署AI應用,挖掘數據價值,快速構建精準營銷體系,并確保數據安全和合規。●在具體行業應用側,我們專注滿足各行業的特定需求,如LBS和數字孿生等產品和服務,通過提供客情大數據和熱力圖服務,為文旅行業提供更精準的市場分析和營銷策略支持。我們深知,數據是企業數字化轉型的基石和創新發展的源泉。因此,我們致力于持續創新和優化數據管理產品和服務,以滿足企業日益增長的需求,并成為AGI時代企業首選的全棧數據管理合作伙伴。application security securitystorage騰訊云全棧式數據管理方案騰訊云工具指南.AGI時代首選的全棧式數據管理方案/06PARTPART02產品價值一圖讀懂騰訊云數據管理產品矩陣騰訊云依托其在數據管理領域的深厚技術積累,推出了一系列明星產品:產品類型產品產品場景數據庫分布式數據庫TDSQL實時高并發事務系統、金融級核心交易系統、HTAP業務系統、物聯網類應用系統DBbrain數據庫日常運維、安全威脅識別、混合云管理數據庫、掌上數據運維云存儲對象存儲C0S靜態網站托管、CDN分發加速、數據備份歸檔、大數據分析數據源等云端對象存儲場景數據湖存儲GooseFS機器學習、大數據分析、交互式查詢、AI訓練仿真場景、高性能計算場景數據萬象CI圖片處理、版權保護、AI內容識別、媒體處理、文檔預覽、內容審核大數據彈性存儲EMR大數據遷移上云、云原生數據湖構建、離線數據分析、在線業務查詢、流式數據處理TCHouse用戶行為分析、企業經營分析、多維商業分析weData輕量數據開發、多源數據集成、全域資產治理、多維數據質量、自主運維中心、全面數據安全騰訊云BI數據門戶看板搭建、自助式數據分析數據安全數據安全治理中心DSGC敏感數據梳理、數據分類分級、數據安全風險評估、安全能力協同云數據安全網關海量請求訪問公網、安全訪問公網數據安全審計DSAudit危險操作感知、安全事件追責、性能監控、安全信息統計、混合云部署產品價值——一圖讀懂騰訊云數據管理產品矩陣騰訊云存儲騰訊云數據庫騰訊云工具指南.AGI時代首選的全棧式數據管理方案/08產品價值——一圖讀懂騰訊云數據管理產品矩陣騰訊云大數據騰訊云數據安全騰訊云工具指南.AGI時代首選的全棧式數據管理方案/09PARTPART03行業實踐各行業數據管理具體場景痛點及解法騰訊云一直致力于為企業提供全面、系統的數據管理解決方案,包括分布式數據庫、高性能存儲、數據安全治理體系以及大數據應用等,助力各行各業的企業全量盤活數字資產,提升數據管理的效率與安全性,幫助優化數據架構、強化數據安全、提升存儲性能,為數據全面驅動業務創新奠定安全可靠的數字化基石。文旅零售泛互公益工業金融政務能源交通汽車行業實踐——各行業數據管理具體場景痛點及解法微信讀書騰訊云ESRAG如何支持微信讀書實現AI問書功能?微信讀書自2015年上線至今,已經積累2.1億用戶,日活超過200w,并從傳統書籍衍伸到有聲讀物領域。伴隨著用戶量的增長,微信讀書也在結合AI能力提高用戶體驗上做了很多的嘗試——1.0階段:書籍標簽提取(如科幻、理財,當用戶搜索命中關鍵詞則呈現相關結果)●標簽詞數量與用戶搜索詞差距大(關鍵詞數量占用戶搜索量不足1%)●無法表達復雜語義(如組合詞、問題型)●一本書關鍵詞多,難以判斷質量(如一本《三體》數干關鍵詞難以評估相關性)●無在線閱讀新鮮體驗感(標簽與出版社分類一致)2.0階段:觀點提取(召回不同句子判斷是否作為觀點與知識展示與引導)●無法回答復雜問題(觀點之間缺乏相關性)●用戶體驗上無創新(類似傳統全文搜索增加過濾與重排序)3.0階段:書籍RAG(如搜索《茶館》,能關聯性搜索“老舍”相關作品)●用戶問題缺乏深度,檢索單一(95%用戶搜索關鍵詞不超過5個字,召回多為百科式,缺乏新意)現階段:書籍RAG+問題生成關鍵挑戰及解法在書籍處理上—— 1內容切分顆粒度難把控:1綜合書籍、百科、二次加工內容(圖譜&大綱),經過預處理(剔除不合格內容)、文本切分、內容質量模型判斷,再進行向量化處理;1在用戶提問上——232用戶問題缺乏深度:通過問題擴寫,增加搜索內容深度及廣度;2343搜索結果重復高:通過多路召回,包括向量搜索、文本搜索等擴大搜索面帶來搜索結果驚喜;44回答內容質量參差不齊:通過評測系統,包括相關性、重復性、格式等判定,進行檢索結果排序。騰訊云工具指南.AGI時代首選的全棧式數據管理方案/11行業實踐——各行業數據管理具體場景痛點及解法最初,微信讀書不是采用騰訊云ES方案,而是單點的vectorsearch方案,但存在比較大的技術挑戰——●數據規模大整體數據超10億級向量規模,存儲成本高。早期預估30億768維的向量,需要超過400臺64G機器,運營成本百萬級;●運維成本高除了文本搜索,同時還需部署向量化服務,在外部進行向量化后,寫入到向量數據庫,同時向量數據庫不存儲原始meta信息,還需要額外部署正排服務,相當于需要同時運維四套系統。(文本搜索,向量搜索、文本轉向量、存儲meta信息正排服務);●開發成本高調試召回過程中,需要在外部進行向量化后,從向量數據庫召回,然后再用召回id訪問正排獲取meta信息。相當于每一次召回調試需要3次操作,跨越4個系統;●穩定性要求高在線讀書平臺超億級用戶,穩定性要求5個9以上。●RAG領域的一站式解決方案相關內容5.LLM進行re-ranking3.數據處理與向量轉換上下文窗口3公共互聯網數據您的知識庫數據1相關內容5.LLM進行re-ranking3.數據處理與向量轉換上下文窗口3公共互聯網數據您的知識庫數據1你的問題2正確答案2generate和actionsGAI/LLIM4.4.ModelasAnalyzer微信讀書的Al問書能力,需要兼顧文本搜索、向量搜索及存儲meta信息正排服務,而傳統的數據方案一般只做向量存儲、檢索,部分兼顧生成能力,所以造成了開發及運維的壓力。ES搜索可以一站式實現文本、稀疏向量、稠密向量內容聚合;靈活嵌入成熟模型;文檔級權限管控,這其中主要能力包括——1向量轉換:1內置模型eIser&muItiguaI-e5,并支持自部署(modeIasanaIyzer)、在線調用模型(inferenceApls)。自部署在線調用模型騰訊云工具指南.AGl時代首選的全棧式數據管理方案/12行業實踐——各行業數據管理具體場景痛點及解法 2召回排序:內置REF排序,亦可通過LTR能力嵌入訓練后的排序能力。排序學習 3混合搜索基于關鍵詞的文本搜索與基于相關性的向量搜索各有千秋——相比于文本搜索,向量搜索優勢在于處理模糊表達;捕捉語義;支持跨文本、跨語言、跨模態;先文本搜索相比于向量搜索,文本搜索優勢在于短文本精準匹配強、計算成本低、可解釋性及調優性強先文本搜索混合搜索先通過關鍵詞大范圍文本搜索,再通過向量搜索二次分析,綜合兩者優勢:更精準、多樣、可解釋。再向量搜索●騰訊云ES進一步增強RAG能力umumx:模型3 血與此同時,在實際應用場景中,考慮到微信讀書Al問書多讀少寫的特點,以及海量用戶訪問對穩定性、高性能嚴格的要求,騰訊云ES針對通用方案做了進一步RAG增強優化,這主要包括——騰訊云工具指南.AGl時代首選的全棧式數據管理方案/13行業實踐——各行業數據管理具體場景痛點及解法1資源層面1支持專有機器節點部署并隔離數據節點,提高推理能力的同時保證在線業務穩定性。支持上傳管理部署向量模型與數據節點隔離2硬件層面2全球唯一支持GPU的Es服務,與自研芯片“紫霄”軟硬結合性能更強;紫霄V1具有高能效、高吞吐、高帶寬等特點,設計算力規格NVIDIAA10相當,顯存帶寬比A10高30%,最高可比A10性能高50%-100%。 3內核層面針對“讀多寫少”的典型場景特點做更多優化;分片架構優化●針對向量場景,合并查詢跟歸并流程,總體查詢性能提升2倍以上;塊存儲跟查詢優化●通過對segment進行合并收斂,減少查詢隨機10,總體查詢性能提升2倍以上;查詢并行化●多線程文檔切分、多segment并行化處理、精準拉取文件數據段;Iucene查詢緩存鎖改造●大幅提高了查詢的并發能力,Qps提升50%以上。四、騰訊云ES為微信讀書AI問書實現的價值?●從400臺64G下降到30臺:向量量化及不要求全內存索引,大幅降低硬件成本;●從1次調優跨4套系統,到“所見即所得”:一站式檢索方案開發運維人員在kibana上即可調試召回流程;●數億量級索引召回平均耗時在100ms以下:基于騰訊云強大的專業支持團隊保證穩定性及可靠性。騰訊云工具指南.AGI時代首選的全棧式數據管理方案/14行業實踐——各行業數據管理具體場景痛點及解法騰訊云全棧式數據管理如何助力博世自動駕駛數據閉環?一、博世高階智能駕駛的數據閉環包括哪些環節？博世的高階智能駕駛數據閉環工具鏈包括車輛調度、數據采集、AI模型訓練和仿真評測等,涵蓋了六大主要應用——●車隊管理平臺:負責車輛調度和任務分發,將采集需求下發到車端進行數據采集。●數據采集平臺:接收到任務和場景采集需求后,車端采集場景數據和模型訓練數據,并上傳至數據管理平臺。●數據管理平臺:作為數據接收和處理中心,負責數據上傳、處理和挖掘。處理后的數據,推送至標注平臺。●標注平臺:對數據進行標注和管理。●深度學習平臺:進行模型的分布式訓練和算法集成。●仿真評測平臺:用于場景和事故分析及仿真評測。●數據采集場景復雜度高:需同時滿足數據可靠性、場景豐富性及算法訓練需求;●數據流轉及調度效率要求高:數據合規及隔離、冷熱分區、多模態數據處理;●數據溯源要求高:業務類型增長要求高數據溯源,滿足模型訓練的場景驗證及大規模分布式訓練;●整體數據閉環流程成本高:包括數據的被動選擇、存儲及計算成本高、重復及冗余數據導致資源浪費。騰訊云工具指南.AGI時代首選的全棧式數據管理方案/15行業實踐——各行業數據管理具體場景痛點及解法三、騰訊云如何通過全棧式方案解決問題？針對博世完整數據邏輯閉環的要求,騰訊云基于自身豐富的產品能力,協助博世實現了高效“車云協同”方案,這其中主要包括——騰訊云對象存儲c0S(數據采集及存儲)騰訊云數據加速器GooseFS(數據緩存加速)騰訊云容器服務TKE(數據處理統一調度、解析、挖掘和脫敏)騰訊云彈性MaPReduce服務EMR(數據分析計算)騰訊云向量數據庫vectorDB(圖像檢索)環節一:數據采集與上傳在智能駕駛的早期階段,博世發現盡管每臺測試車每天采集的數據量以TB計,實際用于模型訓練的數據比例非常低。主要原因1)數據采集有效率低:車端無法精準感知模型訓練所需的場景和數據需求;2)設備和傳感器問題:極端駕駛環境容易導致傳感器和設備損壞,云端無法及時感知車輛異常,導致大量不合格數據流入云端。對此,騰訊云為博世采用“車云協同”的解決方案:在博世三種開發環境(車端、公網、專區)進行協同,實現數據的合規上傳和安全存儲。受控專線1)通過云端算法及工具團隊將需求推給車端,讓車端更明確訓練需求,比如數據質量、場景特征等;2)通過容器特性,可以敏捷感知各個車端傳感器工作狀態及質檢結果上報,及時修正問題;3)數據采集完成后,通過插盤自動上傳至c0S,吞吐速度單個磁盤300MBPs,每天可實現400TB的數據上傳,解決了大量采集車數據堆積的問題;4)合規審計:所有采集的數據經過騰訊云提供的合規審計方式進行內容審計,確保數據安全、合規后上傳至專有云進行存儲、處理和分析。騰訊云工具指南.AGl時代首選的全棧式數據管理方案/16行業實踐——各行業數據管理具體場景痛點及解法環節二:數據存儲與管理●針對存儲管理環節,騰訊云主要通過統一調度及分區管理的方式實現靈活處理與成本控制的平衡,這其中——1)基于騰訊云TKE的統一調度能力,結構化數據存儲于Mysql等關系型數據庫,半結構化數據存儲于Redis、MongoDB等非關系型數據庫當中,部分數據推送到Es進行緩存和檢索;非結構化數據(點云、視頻)存于對象存儲c0s;2)利用騰訊云c0s生命周期管理能力,對持續使用的數據存儲在c0s標準存儲中,將周期性未使用的數據放在c0s低頻存儲中,長期未使用的數據存儲在c0s歸檔存儲中,優化云端存儲成本;3)基于騰訊云大數據EMR,構建智能駕駛領域的大數據湖倉體系,為業務分析平臺和報表平臺做數據支撐。●同時支持數據的實時及在線處理——1)實時監控與問題修正:通過公網環境實時監控車端各工具的運行狀態和質檢結果,及時修正問題,并通過遠程迭代和快速修正機制,提高數據采集的準確性和質量;2)在線預覽與標注:通過在線預覽大量數據,進行數據標注并推送給用戶,支持算法團隊進行模型演練。騰訊云工具指南.AGl時代首選的全棧式數據管理方案/17行業實踐——各行業數據管理具體場景痛點及解法環節三:模型訓練與仿真評測隨著業務種類增長,要求數據溯源滿足場景驗證及大規模分布式訓練,這其中——●針對模型訓練,訓練數據集存儲在c0s上,通過GooseFs-cache進行數據緩存,大幅度提升訓練效率。并通過c0s生命周期管理,冷熱數據分層,滿足大規模分布式訓練的需求,降低存儲成本;●針對仿真評測,仿真數據存儲在c0s上,通過GooseFs-Lite和c0ssDK提供仿真測試工具長期穩定的回放數據完成場景驗證;onemorething:借助圖像檢索進一步降本增效目前,博世高階智能駕駛現有AI平臺已經建立了一個完善的數據閉環系統,但在數據集檢索和處理過程中,每一個環節的成本都非常高。為此,博世在實現數據驅動的閉環增效時,系統設計里首次引入騰訊云的向量數據庫,實現基于文本/內容的兩種圖像檢索能力。圖像搜索,比如在把車尾燈倒影判斷為障礙物,導致無法行駛的場景下。通過一張簡單的模糊不清截圖來提取關鍵特征,圖像檢索服務就可以搜索到大量相關的數據,提升算法團隊對類似場景做算法優化的效率。騰訊云工具指南.AGI時代首選的全棧式數據管理方案/18行業實踐——各行業數據管理具體場景痛點及解法文搜圖:比如搜索車輛左側開門狀態,傳統模型挑選或人工挑選消耗大量精力,但圖像檢索僅需幾秒鐘就可以完成任務。騰訊云工具指南.AGI時代首選的全棧式數據管理方案/19行業實踐——各行業數據管理具體場景痛點及解法騰訊云TDSQL助力海峽銀行核心系統升級一、客戶背景福建海峽銀行成立于1996年12月,是一家省級股份制商業銀行。其核心系統建設較早,技術架構相對落后,采用的I0E集中式架構存在無法彈性擴容、高投入成本等挑戰,以及技術支持不足等風險。面對挑戰,福建海峽銀行于2020年啟動新一代核心系統項目群建設,并于2022年5月實現了新一代核心系統投產運營。二、場景痛點系統架構落后:核心系統傳統的I0E集中式架構,投入成本高,并存在技術支持下降風險。性能瓶頸:傳統集中式核心系統難以支撐日處理超千萬筆交易和超TB數據量的存儲與吞吐需求。擴展性不足:隨著金融業務的發展快速,當前系統架構難以靈活適應日益增長的業務量和場景創新需求。災備與擴容問題:傳統架構在提高部署效率、實現快速交付及高效擴容和容災方面的支持能力不足。三、關鍵目標業務目標:以客戶為中心、支持產品快速創新,支持靈活定價,業務流程優化,靈活賬戶體系和管理支持。技術目標:高性能,響應快,大容量,易擴展,具備快速交付能力。業務連續性:高可用,兩地三中心部署,同城雙中心均衡負載運行,提供365x7x24小時服務。安全可控+降本增效:全面國產化產品,安全可控,全面實現國密算法,多種安全方式相互補充,全面掌控各平臺源代碼,具備自研能力,分布式系統架構,去I0E,全面降本增效。四、產品/方案選型分布式數據庫TDSQL、DBbrain五、解決方案通過實施騰訊云TDSQL解決方案,福建海峽銀行實現了核心系統的全面升級,支持兩地三中心的高可用架構,實現了同城雙活和異地容災,并通過微服務架構增強了系統的擴展性和靈活性。這些優化顯著提升了系統性能和擴展性,確保了數據安全和業務連續性,有效支持了業務的快速發展。騰訊云工具指南.AGI時代首選的全棧式數據管理方案/20行業實踐——各行業數據管理具體場景痛點及解法關鍵方案包括:●高性能:通過TDSQL的高并發處理能力,解決了傳統系統的性能瓶頸,提升了核心系統的處理能力。●強擴展性:基于分布式數據庫和微服務架構,使核心系統能夠靈活擴展,滿足了業務增長和創新業務場景的需求。●數據安全與災備:實現了兩地三中心高可用架構,同城雙活和異地容災,系統可用率99.999%,保障數據安全和業務連續性。●高效運維:打通TDSQL與行內監控,實現TDSQL分布式數據庫集群,集中管控和告警收斂,并結合TDSQL運維特點,完善和提升了運維體系、工具和能力。。數據丟失數據丟失與帶寬和延時相關A生產 互聯網客戶外聯單位異地數據丟失與帶寬相關BC架構示意圖部署架構圖。數據丟失數據丟失與帶寬和延時相關A生產 互聯網客戶外聯單位異地數據丟失與帶寬相關BC主生產集群異地災備集群同城主中心業務應用系統業務應用系統光纖同城備中心業務應用系統業務應用系統光纖異地災備中心業務應用系統業務應用系統主要架構目標主要架構目標兩地三中心災備架構設計目標:保證同城中心業務連續,異地災備中心保證數據一致性災備架構采取“一二三”型架構方式:一個系統,兩個城市,三個中心,兩套TDSQL集群部署六、價值展現騰訊云數據庫TDSQL助力福建海峽銀行全面升級和重構了核心系統,此次系統建設既滿足了金融級高可用要求,也大幅提升了系統能力,預計將支持海峽銀行未來10年的業務發展需求。騰訊云工具指南.AGl時代首選的全棧式數據管理方案/21行業實踐——各行業數據管理具體場景痛點及解法騰訊云大數據如何幫助極光實現大數據平臺架構優化?一、極光為何要進行大數據平臺優化？極光的大數據平臺最初在自建的lDC上運行,隨著業務的發展,極光大數據逐漸形成以下三個特征:1)離線數據量大:lDC節點規模過干臺,歷史數據加上每天新增的數據近百PB,每天調度數萬任務。2)實時數據量大:每天有近百TB的實時數據進入,對基礎測試影響較大。3)跨云數據同步:業務集群和大數據集群分開不同環境,涉及跨云同步的問題。為了更輕快的支撐好公司對數據價值的挖掘,極光決定將具備上述特征的大數據平臺遷移到騰訊云大數據。二、大數據平臺面臨怎樣的業務場景與挑戰？關鍵業務場景1)業務數據生產:數倉中間層存在萬億級單表、百億級別lD量,需要進行百億節點圖計算,業務場景需要頻繁進行大表間關聯Join,任務耗時從幾小時到一兩天不等。騰訊云工具指南.AGl時代首選的全棧式數據管理方案/22行業實踐——各行業數據管理具體場景痛點及解法2)數據服務:提供RTA場景的服務,要求時延在100毫秒以下,單表規模超過100TB,涉及最多14個版本的數據回溯。面臨的挑戰1)文件數和RPC請求大:超4億文件數,RPC請求高,導致NameNode壓力大。2)代碼質量不一:客戶代碼質量不同,導致高負荷甚至宕機,需要現場定位問題。3)壞盤故障:任務寫入壞盤導致重新運行任務,浪費時間和資源。4)資源爭搶:大任務的l0寫入寫出非常高,業務高峰期資源爭搶嚴重。三、騰訊云大數據如何助力極光打破困局？極光以騰訊云EMR和TCHouse等產品來構建云大數據平臺整體的框架。騰訊云工具指南.AGl時代首選的全棧式數據管理方案/23行業實踐——各行業數據管理具體場景痛點及解法基于騰訊云EMR架構及組件內核優化:1、基于騰訊云EMR離在線混合部署架構,利用業務TKE容器閑時充足資源,補充大數據平臺算力,提升TKE閑時利用率50%,同時結合彈性能力及存算分離場景下基于數據熱度分層存儲,整體成本下降30%以上。2、基于騰訊云EMRHDFSNameNodeRBF聯邦部署架構,降低單組NameNodeRPC請求壓力60%,容量日增近百TB對現有基礎設施帶來挑戰NameNode容量日增近百TB對現有基礎設施帶來挑戰3、優化核心業務鏈路及部分核心SQL及UDF,大表場景下,優化及消除groupby分組邏輯,避免數據Shuffle落盤,核心鏈路任務SLA提升7個小時。HDFsc0s標準存儲c0s歸檔存儲4、騰訊云EMRSpark兼容Hive桶表優化,大表Shuffle由原需要Shuffle36TB降低到18HDFsc0s標準存儲c0s歸檔存儲50%,提升集群運行穩定性。四、未來更多合作可能●大數據層面當前核心基于騰訊云EMR及TCHouse-C構建了云原生大數據平臺,未來將與騰訊基于TCHouse-D及DLC構建LakeHouse實時湖倉架構。●大模型層面極光推出新的Al產品GPTBots,這是一套基于RAG的工具類產品。今年希望結合騰訊混元大模型著力國內場開拓。騰訊云工具指南.AGl時代首選的全棧式數據管理方案/24行業實踐——各行業數據管理具體場景痛點及解法通過五大能力建設破解企業數據安全主要威脅一、新趨勢下的企業數據安全正處在怎樣的環境中？從大數據技術探索、大數據成為新的生產力要素,到去年數據作為企業資產進行資產入表,都表明數據在企業生產經營以及社會和國家的框架中地位越來越高。同時伴隨著過去幾年,人工智能非常快速的發展,尤其是從去年chatGPT推出以后,大數據給整個生產生活帶來新的驅動力。無論是數據或大模型,新的技術產生和應用的過程中,數據安全都會面臨新的挑戰——●整個領域持續遭受各種各樣的攻擊,外部的攻擊和威脅持續在衍生和存在,而且其他的攻擊,比如加密勒索等,對企業造成了非常大的損失。1)2017-2018年數據,全國公開被泄漏的數據大概20億條左右在市場上售賣,2018年達到50億條。2)2023年,根據信通院公布的數據,全球泄露的數據達到干億條以上。●伴隨著大模型技術衍生的應用,利用大模型和人工智能進行的自動化攻擊,以及針對大模型本身業務的問題,也在快速的產生。二、企業的數據安全以及大模型保護需面對何種挑戰？1、企業數據安全面臨四大挑戰——1)怎樣建立完備的數據安全治理框架,能夠統籌兼顧企業的合規風險以及業務的發展?2)怎樣識別關鍵數據資產,進行數據全流程的跟蹤分析,以及進行數據的風險評估?3)數據安全規范鏈很長,什么節點上運用什么樣合適的技術,采取什么策略進行保護?尤其針對存量數據如何進行數據安全保護改造?4)新的攻擊手段不斷涌現,如何持續運營管理數據安全體系,及時發現和響應新威脅?2、為應對上述挑戰,騰訊云經過多年探索和實踐,形成了一套完整的企業數據安全治理能力框架。在這套框架下我們需要從三個視角觀察數據安全的威脅——●組織視角:數據在企業里,從組織層面貫穿于自上而下的各層組織,貫穿于各個部門。●技術視角:數據貫穿于業務系統和應用系統、數據庫以及基礎設施。●生命周期視角:數據從數采集、傳輸、存儲、處理到銷毀有比較長的鏈條。騰訊云工具指南.AGl時代首選的全棧式數據管理方案/25行業實踐——各行業數據管理具體場景痛點及解法3、同時對于傳統數據安全和大模型下的數據安全需要進行區分:●傳統場景下的企業數據安全——數據在企業中根據用戶使用方式及數據本身特點存在形態差異及場景化差異。這些差異會導致數據在不同的場景下,面臨不同的風險,需要采用不同的安全機制進行保護。企業內數據分布典型場景:辦公場景、在線數據庫、大數據、研發環境、運維環境等。●人工智能和大模型下的企業數據安全——人工智能和大模型的領域對傳統企業的數據安全問題有兩側的延伸,由于海量數據的原始存儲資源以及訓練的過程,涉及基礎設施和模型集成廠商,所以需要考慮更多不同的責任主體,更多不同類型和數據以及系統用戶的用戶來源。騰訊云工具指南.AGl時代首選的全棧式數據管理方案/26行業實踐——各行業數據管理具體場景痛點及解法三、騰訊云如何通過五大能力應對企業數據安全挑戰？針對企業整體的風險的分布以及大模型特有的安全問題,騰訊云提出了的數據安全治理框架。在框架內,企業的數據安全治理涵蓋的事項分為五個層次——●法律合規:依循國內外法律法規和行業標準,將合規要求精準映射到企業組織架構、業務流程及安全保護體系。●組織保障體系:建立貫徹“最終責任人制”的數據治理組織體系,明確業務部門為數據安全保護的主體責任方,全員參與配合。●風險治理流程體系:形成包括數據識別、分類分級、風險評估、風險治理、持續運營等關鍵環節的端到端閉環流程。●風險治理技術體系:根據辦公、在線數據庫、大數據、人工智能等不同場景的數據特征差異,采取差異化的安全防護技術措施。●安全基礎設施:搭建安全基礎設施,為不同場景數據安全最終落地提供能力支撐。基于上述治理體系,過去幾年騰訊積累了一整套具備五大能力的數據安全治理解決方案,包括資產清查、風險評估、數據保護、風險監控和持續運營,形成了數據安全能力體系閉環。騰訊云工具指南.AGl時代首選的全棧式數據管理方案/27行業實踐——各行業數據管理具體場景痛點及解法●能力一數據資產管理與分類分級1)數據資產管理的工具:可以自動化的對主要的標準和數據類別進行自動化的識別和分類分級,具備敏感數據識別發現、掃描效率優化、掃描規則優化等優勢,實現效率提升。2)AI輔助敏感數據識別:解決傳統規則引擎局限,顯著降低誤報和漏報率。挑戰:傳統規則由于性能和靈活性存在瓶頸√部分場景誤報率較高,例如密碼√檢測對象難以窮盡,例如公司名稱√檢測規則難以創建,例如姓名應對:數據驅動,覆蓋復雜和未知場景,突破傳統規則束縛√面向60類敏感數據,訓練AINER模型,約3億參數√通過預訓練提高準確率,負樣本壓制誤報率√業務落地運行效果:準確率93.14%,召回率90.99%●能力二數據安全風險評估與持續監測AI引擎工作流程組織實體名稱識別示例1)風險評估模型:對數據建立了風險評估的模型,對數據常見的安全攻擊和威脅進行自動化的檢測,并形成評估報告。騰訊云工具指南.AGl時代首選的全棧式數據管理方案/282)數據安全情報判研與風險持續監測:通過聯合智能方式,結合情報,對數據安全風險進行持續的監控和閉環。優勢:以DSGC智能化能力為數據安全運營抓手,圍繞核心數據資產(重要數據、敏感數據),結合威脅情報、Al等技術,構建多維度的數據安全事件監測能力,降低MTTD、MTTR。3)數據安全運營:基于S0AR技術的自動化運營智能體,實現工具和流程統一化管理,從而達到數據安全治理流程的自動化。●能力三數據安全防護策略與細粒度數據保護1)數據安全統一保護平臺:通過Apl接入和數據透明訪問,用網關技術實現對數據的一次性接觸和多種策略靈活的保護。如:數據加密、動態脫敏、行為審計、運維管控等。騰訊云工具指南.AGl時代首選的全棧式數據管理方案/29行業實踐——各行業數據管理具