01云原生智算服務(wù)關(guān)鍵技術(shù) 02智算服務(wù)可觀測(cè)需求與挑戰(zhàn)智算服務(wù)可觀測(cè)Pipeline智算服務(wù)可觀測(cè)Pipeline技術(shù)實(shí)踐 03下一代可觀測(cè)Pipeline 05未來(lái)展望?AI在計(jì)算機(jī)視覺(jué)、語(yǔ)音、?AI在計(jì)算機(jī)視覺(jué)、語(yǔ)音、NLP等領(lǐng)域取得突破，已深入影響各行各業(yè)，并催生出了自動(dòng)駕駛等領(lǐng)域。?AI服務(wù)上云形成趨勢(shì)，深度學(xué)習(xí)/AIGC應(yīng)用廣泛采用容器等云原生技術(shù)。深度學(xué)習(xí)的特點(diǎn)深度學(xué)習(xí)的特點(diǎn)?持續(xù)迭代優(yōu)化–梯度下降,超參數(shù)調(diào)優(yōu),Prompt工程?任務(wù)長(zhǎng)時(shí)運(yùn)行–小時(shí)/天/周/月?消耗海量數(shù)據(jù)和大量算力AI工程中的計(jì)算需求常常具有高度的動(dòng)態(tài)性，如模型訓(xùn)練和推理AI工程通常涉及多個(gè)團(tuán)隊(duì)，不同任務(wù)需要獨(dú)立的資源隔離，避免環(huán)境一致性海量小文件數(shù)據(jù)集讀取?資源管理分散?資源管理分散、資源利開(kāi)發(fā)模型訓(xùn)練模型發(fā)布模型AI工程平臺(tái)GPU池存儲(chǔ)池到2025年，接近50%的企業(yè)內(nèi)部的數(shù)據(jù)密集型或性能密集型計(jì)算工作負(fù)載都將遷移到云云原生AI云原生AIAI異構(gòu)工作負(fù)載TensorflowPytorchTensorflowPytorchDeepspeedHuggingfaceLangchain統(tǒng)一工作流，統(tǒng)一工作流，統(tǒng)一調(diào)度統(tǒng)一管理統(tǒng)一管理模型訓(xùn)練可觀測(cè)人工智能平臺(tái)PAI（PaaS）模型推理可觀測(cè)模型訓(xùn)練可觀測(cè)人工智能平臺(tái)PAI（PaaS）模型推理可觀測(cè)容器服務(wù)ACK（CaaS）智算服務(wù)PAI-靈駿（IaaS）生態(tài)擴(kuò)展、集成工具鏈、APIAI作業(yè)生命周期管理高性能計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)容器平臺(tái)云計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源異構(gòu),數(shù)據(jù)豐富度與時(shí)效性要求高。可觀測(cè)數(shù)據(jù)異構(gòu):不同的模型的觀測(cè)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源異構(gòu),數(shù)據(jù)豐富度與時(shí)效性要求高。可觀測(cè)數(shù)據(jù)異構(gòu):不同的模型的觀測(cè)?可觀測(cè)數(shù)據(jù)采集的隔離性?全面的數(shù)據(jù)采集能力、靈活的數(shù)據(jù)處理彈性:工作負(fù)載增刪頻繁、生命周期不確定、流量突發(fā)大據(jù)大,擴(kuò)容速度10kpod/min源變動(dòng)等,需要彈性保證訓(xùn)練連續(xù)性化實(shí)現(xiàn)擴(kuò)縮容集群規(guī)模大?分布式訓(xùn)練多個(gè)節(jié)點(diǎn)協(xié)同工作,可觀測(cè)數(shù)據(jù)一致性?跨地域/多集群的穩(wěn)定性與可管控性?強(qiáng)大的彈性能力?性能好、資源開(kāi)銷低、穩(wěn)定可靠?支持多租?管控能力強(qiáng)，易用LoongCollectorLoongCollector是一款集卓越性能 iLogtail 服務(wù)發(fā)現(xiàn)LoongcollectorTelemetry一個(gè)輕量、高效、穩(wěn)定、可靠的架構(gòu)，能夠?qū)崿F(xiàn)高吞吐量，Agent采集速率參數(shù)：logs-per-15Vector4488645iLogtailiLogtail在采集速率上優(yōu)勢(shì)明顯。”——《性能與可靠的超強(qiáng)碰撞！第三方測(cè)評(píng)基于時(shí)間片調(diào)度ZeroCopy：減少內(nèi)存拷貝Schema固定(where/extend)Schema-free處理Schema固定(where/extend)Schema-free處理(project-away/keep)Schema-free處理(parsejson/csv/regex)TaskTaskTaskTaskTask開(kāi)放的管控協(xié)議百萬(wàn)級(jí)機(jī)器管控、靈活分組及采集配置分發(fā)支持采集配置、進(jìn)程配置、自定義命令開(kāi)放的管控協(xié)議百萬(wàn)級(jí)機(jī)器管控、靈活分組及采集配置分發(fā)支持采集配置、進(jìn)程配置、自定義命令商業(yè)版管控（百萬(wàn)級(jí)機(jī)器管控，企業(yè)級(jí)穩(wěn)定性）開(kāi)源版管控服務(wù)（完全開(kāi)源，可自由擴(kuò)展）托管版管控服務(wù)（免運(yùn)維，敬請(qǐng)期待）任何遵守開(kāi)源管控協(xié)議v2的自有實(shí)現(xiàn)管控IP型機(jī)器組IP型機(jī)器組標(biāo)識(shí)型機(jī)器組（相同user_defined_id）增強(qiáng)型機(jī)器組（基于ECS屬性，即將支持）言法SPL處理/編排VRL力現(xiàn)無(wú)無(wú)無(wú)力強(qiáng)中中后續(xù)通過(guò)eBPF能力持續(xù)中強(qiáng)中低中列t機(jī)制.列型GPUGPUGPUGPUGPUGPURoCERDMA網(wǎng)絡(luò)并行文件存儲(chǔ)并行文件存儲(chǔ)CPFS云產(chǎn)品用戶Target1Target2Target3…云產(chǎn)品用戶Target1Target2Target3…Worker管理、服務(wù)發(fā)現(xiàn)、負(fù)載均衡、水平擴(kuò)容、平滑升級(jí)采集目標(biāo)TargetN?MetricsServer云產(chǎn)品工程師容器GPU容器GPU監(jiān)控能力GPU壞卡狀態(tài)檢測(cè)多集多卡AIGPU壞卡狀態(tài)檢測(cè)多集多卡AI訓(xùn)練，存儲(chǔ)時(shí)延增加導(dǎo)致GPU等待高性能計(jì)算，重負(fù)載情況下時(shí)延增加，毛刺增多高性能計(jì)算，重負(fù)載情況下時(shí)延增加，毛刺增多K8s每個(gè)Node部署一個(gè)日志Agent。負(fù)責(zé)采集當(dāng)前Node所有容器標(biāo)準(zhǔn)輸出、文件日志或宿主機(jī)文件。一個(gè)POD中運(yùn)行一個(gè)Sidecar僅采集該P(yáng)OD內(nèi)業(yè)務(wù)容器產(chǎn)生的文件日志。Logging-E.g.Ingress Logging-AuditLogging–ApplicationLogsLaongLaongcollector樣例通過(guò)字節(jié)流解析應(yīng)用層協(xié)議，屏蔽了編程語(yǔ)言和編程框架的影響，大幅減少開(kāi)發(fā)的復(fù)雜度。集群網(wǎng)絡(luò)拓?fù)?連通性診斷Thread1Thread1……Thread1Thread1Thread1 ……Thread8…?LoongCollector單機(jī)極限性能?極簡(jiǎn)模式440M/s?多行切分模式400M/s?客戶端?服務(wù)器資源?LoongCollector?LoongCollector整體狀態(tài)