云平臺人工智能建模系統框架及功能要求目 次前 言 II范圍 1規范性引用文件 1術語和定義 1云平臺 1人工智能建模系統 1算子 1特征工程 1縮略語 2功能構成 2概述 2數據導入導出 2數據預覽與探索 3數據預處理 3特征工程 3算法選擇 4模型訓練與評估 4模型管理 5模型市場 5工作流調度 6參考文獻 7I云平臺人工智能建模系統功能要求范圍本文件規定了云平臺人工智能建模系統的各組件功能要求。規范性引用文件（包括所有的修改單適用于本文件。GB/T5271.31-2006信息技術詞匯第31部分：人工智能機器學習GB/T5271.34-2006信息技術詞匯第34部分：人工智能神經網絡術語和定義GB/T5271.31-2006，GB/T5271.34-2006界定的以及下列術語和定義適用于本文件。3.1云平臺3.2人工智能建模系統3.3算子構成人工智能建模算法的計算單元。3.4特征工程利用領域知識從原始數據中提取特征的過程。1縮略語下列縮略語適用于本文件。AI：人工智能（ArtificialIntelligence）DAG：有向無環圖（DirectedAcyclicGraph）NLP：自然語言處理（NaturalLanguageProcessing）JDBC：Java數據庫連接（JavaDatabaseConnectivity）HDFS：Hadoop分布式文件系統（HadoopDistributedFileSystem）SQL：結構化查詢語言（StructuredQueryLanguage）API：應用程序接口（ApplicationProgrammingInterface）ROC：接收者操作特征（ReceiverOperatingCharacteristic）PR：查全率（Precision-Recall）REST：表述性狀態轉移（RepresentationalStateTransfer）功能要求概述云平臺人工智能建模系統的功能框架見圖1，包括數據導入導出、數據預覽與探索、數據預處理、特征工程、算法選擇、模型訓練與評估、模型管理、模型市場、工作流調度等核心能力。圖1云平臺人工智能建模系統的功能框架數據導入導出數據導入HiveHBaseElasticSearchHDFSJDBC數據導出2支持將結果數據導出至關系型數據庫、Hive、HDFS、JDBC等，同時支持結果數據導出至數據源。數據樣例人工智能平臺應提供不同類型的樣例數據以供測試。數據預覽與探索數據質量分析支持對臟數據，數據缺失值、異常值等的檢查。數據統計分析支持查看數據的分布情況和統計學指標。支持圖形化自定義統計分析數據。數據特征分析復雜數據特征分析支持交互式分析和探索的編程環境。包括R、Python等編程環境，用于復雜的數據特征分析。數據預處理數據清洗支持按照預定義的清洗模式對全量數據進行原始無效異常數據過濾和缺失數據補齊。數據變換提供包括數據屬性轉換、新屬性生成在內的處理能力。數據規約提供對基本數據屬性的歸一化處理能力。自動化預處理支持數據預處理自動化，包括自動填充、自動清理、自動轉換以及自動歸一化等。預處理行業模板人工智能平臺應提供預處理操作算子樣例及常用模板。特征工程特征工程流程特征工程流程包括特征變換、特征重要性評估、特征選擇、特征生成等。特征工程自動化特征工程自動化包括自動多表擴展、自動特征變換、自動特征選擇以及自動特征生成等。3特征提取模板支持特征提取算子和模板配置。算法選擇基礎能力支持多種優化算法，算法參數可配置。支持但不限于以下的算法類型特征權重、流處理、預處理、表操作、機器學習、圖嵌入、驗證與評估、NLP、時間序列、統計、集成學習、深度學習、圖計算、圖像處理、強化學習等。自定義算法支持通過Python，R等實現自定義算法，支持用戶自定義持久化擴展算子庫。實用工具庫算法樣例庫提供章節5.6.2、5.6.3所列算法的使用樣例。模型訓練與評估訓練過程資源共享支持多個用戶分組管理和共享計算資源。資源管控支持對物理資源進行虛擬化管控，可以動態進行資源的申請或釋放。復雜任務依賴支持多任務之間圖形化構建依賴，以構建復雜的模型訓練任務及數據分析任務。自動調參與自動建模支持自動建模，自動選擇算法及參數。交叉驗證4支持按比例隨機分配訓練與測試集，支持交叉檢驗。評估指標支持多種評估指標，如混淆矩陣，ROC曲線，PR曲線，加權召回率等。對于二分類，輸出包括評價指標的數目表格；對于多分類，輸出混淆矩陣。評估樣例庫提供所有評估算子樣例。模型管理模型的版本管理支持歷史、新建及外部導入模型的保存和版本管理，支持模型詳細查看，模型結果查看。模型導入導出支持多種模型格式。支持導出Json模型，包括聚類、分類、回歸等類型。深度學習模型管理支持深度學習模型導入導出和可視化查看，支持實驗應用。模型市場模型用戶管理支持管理員對其所屬普通用戶項目情況及權限進行管理。模型服務上架支持任務/實驗、代碼、自定義鏡像等在模型市場上架。模型服務上、下線支持模型服務的上、下線與列表查看。模型服務更新支持滾動更新及灰度更新，且灰度升級支持分配流量權重。模型服務測試支持服務上線后的API測試。模型服務管理支持自定義模型部署,生成相應RESTAPI，手動增加實例數量提高服務的負載均衡；可查看當前導入平臺的API列表。模型服務監控5模型服務使用API服務上線后，可通過RESTAPI調用，傳入參數并獲得預測值。工作流調度任務配置支持可視化建模、代碼建模、特征和模型上架、上線等任務類型。支持對單個任務進行資源配置，如可視化建模、代碼建模等。設計工作流Cron表達式，來設置整個工作流的調度周期。執行工作流