第1章智能計算平臺應用開發（中級）概述智能計算平臺應用開發技能點簡介智能計算平臺應用開發（中級）知識點概要智能計算平臺應用開發（中級）知識點概要中級知識點平臺搭建平臺管理數據管理應用開發平臺搭建中級-平臺搭建人工智能簡介集成開發環境常用人工智能框架平臺搭建人工智能簡介人工智能發展，包括人工智能的概念、人工智能的第一次浪潮與低谷、第二次浪潮與低谷，以及第三次浪潮等。大數據與人工智能，包數據的范圍、大數據的定義、大數據和人工智能的關系。機器學習與深度學習，包括機器學習、深度學習的概念，以及兩者與人工智能的關系。平臺搭建集成開發環境Anaconda，包含Anaconda簡介、特點、基礎配置。PyCharm，包含PyCharm簡介、智能編碼協助功能、Web開發功能和基本配置等。Eclipse，包含Eclipse簡介、特點、窗口介紹、字符集修改、Python庫安裝、運行配置等。常用人工智能框架TensorFlow、PyTorch、Mxnet、Caffe、MindSpore這5個人工智能框架的發展、功能、特點。平臺管理中級-平臺管理服務器集群管理存儲資源管理系統管理文檔管理平臺管理服務器集群管理集群管理介紹，包括伸縮性、可用性、管理性3個集群管理的主要特性，應用集中、部署簡便、系統監控、管理方便4個集群管理的發展趨勢。集群管理工具簡介，包括AIMax、華為eSightServer、浪潮BCP和SmartKit這4個集群管理的工具。平臺管理存儲資源管理存儲管理介紹，包括供應、控制資源、性能監視和管理、數據管理和數據保護、報告和成本確定5個存儲資源管理主要任務，存儲虛擬化、統一管理、自動化、智能化4個發展趨勢，CABrightStorSRM、EMCControlCenter、富士通SoftekStorageManager、HPOpenViewSAM、IBMTivoliStorageResourceManager和華為DeviceManager這6款存儲資源管理工具簡介。存儲資源管理工具FusionStorage，包括云存儲介紹、FusionStorage的系統架構、擴容、升級改造等存儲資源管理的應用。平臺管理系統管理系統管理介紹，包括系統運行狀態監控與巡檢、性能分析與優化、安全加固、系統故障調測4個系統管理的主要任務。系統管理發展趨勢，包括智能化、自動化、安全和穩定3方面。系統管理工具，包括IBMSystemsDirector、FusionDirector兩個系統管理工具簡介。系統管理工具FusionDirector，包括軟件架構、智能版本管理、智能部署管理、智能資產管理、智能能效管理、安全管理。平臺管理文檔管理包括文檔管理介紹、運維報告定義及其內容、技術支持文檔定義及其內容。數據管理中級-數據管理數據采集數據存儲數據處理數據備份和恢復數據管理——數據采集數據采集數據采集系統組成與架構數據采集系統維護和流程優化數據管理——數據采集數據采集系統組成架構大數據采集與處理，包括線下采集、線上采集兩種大數據采集技術，批處理、流處理兩種大數據處理技術。大數據基礎組件介紹，包括Flume、Loader、Kafka、MapReduce、Spark、Storm、Flink；數據采集系統架構，包括數據采集、數據處理、數據存儲。數據采集系統設計與配置，包括離線數據采集與分析系統實例、在線數據采集與分析系統實例數據管理——數據采集數據采集系統維護和流程優化數據采集流程優化，包括Flume采集流程優化、Kafka性能優化，SparkStreaming性能優化、Storm性能優化、Flink性能優化。數據采集系統維護，包括數據質量、增量數據維護、完整性約束、性能、數據采集資源占用率等維護要素。數據管理——數據存儲數據存儲主要內容包括以下2部分。大數據存儲管理數據庫存儲管理數據管理——數據存儲大數據存儲管理存儲系統維護和管理，包括HDFS、HBase、Hive。存儲系統優化，包括負載均衡技術的概述、分類，數據存儲的安全性，數據組織結構及復制策略。數據管理——數據存儲數據庫存儲管理數據庫日常監控，包括SolarWindsDatabasePerformanceAnalyzer、PaesslerPRTG、IderaDiagnosticManager、SQLPowerTools這4種數據庫監控工具的特點及用法。數據庫日常運維，包括環境部署、故障處理、性能優化、升級與遷移4種日常運維事項。數據管理——數據處理ETL數據整合數據標注與分類數據處理主要內容包括以下2部分。數據管理——數據處理ETL常用工具，包括DataPipeline、Kettle、OracleGoldengate和Informatica的特點。ETL數據整合操作，包括數據整合的過程、數據整合的基本操作。ETL任務流程監控、維護和優化，包括任務和調度、前后流程的依賴、合理的調度算法、日志和警告。ETL數據整合數據管理——數據處理圖像數據標注，包括圖像標注的任務類型、常用圖像標注工具，圖像標注質量評估算法。文本數據標注，包括文本數據標注任務類型、常用文本標注工具、文本標注質量評估算法及其優缺點。語音數據標注，包括語音數據標注常用方法、語音數據標注工具，語音標注質量評估算法。數據標注與分類數據管理——數據備份和恢復數據備份和恢復主要內容包括以下4部分。數據備份概述備份技術備份解決方案備份與恢復數據管理——數據備份和恢復數據備份概述數據備份的概念，包括了數據備份的作用、原因。備份組網介紹，包括LAN-Base、LAN-Free、Server-Free、Server-Less這4種備份組網方式。備份介質，包括磁盤陣列、磁帶庫、虛擬磁帶庫、光盤塔、光盤庫、云備份等。數據管理——數據備份和恢復備份技術備份的分類，包括完全備份、累計增量式備份、差異增量式備份。高級備份技術，包括本地快照備份、快照副本保護兩種快照技術，源端重刪、目標端重刪、全局重刪、并行重刪4種重刪技術。華為OceanStor應用實例，包括某大學圖書館備份、某工作單位備份。數據管理——數據備份和恢復備份解決方案常規備份解決方案的組網設計，包括一體化備份方案、集中備份方案。OceanStor備份解決方案，包括備份解決方案設計流程、備份解決方案設計方法論、項目背景、需求提煉、現網環境收集、兼容性設計、策略制定原則、策略制定、備份容量、重刪策略、帶寬計算、組網設計等步驟。數據管理——數據備份和恢復備份與恢復Linux文件系統備份與恢復，包括備份內容的選擇、系統備份策略、Linux備份恢復工具介紹。OceanStor備份與恢復，包括OceanStor備份方案硬件部署、OceanStor備份方案軟件安裝與配置。應用開發中級-應用開發機器學習算法建模人工智能模型開發測試應用開發——機器學習算法建模機器學習算法建模分類算法回歸算法集成學習聚類算法關聯規則算法智能推薦算法應用開發——機器學習算法建模機器學習機器學習的種類，包括有監督學習、無監督學習、半監督學習、強化學習。機器學習的應用領域，包括垃圾郵件檢測、識別惡意軟件、語音識別、人臉識別、醫學分析、股票分析、產品推薦等。分類算法邏輯回歸、KNN、樸素貝葉斯、SVM、決策樹、多層感知機6種算法的簡單介紹、實現步驟、算法優缺點、實現函數及其參數。應用開發——機器學習算法建模回歸算法線性回歸、KNN回歸、Lasso回歸3種算法的簡單介紹、實現步驟、算法優缺點、實現函數及其參數。集成學習AdaBoost、GBDT這2種Boosting算法簡單介紹、實現步驟、算法優缺點、實現函數及其參數。Bagging算法簡單介紹、實現步驟、算法優缺點、實現函數及其參數。應用開發——機器學習算法建模聚類算法原型聚類、層次聚類、密度聚類3種算法的簡單介紹、實現步驟、算法優缺點、實現函數及其參數。關聯規則算法Apriori、FP-growth這2種算法的簡單介紹、實現步驟、算法優缺點、實現函數及其參數。應用開發——機器學習算法建模智能推薦算法基于用戶的智能推薦和基于物品的智能推薦算法的簡單介紹、實現步驟、算法優缺點、實現函數及其參數。應用開發——人工智能模型開發測試人工智能模型開發測試人工智能模型開發流程人工智能模型測試應用開發——人工智能模型開發測試人工智能模型開發流程商業理解，包括確定商業目標、評析環境、確定數據挖掘目標、制定項目計劃4個步驟。數據理解，包括收集原始數據、描述數據、探索數據、檢驗數據質量4個步驟。數據準備，包括選擇數據、清洗數據、構造數據、格式化數據4個步驟。數據建模，包括選擇建模技術、生成測試設計、建立模型、評估模型、保存模型5個步驟。模型評價，包括評價結果、重審過程、確定下一步3個步驟。模型部署，包括規劃部署、規劃監控和維護、生成最終報告、回歸項目4個步驟。應用開發——人工智能模型開發測試人工智能模型測試測試用例