數據分析基礎算法本課程旨在為學生提供數據分析基礎知識和常用算法的講解，幫助學生掌握數據分析的流程和方法，并能夠運用相關算法解決實際問題。課程介紹課程目標了解數據分析的概念和流程，掌握常用數據分析算法，能夠運用算法解決實際問題。課程內容數據收集與預處理描述性統計分析概率論基礎假設檢驗回歸分析聚類分析決策樹算法樸素貝葉斯算法K-均值算法線性回歸算法時間序列分析異常值檢測文本數據分析數據分析的概念和流程數據分析定義數據分析是指利用科學方法，對收集來的數據進行分析和解釋，以發現數據中隱藏的規律和趨勢，從而為決策提供參考。數據分析流程數據收集數據預處理數據探索性分析數據建模結果解釋數據收集與預處理數據收集數據收集是指從各種來源獲取數據，包括數據庫、文件、網站、傳感器等。數據清洗數據清洗是指對數據進行處理，以消除錯誤、缺失、重復、異常等問題。數據轉換數據轉換是指將數據轉換為適合分析的格式，例如將文本數據轉換為數值數據。數據可視化基礎直方圖顯示數據的分布情況1散點圖顯示兩個變量之間的關系2折線圖顯示數據隨時間的變化趨勢3餅圖顯示數據的比例關系4描述性統計分析1集中趨勢度量描述數據中心位置2離散趨勢度量描述數據分散程度3相關性分析描述兩個變量之間的關系集中趨勢度量平均數反映數據的平均水平中位數反映數據的中間位置眾數反映數據中最頻繁出現的數值離散趨勢度量1方差:數據與平均數的平方差的平均值2標準差:方差的平方根，反映數據與平均數的平均偏差3極差:數據的最大值和最小值之差，反映數據分布的范圍相關性分析相關系數反映兩個變量之間的線性關系強度散點圖直觀顯示兩個變量之間的關系概率論基礎隨機事件在隨機現象中可能發生的各種結果概率隨機事件發生的可能性大小概率分布描述隨機變量取值的概率規律隨機變量與概率分布離散型隨機變量取值有限或可數連續型隨機變量取值可以在一個區間內連續變化概率分布類型伯努利分布二項分布泊松分布正態分布正態分布1對稱性分布曲線關于平均數對稱2鐘形曲線呈鐘形，兩端逐漸下降3集中趨勢數據集中在平均數附近抽樣分布與估計1抽樣分布樣本統計量的概率分布2參數估計根據樣本數據估計總體參數3置信區間估計總體參數的范圍假設檢驗提出假設選擇檢驗統計量確定拒絕域計算檢驗統計量得出結論方差分析2組間差異比較不同組的均值差異1組內差異分析同一組內數據的差異回歸分析線性回歸建立自變量和因變量之間的線性關系邏輯回歸預測二元分類變量聚類分析1K-均值算法將數據劃分成K個簇，每個數據點屬于最近的簇2層次聚類將數據按照相似性進行層次化分組決策樹算法特征選擇選擇最佳特征進行劃分1節點分裂根據特征值將數據分成子節點2停止條件達到預設條件或無法再劃分3樸素貝葉斯算法貝葉斯定理基于先驗概率和條件概率計算后驗概率樸素假設特征之間相互獨立K-均值算法初始化簇中心隨機選擇K個數據點作為簇中心分配數據點將每個數據點分配到距離其最近的簇中心更新簇中心重新計算每個簇的中心點迭代重復分配數據點和更新簇中心，直到收斂線性回歸算法模型假設自變量和因變量之間存在線性關系參數估計使用最小二乘法估計回歸系數模型評估評估模型的擬合程度和預測能力分類算法評估準確率正確預測的樣本數占總樣本數的比例精確率預測為正樣本中實際為正樣本的比例召回率實際為正樣本中預測為正樣本的比例F1分數精確率和召回率的調和平均數混淆矩陣正樣本真陽性假陰性負樣本假陽性真陰性ROC曲線定義ROC曲線是根據不同閾值下真陽性率和假陽性率繪制的曲線用途評估分類模型的性能，選擇最佳閾值交叉驗證數據劃分將數據分成訓練集和測試集1模型訓練使用訓練集訓練模型2模型評估使用測試集評估模型性能3重復重復上述步驟，直到所有數據都被用作測試集4時間序列分析1趨勢分析分析數據隨時間變化的長期趨勢2季節性分析分析數據隨季節變化的周期性規律3隨機波動分析分析數據中隨機波動的影響平穩性檢驗1ADF檢驗:檢測時間序列是否存在單位根2KPSS檢驗:檢測時間序列是否平穩自相關分析自相關函數反映時間序列中不同時間點數據的相關性偏自相關函數反映時間序列中剔除中間時間點數據影響后的相關性移動平均模型模型原理用過去一段時間數據的平均值來預測未來數據模型參數移動平均的窗口大小異常值檢測定義與其他數據點明顯不同的數據點方法局部異常因子隔離森林均值偏移檢測局部異常因子原理計算數據點與其周圍鄰居的密度差異用途檢測局部異常點，適用于密度不均勻的數據集隔離森林隨機劃分數據使用隨機超平面將數據空間劃分成多個子空間數據隔離異常點更容易被隔離，需要更少的劃分次數異常得分計算每個數據點被隔離的路徑長度，作為異常得分均值偏移檢測原理計算數據點到其最近簇中心的距離用途適用于檢測高維數據中的異常點文本數據分析1分詞與詞頻統計將文本分解成詞語，統計詞語出現的頻率2情感分析分析文本的情感傾向，例如正面、負面、中性3主題模型發現文本中的潛在主題分詞與詞頻統計1分詞將文本分解成詞語2詞頻統計統計每個詞語出現的次數情感分析方法詞典法機器學習深度學習應用輿情監控產品評價分析客戶服務主題模型LDA模型將文檔分解成主題，每個主題由詞語組成主題發現發現文本中隱藏的主題，并為每個主題分配關鍵詞數據挖掘項目實戰項目定義明確項目目標和問題數據收集與準備收集數據、清洗數據、準備數據數據分析與建模分析數據、選擇算法、建立模型結果評估與部署評估模型性能、部署模型、監控模型案例分享客戶畫像分析分析客戶的特征和行為，為營銷策略提供參考預測銷量分析預測產品的銷量，幫助企業制定生產計劃團隊討論1問題探討針對課程內容進行深入探討2案例