03人工智能技術的新探索

——機器學習技術框架011本章目標理解數據智能的本質掌握數據智能的核心要素了解數據科學的概念掌握機器學習的概念2/60重點重點數據智能3/60回顧：人工智能技術三次浪潮4/60如何實現機器自主學習？5/60人類機器學習學習現代人工智能的基石數據智能利用先進的數據分析、機器學習技術，從海量數據中提取有價值的信息，并將這些信息轉化為洞察力和智能決策的能力數據文字圖片視頻音頻...從以下幾個方面理解數據智能6/60從數學角度看模型從認識論看數據智能從模型論看數據智能數據智能探討人類如何從感知到認知將抽象的認識論概念具體化為可操作的思維工具實現模型和思維的精確方法和語言從認識論看數據智能透過現象看本質7/60世界是什么？世界究竟存在哪些本質屬性？本體論我們如何能夠認識這個世界？我們的認知是否可靠、全面？認識論感知智能活動的起點8/60科技擴大感知范圍盡管如此，還有很多我們無法感知的世界......電磁波暗物質眼耳舌鼻身感知認知認知始于感知，但不止于感知9/60兒時.這只狗會咬我！！！害怕恐懼看見狗咬人的狗大腦對接收到的信息進行加工處理感知與認知的哲學基礎認知并非是對真實世界的把握10/60康德及其代表性作品兒時.被狗咬過或者沒養過狗的人養過狗的人這是一只會咬人的狗！這是一只可愛的狗！這是一只什么樣的小狗？曾經或現在我們所認知的并非物自體，而是經過我們認知結構處理后的現象事物的本體事物表象≠先驗認識論對數據智能的啟示11/60數據：女孩、房子、紙推斷：一個女孩在看一張紙數據：女孩、房子、紙、玩偶、燈籠推斷：這可能是一家飯店，一個女孩在看菜譜數據：女孩、房子、紙、玩偶、燈籠、花、文字......推斷：這是一個日本餐館，正在營業中，一個女孩餐館前，可能在點餐，當前的季節可能是春秋季......數據智能搜索更多的數據，得出更多的推斷......兒童成人偵探數據智能是人類認知的模擬和擴展數據智能如何增強人類的認知能力

多源數據融合技術先進的算法設計和數據選擇方法12/60先驗認識與數據智能的對應13/60人的感知大腦的信息處理人類的認知和判斷先驗認知數據采集數據處理和分析模式識別和決策制定數據智能更廣泛更復雜更準確想一想在數據智能中，什么是康德所說的“物自體”，什么是“經過我們認知處理后的現象”？14/60我們所認知的并非物自體，而是經過我們認知結構處理后的現象事物的本體事物表象≠數據采集數據處理和分析模式識別和決策制定數據智能從模型論看數據智能15/60人腦運用想象世界來處理實際問題時，主要依賴于模型論模型思維的起源與發展人腦必須借助于模型才能有效運轉模型在認知過程中的作用決策樹模型神經網絡模型主題模型模型在數據智能中的應用宗教、科學、生物學、文學創作、工程實踐、生活模型思維在現實中的應用人腦運用想象世界來處理實際問題時，主要依賴于模型論模型思維的起源與發展16/60古希臘柏拉圖

我們所見的世界只是表象，其背后存在一個更為真實的理念世界。理念世界中的每一個理念或模型，都是表象世界中相應事物的本質或原型蘋果模型模型在認知過程中的作用人腦必須借助于模型才能有效運轉17/60兒時.被狗咬過或者沒養過狗的人狗是咬人的！狗是可愛的！狗是什么樣的動物？曾經或現在模型根據經歷不同，不同的人構建出的狗的模型不同，所以看到的表象也不同事物表象事物表象養過狗的人模型思維在現實中的應用18/60牛頓定律宗教信仰科學生物學模型思維在現實中的應用19/60文學宇宙文明人生百態工程哲學生活模型在數據智能中的應用決策樹模型20/60樹狀結構表示決策過程，用于分類任務判斷好瓜還是壞瓜的決策樹模型在數據智能中的應用神經網絡模型21/60多輸入下的神經元模型深度神經網絡單層感知機模型模型在數據智能中的應用主題模型22/60LDA主題模型想一想從模型論的角度來說，數據智能要建立合適的模型擬合數據。那么以城市交通流量預測模型為例，你認為模型大概是怎么樣的？可能有哪些局限性？23/60從數學角度看模型萬物皆數24/60畢達哥拉斯學派畢達哥拉斯定理弦長比與音程的關系數學思維本質上是一種模型思維數學在數據智能中的應用線性代數

25

25/60RGB是通過對三原色紅（R）、綠（G）、藍（B）通道的變化以及它們相互之間的疊加，得到各式各樣的顏色xyRGB(226,237,233)G:237R:226B:233xy[[226,237,233],[188,202,191],[137,159,147],[96,120,110],........[221,......,......],[191,......,.......],[176,......,.......],[182,.....,......],..............,......,......,......,........]顏色矩陣RGB數學在數據智能中的應用概率與統計學26/60英國學者貝葉斯根據貝葉斯模型實現下面預測貝葉斯定理概率統計[類別=P][天氣=晴]該情況的概率數學在數據智能中的應用優化理論27/60利用梯度下降算法求解模型參數數學在數據智能中的應用信息論28/60最大信息增益—父節點的不純度MIN所有子節點的不純度MAX決策樹模型構建決策樹時，算法會嘗試最小化子節點的不純度，這樣可以使得每個節點盡可能純。純度越高，劃分效果越清晰，需要再進行劃分的次數越少純度最高的子集每次選擇哪個特征作為拆分節點？身材大小是否叫脖子長短是否會結網是否會飛數學在數據智能中的應用微積分29/60正向傳播反向傳播數學模型的優勢與局限優勢30/60局限精確性欠擬合與過擬合欠擬合認為蘋果也是樹葉好的樹葉模型過擬合認為必須邊緣有鋸齒狀才是樹葉，其他不是樹葉數據智能的核心要素三要素31/60模型數據學習感知理解表達原料方法目標數據智能的局限32/60從認識論角度原有認知已理解事物無法解釋的事物從模型角度從數學角度本質上，模型都是簡化的不是所有問題都是可計算的是否會最終停止（停機）?認知是有局限的停機問題無法判斷小結什么是數據智能從各個角度看數據智能認識論、模型論、數學數據智能的核心要素數據、模型、學習數學智能局限性認識論、模型論、數學33/60數據科學34/60數據是21世紀的石油數據科學什么是數據科學駕馭數據以驅動智能的核心領域35/60數據智能數據科學數據科學的特征數據36/60形式多樣快速產生價值密度低數據量大全維度覆蓋淘寶2024年月活躍用戶8.87億Facebook日產數據4PB100億條消息3.5億張照片1億小時視頻一個大型醫療集團每年可能積累PB級別的電子病歷數據文字圖片音頻視頻互動信息交通醫療教育工業農業某工業車間內的傳感器每秒鐘產生數條數據，但只有故障數據可能才是有價值數據從人類認知科學領域看數據科學37/60遵循邏輯規則推理判斷邏輯思維抽象思維運用數學知識方法和算概念思考并計求解問題數學與計算思維數據智能數據挖掘和智能算法對客觀現實間接概括感性思維（直覺思維）從自然科學領域看數據科學38/60數據驅動精準醫療氣象預測生物學領域氣象學領域從社會研究學領域看數據科學39/60輿情分析用戶畫像社交媒體數據分析從人工智能領域看數據科學40/60數據科學作為核心驅動力機器學習關鍵組成部分機器學習41/60什么是機器學習兒時的你是怎么學習的？42/60耳朵長的是兔子鼻子長的是大象這是什么？耳朵長，是兔子學習的過程預測的過程什么是機器學習機器“學習”的過程與人類一樣43/60機器學習與統計學習方法44/60機器學習統計學習方法統計學習方法是機器學習的重要組成部分不關注數據的描述和推斷，而是通過構建數學模型，讓計算機通過數據進行預測或決策提取特征、學習規律相關概念的區分45/60傳統的統計分析方法統計學習方法數據集小規模、低維度大規模、高維度復雜關注重點數據的描述性分析和推斷統計注重數據建模、預測和決策舉例

一家制藥公司研發了一種新的感冒藥，想要測試其對縮短感冒病程的有效性。他們招募了一個小規模的測試組，共有50名感冒患者參與實驗

基因研究公司對一個基因數據集實現分析。包含成千上萬個基因表達數據（維度），樣本數量達到數百萬級，數據非常復雜，基因之間相互關聯，并且與疾病的發生、發展有著復雜的關系

小型社區超市，主要銷售食品、日用品和文具3大類商品，想要分析各類商品的銷售情況。

大型電商平臺（如京東、天貓），有數以百萬計的商品，每個商品都有大量與之相關的數據維度，如商品價格、品牌、類別、歷史銷量、好評率、店鋪信譽、促銷活動、季節因素、消費者評價關鍵詞等諸多因素，構成了一個大規模、高維度的數據集統計學習方法的優勢46/60電子病歷系統中數以萬計患者的病歷強大的數據處理能力靈活的模型選擇金融領域的線性數據與非線性數據使用隨機梯度下降調優圖像識別模型高效的優化算法嚴格的評估標準使用精準率、準確率等實現評估個人信用卡風險評估LDA模型股票價格波動SVM模型線性數據非線性數據CNNAdam圖像識別模型分類模型評估指標電子病歷數據量大機器學習的數學基礎和應用47/60微積分線性代數概率論優化理論梯度下降--反向傳播--正則化--......----標準化歸一化--貝葉斯模型--模型融合--......--梯度下降及變種--超參數優化--模型選擇--......數據矩陣表示--神經網絡線性變換--向量空間--......--實戰訓練—機器學習原理體驗2-1任務描述體驗機器學習概念與原理。任務要求分別完成丹頂鶴與鴕鳥的識別、鴕鳥與鴯鹋的識別2.總結我們自己是如何完成上面的識別任務的？3.思考這個過程對比機器學習實現圖像識別，可能有哪些異同？48/34實戰訓練—機器學習原理體驗2-2教學指導

用3-5分鐘時間，瀏覽觀察訓練圖片中10張丹頂鶴圖片和10張鴕鳥圖片，總結每張圖片中動物的體貌特征并記錄。

選擇測試圖片，嘗試說出圖中是丹頂鶴還是鴕鳥？為什么？

識別鴕鳥與鴯鹋的任務同上。請注意鴯鹋與鴕鳥的體貌特征接近，需要更細微的特征觀察總結人識別圖片中動物的具體過程對比人的圖像識別與機器實現圖像識別的異同提示：

例如，對于丹頂鶴的特征，人可能有一部分先驗知識，比如頭上有紅色，嘴又尖又長。但機器對于這些信息，可能需要進行一些標注并存儲，