1、基本知識入門簡介人工智能及大數據開發主要內容1人工智能簡介1.1AI的定義及研究目標1.2AI的產生與發展1.3AI研究中的三大學派1.4AI的兩個不同層次1.5AI的應用2大數據簡介2.1大數據的概念2.2大數據的特點2.3大數據面臨的主要問題2.4大數據和人工智能的關系3相關算法基礎3.1基于模擬機制的人工智能算法分類方法3.2人工智能知識網絡系統總結3.3蒙特卡洛樹搜索樹算法簡介4編程語言Python簡介4.1認識Python4.2Python的應用領域主要內容4.3Python是人工智能首選語言5總結 人工智能簡介11.1AI的定義及其研究目標人工智能（Artificial Intel

2、ligence），英文縮寫為AI。它是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。人工智能是計算機科學的一個分支，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。人類智能人工智能研究領域語言智能自然語言處理，如Siri，訊飛翻譯邏輯判斷機器證明及符號運算神經控制神經網絡，如人機象棋視覺機器視覺和圖像識別自然觀察能力模式識別多種智能組合人工智能 人工智能簡介11.2AI的產生與發展 人工智能簡介1誕生與早期研究1950年，圖靈發表了一篇劃時代的論文，并提出著名的“圖靈測試”：由艾倫麥席森圖靈發明，指測試者與被測試者（一個人和一機器）

3、隔開的情況下，通過一些裝置（如鍵盤）向被測試者隨意提問。進行多次測試后，如果有超出30%的測試者不能確定出被測試者是人還是機器，那么這臺機器就通過了測試，并被認為具有人類智能1956年，達特茅斯會議：AI的誕生1957年，紐厄爾、肖（J.Shaw）和西蒙等人的心理學小組研制了稱為邏輯理論機的數學定理證明程序。1962年，由塞謬爾在IBM704計算機上研制的具有自學習和適應能力的西洋跳棋程序打敗了一個州的冠軍。挫折和教訓1958年，西蒙曾預言：十年內，計算機將稱為國際冠軍；計算機將發現和證明有意義的數學定理；計算機將能譜寫優美的樂曲；計算機將能實現大多數的心理學理論。后兩個到目前為止都未能實現。

4、在博弈方面，塞謬爾的程序與世界冠軍比賽時，5局輸了4局在定理證明方面，當時用歸結原理證明兩個連續函數之和還是連續函數時，推了10萬步，也沒有證明出來。 人工智能簡介1在神經生理學方面，發現人腦有1012以上的神經元，用機器從結構上根本無法模擬在其他方面，人工智能也遇到了不少的困難，因此那段時間，在全世界范圍，人工智能陷入了低谷。以知識為中心的研究1972年，費根鮑勃開始研究MYCIN專家系統，并于1976年研制成功，它可以協助內科醫生診斷細菌感染疾病并提供最佳處方。1976年，斯坦福大學研制出地質勘探專家系統PROSPECTOR這一時期同時發展的還有計算機視覺和機器人，自然語言理解和機器翻譯翻

5、譯等新的問題專家系統所存在的知識領域狹窄、缺乏常識性知識、知識獲取難、推理方法單一、沒有分布式功能、不能訪問現存數據庫的問題逐漸暴露出來第三次AI興起浪潮2006年后，大數據的廣泛應用使得機器學習迅速發展，并進一步產生了深度學習2016年3月， AlphaGo對戰世界圍棋冠軍、職業九段選手李世石，并以4:1的總比分獲勝。2017年5月23日至27日在中國嘉興烏鎮進行的三番棋比賽， AlphaGo以總比分3比0戰勝世界排名第一的柯潔。 人工智能簡介11.3AI研究中的三大學派符號主義學派聯結主義學派行為主義學派基于符號運算的人工智能學派。他們認為知識可以用符號來表示，認知可以通過符號運算來實現。

6、如專家系統。從大腦和神經系統的生理背景出發模擬它們的工作機理和學習方式。之后，隨著模糊邏輯和進化計算的逐步成熟，又形成了“計算智能”主要進行行為主義的模擬。如1991年，麻省理工學院布魯克教授研究成功能較為自由活動的6條腿機器蟲。奠基人：西蒙（CMU）奠基人:明斯基（MIT）奠基人:維納（MIT）隨著研究和應用的深入，人們逐漸意識到，三個學派各有所長，各有所短，如今的人工智能研究是將這三大學派的方法加以相互結合。 人工智能簡介11.4AI的兩個不同層次弱人工智能強人工智能令機器進行智能的行動。弱人工智能經常是擅長某一單方面的人工智能。比如能戰勝圍棋世界冠軍的人工智能，但它只會下棋，你問它其他事

7、情，它就無法處理。另一個典型代表是微軟小冰。它不僅安裝在Windows系統的pc上，它還擔任著東方衛視天氣預報主持人的角色。強人工智能：令機器像人一樣思考。其基本定義為：人類制造出的具有自主推理和解決一般性問題的智能程序。此類程序具備知覺和自我意識，可以完成自我編程和開發新人工智能的工作。到目前為止，真正意義上的強人工智能還沒有研制出來，并且很可能在最近幾十年都還研制不出來 人工智能簡介11.5AI的應用AI在互聯網領域類的應用 人工智能簡介1人工智能對社會經濟的影響新時代下，機器人產業將迎來井噴式的增長，并開始充斥在社會的各個角落，成為推動社會進步的強大力量。可以預見，未來將會是商業、社會與

8、機器人的聯合大接軌。人工智能機器人將會在如下方面改變著人們的生活。（1）引領時尚生活的服務機器人：餐廳服務機器人、家庭掃地機器人、達芬奇手術機器人、助殘機器人（2）風靡制造業的工業機器人：比如海爾美的中的六軸串聯機器人，負責搬運工作（3）農業機器人：育苗、采摘、蔬果分級練選、戶外載具、畜產機器人（4）教育機器人，文化領域的助理（5）特種機器人，深入險地，執行特種任務（6）太空機器人，探索宇宙，開啟神秘之旅（7）云機器人：云計算與機器人的聯合（8）仿生機器人：仿魚鳥等（9）仿人機器人對社會的影響產業變革：人工智能的發展勢必形成產業變革，很多商業模式開始重新洗牌，對創業者來說既是機遇也是挑戰 人工

9、智能簡介1失業和社會保障問題：人工智能的大規模使用，尤其是機器人的出現，大量可重復性的工作將被機器人取代，導致很多人失業貧富差距問題：將會進一步加大，利用人工智能，有錢人將會更有錢，而窮人因為失去工作變的更窮地區發展不平衡問題：人工智能屬于高科技產業，前期的投入非常大，一旦大規模市場化，則可以幫助所在地區提高生產效率，這意味著，缺乏人工智能技術的地區，發展速度會比擁有人工智能地區慢很多，兩地發展不平衡的差距將會越來越大產業結構調整：人工智能時代，人與機器的分工，會促進產業結構的調整人工智能時代的服務業：服務升級，下崗人員可以從事貼心的關愛型服務，同時提升企業的收益對個人的影響失業和社會保障問題

10、心理層面的問題：人員的自我價值、人類的自我實現、人機協同時代的人類心理學 大數據簡介22.1大數據的概念大數據（big data）：指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。主要解決，海量數據的存儲和海量數據的分析計算問題。2.2大數據的特點 Volume（大量）：截至目前，人類生產的所有印刷材料的數據量是200PB，而歷史上全人類總共說過的話的數據量大約是5EB。當前，典型個人計算機硬盤的容量為TB量級，而一些大企業的數據量已經接近EB量級。按順序給出數據存儲單位：bi

11、t、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 大數據簡介2 Velocity（高速） ：這是大數據區分于傳統數據挖掘的最顯著特征。根據IDC的“數字宇宙”的報告，預計到2020年，全球數據使用量將達到35.2ZB。在如此海量的數據面前，處理數據的效率就是企業的生命。天貓雙十一：2017年3分01秒，天貓交易額超過100億 大數據簡介2 Variety（多樣） ：這種類型的多樣性也讓數據被分為結構化數據和非結構化數據。相對于以往便于存儲的以數據庫/文本為主的結構化數據，非結構化數據越來越多，包括網絡日志、音頻、視頻、圖片、地理位置信息等，這些多類型的數據對數據

12、的處理能力提出了更高要求。 Value（低價值密度）：價值密度的高低與數據總量的大小成反比。比如公安部門的天網監控視頻中，每天每一分鐘每一秒都在存儲數據，但是公安部門關心的僅僅是發生交通事故時的那么幾分鐘的事發過程的視頻內容。 大數據簡介22.3大數據面臨的主要問題大數據時代已經來臨，全球數據量正呈指數級的增長，其主要原因如下：（1）各種傳感器的劇增及互聯網產生的各類數據、高清晰度的圖像和視頻數據（2）自然科學研究產生的數據量劇增。（3）企業及商業活動產生的數據量劇增。大數據處理的一般流程包括大數據獲取、大數據預處理、大數據存儲于管理、大數據分析與挖掘及大數據可視化。基于大數據處理流程，大數據

13、面臨的主要問題為：獲取問題、存儲問題和管理問題第一階段即大數據的獲取、存儲和管理。其中，大數據獲取是指針對海量數據進行智能化識別、定位、跟蹤及采集。大數據存儲和管理是指如何將采集到的大規模數據有效地存儲起來，建立相應的存儲機制，并進行管理和調用。（1）網絡爬蟲搜索策略（2）圖像壓縮編碼問題檢索問題、挖掘問題和發現問題第二個階段是實現信息檢索、數據挖掘和知識發現。這也是大數據處理流程的核心。（1）特征向量降維：高維的文本特征向量增加了數據處理時間和復雜 大數據簡介2度，需要降維。（2）挖掘方法效率和效果（3）模式評價及優化：對挖掘出的模式進行評價可視化和安全問題大數據處理的最后階段即實現數據可視

14、化和確保數據的隱私和安全。面對海量的數據，如何將數據或從數據中挖掘的知識清晰明朗的展現給用戶是大數據處理面臨的巨大挑戰；此外，如何在分享私人數據的同時，限制用戶隱私的泄露，是大數據處理面臨的另一個挑戰。2.4大數據與人工智能的關系任何智能的發展，其實都需要一個學習的過程。而近期人工智能之所以能取得突飛猛進的進展，不能不說是因為這些年來大數據長足發展的結果。正是由于各類感應器和數據采集技術的發展，我們開始擁有以往難以想象的的海量數據，同時，也開始在某一領域擁有深度的、細致的數據。而這些，都是訓練某一領域“智能”的前提。如果我們把人工智能看成一個嗷嗷待哺擁有無限潛力的嬰兒，某一領域專業的海量的深度

15、的數據就是喂養這個天才的奶粉。奶粉的數量決定了嬰兒是否能長大，而奶粉的質量則決定了嬰兒后續的智力發育水平。 相關算法基礎33.1基于模擬機制的人工智能算法分類方法（1）有機機制模擬基于個體的模擬模糊計算：模擬人對客觀世界認識的不確定性神經網絡：模擬人腦神經元支持向量機：通過非線性變換將輸入空間變換到一個高維空間，然后在這個新的空間中求取最優分類超平面免疫計算：借鑒和利用生物免疫系統的信息處理機制而發展的信息處理技術DNA計算：模擬生物分子DNA結構進行計算的新方法基于種群的模擬進化計算：基于生物進化的思想和原理來解決世界問題群體智能：是一種在自然界生物群體行為的啟發下提出的人工智能算法實現模式

16、粒群優化：一種基于群體搜索的算法，它建立在模擬鳥群社會的基礎上蟻群算法：是一種源于大自然中生物世界的新的仿生類算法智能代理模型多Agent系統 相關算法基礎3（2）無機機制模擬模擬退火：如果說神經網絡和進化計算是模擬有機界產生的計算方法，那么模擬退火是成功模擬無極界自然規律的結晶。自然計算可以描述成所有新興計算分支的交集的映射集合量子計算（3）人造機制模擬粗糙集：作為一種處理不精確、不確定和不完全數據的新的數學計算理論，能夠有效的處理各種不確定的信息禁忌搜索序數優化粒度計算混沌尋優算法局部搜索算法分形科學 相關算法基礎33.2人工智能知識網絡系統總結3.2.1數學基礎微積分、線代、概率論、信息

17、論、集合論和圖論、博弈論3.2.2計算機基礎計算機原理、程序設計語言（C+,Python,R）、操作系統、分布式系統、算法基礎3.2.3機器學習算法機器學習基礎：估計方法、特征方程線性模型：線性回歸邏輯回歸決策樹模型：GBDT支持向量機貝葉斯分類器神經網絡：深度學習MLP,CNN,RNN,LSTM,GAN（深度學習介紹見4.6）聚類算法：K均值算法3.2.4機器學習分類監督學習分類任務、回歸任務無監督學習聚類任務遷移學習 相關算法基礎3強化學習3.2.5神經網絡語言識別、字符識別手寫識別、機器視覺、自然語言處理機器翻譯、自動控制、游戲理論和人機對弈（象棋、圍棋、德州撲克、星際爭霸）、數據挖掘3

18、.2.6機器學習架構加速芯片：CPU、GPU、FPGA、ASICTPU虛擬化：容器Decker分布式結構：Spark 庫和計算框架：TensorFlow、scikt-learn、Caffe、MXNET、Theano、Torch、Microsoft CNTK可視化解決方案云服務：Amazon ML、Google Cloud ML、Microsoft Azure ML、阿里云ML3.2.7數據集和競賽ImageNet、MSCOCC、Kaggle、阿里天池3.2.8其他相關的人工智能技術知識圖譜、統計語言模型、專家系統 相關算法基礎33.3蒙特卡洛樹搜索樹算法簡介3.3.1介紹蒙特卡洛樹搜索是前里爾

19、大學助理教授Remi Coulom在圍棋程序Crazy stone中首先引入的方法。從最直觀的角度來看，蒙特卡洛樹搜索有一個主要目的：給出一個【游戲狀態】并選擇【勝率最高的下一步】。事實上，蒙特卡洛樹搜索是在完美信息博弈場景中進行決策的算法。簡單來說，完美信息博弈是指每個玩家在任意時間點都具有關于之前發生過的所有事件行動的完美信息的博弈。這樣的博弈案例有國際象棋、圍棋和井子棋。但并不是說每一步行動都已知就意味著可以計算和推斷出每一個可能的結果。比如，圍棋中合法的可能局面的數量就超過了 10170。3.3.2基本概念蒙特卡洛樹搜索會多次模擬博弈，并嘗試根據模擬結果預測最優的移動方案。蒙特卡洛樹搜

20、索的主要概念是搜索，即沿著博弈樹向下的一組遍歷過程。單次遍歷的路徑會從根節點（當前博弈狀態）延伸到沒有完全展開的節點，未完全展開的節點表示其子節點至少有一個未訪問到。遇到未完全展開的節點時，它的一個未訪問子節點將會作為單次模擬的根節點，隨后模擬的結果將會反向傳播回當前樹的根節點并更新博弈樹的節點統計數據。一旦搜索受限于時間或者計算力而終止，下一步行動將會基于收集到的統計數據進行決策。在模擬中，行動可以通過rollout策略函數選擇蒙特卡羅算法：采樣越多，越近似最優解； 相關算法基礎3圖片展示了如何更新節點的勝率，選擇勝率大的分支進行搜索（7/10-5/6-3/3)，到了3/3葉子節點進行展開選

21、擇一個action，然后進行模擬，評估這個action的結果。然后把結果向上回溯到根節點。 相關算法基礎3節點的統計數據：包括模擬獎勵Q（v）和總訪問次數N（v），分別反映該節點的潛在價值（總模擬獎勵）和它被探索的程度（總訪問次數）。高獎勵的節點是很好的可以利用候選，而那些訪問次數很少的也可能是有價值的。蒙特卡羅樹搜索方法一共有四個步驟：選舉(selection)是根據當前獲得所有子步驟的統計結果，選擇一個最優的子步驟。 擴展(expansion)在當前獲得的統計結果不足以計算出下一個步驟時，隨機選擇一個子步驟。模擬(simulation)模擬游戲，進入下一步。反向傳播(Back-Propag

22、ation)根據游戲結束的結果，計算對應路徑上統計記錄的值。 編程語言Python簡介44.1認識Python Python（英國發音：/pan/）, 是一種面向對象的解釋型計算機程序設計語言，由荷蘭人Guido van Rossum（吉多范羅蘇姆）于1989年發明，第一個公開發行版發行于1991年，已經有了28年的歷史。Python是純粹的免費、開源軟件。Python語法簡潔清晰，簡單易學。Python具有豐富和強大的庫。常被稱為膠水語言，能夠把用其他語言制作的各種模塊（尤其是C/C+）很輕松地聯結在一起。很多人工智能相關庫使用Python寫的，因此Python是人工智能首選語言。2017年

23、，全球編程語言排行中，Python語言排名第四 編程語言Python簡介4 一種腳本語言與之對比，C是一種編譯型語言。編譯型語言：就是需要用該語言的編譯器將源代碼編譯為可執行程序，然后才能運行可執行程序的語言。即先將源代碼編譯為目標文件，然后把目標文件加上必要的庫文件，最后再鏈接為最終的可執行文件。腳本語言：無需用編譯器編譯源代碼，可直接運行該源碼形式腳本文件的語言。而能夠直接運行腳本文件的背后，是當前環境中存在著此腳本的解析器。解析器負責讀入此腳本源碼，以及后續解析并執行的動作。 一種解釋型語言這是因為腳本語言的天然特點之一就是解釋性。解釋器解析每一行的過程通俗講就是：讀一行，解釋一行，執行

24、一行。 一種高級語言低級語言：匯編（語言本身直接和硬件打交道，而缺少對計算機細節的抽象，相對而言不是那么好理解和使用）高級語言：在本身的設計層面會考慮到對計算機細節的封裝和抽象。 Python也完全具有常用的基本元素，如各種普通變量、列表、函數等 Python能做其他高級語言做的事情 可以像其他高級語言一樣用來開發各種不同功能的軟件；和其他高級語言一樣不能直接操作底層硬件。 編程語言Python簡介4一種面向對象的語言什么是面向對象的（高級）語言:在設計該語言本身時，對于語言本身的基本元素是以對象的方式設計的，而不同的對象之間的交互則成為整個程序運行的主要表現形式。4.2Python的應用領域

25、目前使用Python語言的企業有很多1.著名的Google公司在其網絡搜索系統中廣泛應用Python語言。同時還聘用了Python之父 （Guido van Rossum）2.國外知名的YouTube視頻分享網站，一些重要的服務也幾乎都是用Python編寫的程序；3.P2P文件分享系統Bittorrent是一個Python 程序。 4.Intel(英特爾) 、Cisco(思科) 、Hewlett-Packard(惠普) 、Seagate(希捷) 、Qualcomm(高通) 和IBM 也都使用Python 進行硬件測試 5.JPMorgan Chase(摩根大通集團) 、UBS(瑞士聯合銀行集團

26、) 、Getco 和Citadel 使用Python，經濟市場預測領域也能看到Python的身影。 6.高科技含量的領域也有Python語言的身影，像是NASA(美國國家航空航天局) 、Los Alamos(洛斯阿拉莫斯洛杉磯國家實驗室) 、Fermilab(費米實驗室) 、JPL(噴氣推進實驗室) 等使用Python 實現科學計算任務； 編程語言Python簡介47.IRobot公司使用Python 開發了商業機器人真空吸塵器； 8.NSA(美國國家安全局) 在加密和智能分析中使用Python 。 9.IronPort 業界領先的互聯網信息安全產品提供商，也在電子郵件服務器產品中使用了超過100 萬行的Python 代碼實現其工作；10.Python在用戶圖形接口領域也很受歡迎 Python語言的簡潔和快速的開發周期，讓它十分適合開發GUI(圖形用戶界面)程序。Python內置的TKinter 的標準面向對象接口Tk GUI API ，使Python 程序可以生成可移植的本地觀感的GUI。Python編程語言應用領域非常廣泛，像是游戲、圖像、人工智能、XML 、機器人等等。從語言本身來講，它能實現其他主流語言能實現的所有