




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
第1章人工智能來龍去脈目錄1.1人工智能的內涵1.2人工智能發展史1.3人工智能的應用1.4人工智能的未來學習目標本章主要從人工智能發展脈絡的視角,圍繞智能的本質與人工智能的基本內涵、人工智能的發展歷程、人工智能的應用領域和未來發展趨勢等問題開展分析和討論,希望帶領讀者走近和認識人工智能,理解人工智能的前世今生。理解人工智能的內涵、特點和分類了解人工智能的產生和發展過程了解人工智能在各領域的應用理解當前人工智能發展水平和未來趨勢目錄1.1人工智能的內涵人工智能技術導論
人工智能是模擬實現人類思維的技術,它的主要目的是賦予機器人特有的視聽說以及抽象思維能力。尤其體現在判斷、推理、證明、識別學習和問題求解等思維活動上,總體來說,它是知識和思維的結合體。
北京冬奧會為人工智能技術的加速應用落地提供了更加豐富的場景,將帶動相關技術的成熟發展,以及產業的落地應用,驅動數字經濟向縱深發展。近年來,數字經濟的高速發展為人工智能的發展創造了良好的經濟基礎與技術環境,同時,人工智能作為關鍵新型信息基礎設施,也被視為拉動數字經濟發展的新動能。艾瑞咨詢發布的《中國人工智能產業研究報告》顯示,2021年,人工智能核心產業規模約為1998億元。到2026年,人工智能核心產業規模將超過6000億元,產業規模高速增長的背后是技術水平的全面提升。人工智能技術導論圖1?1中國人工智能產能規模人工智能技術導論1.1.1人工智能的定義人工智能(ArtificialIntelligence),英文縮寫為AI。它是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。人工智能是計算機科學的一個分支,它企圖了解智能的實質,并生產出一種新的能以人類智能相似的方式做出反應的智能機器,該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。
人工智能具有算力、算法、數據三大要素,其中基礎層提供算力支持,通用技術平臺解決算法問題,場景化應用挖掘數據價值。人工智能技術導論圖
1?2人工智能三大要素人工智能技術導論1.1.2人工智能的優缺點(1)人工智能的優點
更少的錯誤:由于對先前收集的信息和某些算法進行了決策,而不會受到人為干擾,因此可以減少錯誤,并且有可能以更高的精度達到準確度。
更快的決策:使用人工智能,可以非??焖俚刈龀鰶Q策。因為根據其背后使用的算法,機器可以在很短的時間內采取最佳步驟,例如國際象棋。
缺乏情感:完全沒有情感使機器能夠邏輯思考并做出正確的決定,在人的情感中,情感與可能影響人類效率的情感相關聯,完全沒有情緒會使機器做出正確的決定。
連續工作:與人類不同,機器可以全年不間斷地工作。下班后,人們需要休息一下以恢復其速度和新鮮度,而機器可以長時間工作,而不會感到無聊或分心。人工智能技術導論1.1.2人工智能的優缺點(2)人工智能的缺點
高昂成本:硬件和軟件需要及時更新以滿足最新要求。機器需要維修和保養,這需要大量成本。
人口失業:越來越多的機器導致人口失業和工作保障問題。隨著機器替代人力資源,機器可以不間斷地全天候24工作,這種方式提高的工作效率,但也間接的造成了失業人數的增加。
機器依賴:在機器的大量幫助下,大量人群將不需要思考能力,這些能力將逐漸降低,未來隨著人工智能的大量使用,人類可能會完全依賴機器,從而失去其智力。人工智能技術導論1.1.3人工智能的分類
對于人工智能的智能程度,分為弱人工智能(ArtificialNarrowIntelligence,ANI)、強人工智能(ArtificialGeneralIntelligence,AGI)和超人工智能(ArtificialSuperIntelligence,ASI)。弱人工智能是指專注于且只能解決單個特定領域問題的人工智能。強人工智能是指能夠勝任人類所有工作的人工智能。超人工智能是指在科學創造力、智能和社交能力等每一個方面都比最強人類大腦聰明的人工智能。人工智能技術導論1.1.3人工智能的分類圖
1?3人工智能分類目錄1.2人工智能發展史人工智能技術導論
在人工智能歷史的舞臺上,不得不提到三大影響深遠的人物——馬文·明斯基(MarvinLeeMinsky)、阿蘭·麥席森·圖靈(AlanMathisonTuring)和約翰·麥卡錫(JohnMcCarthy)。馬文·明斯基
阿蘭·麥席森·圖靈
約翰·麥卡錫圖1?4人工智能發展具有影響力的三位人物人工智能技術導論
從20世紀50年代至今,人工智能作為一門極富挑戰性的科學,人工智能的發展經歷了“三起兩落”的曲折歷程,概括起來,主要分為六個發展期,如圖1-7所示。圖1?5人工智能經歷的六個發展期人工智能技術導論1.2.1起步發展期
20世紀50年代至60年代初,人工智能概念提出后,相繼取得了一批令人矚目的研究成果。1952年,被稱為“機器學習之父”的阿瑟·塞繆爾提出了機器定理,同時以這一理論為基礎編寫出了西洋跳棋程序,通過觀察當前位置,并學習一個隱含的模型,隨著該游戲程序運行時間的增加,其可以實現越來越好的后續指導?;诖颂岢觥皺C器學習”理論,并將它定義為“可以提供計算機能力而無需顯式編程的研究領域”。這是第一個與人下棋的機器在1962年戰勝了美國的西洋跳棋大師,引起轟動,掀起了人工智能發展的第一個高潮。人工智能技術導論1.2.2反思發展期
20世紀60年代至70年代初,人工智能發展初期的突破性進展大大提升了人們對人工智能的期望,人們開始嘗試更具挑戰性的任務,并提出了一些不切實際的研發目標。然而,接二連三的失敗和預期目標的落空,例如無法用機器證明兩個連續函數之和還是連續函數、機器翻譯鬧出笑話等,人工智能在技術方面也遇到了許多瓶頸,例如:計算機性能不足、問題復雜化、數據數量少等等問題待需要解決,使人工智能的發展跌入低谷。當時的智能被證明只能完成簡單任務,而且在較為重要的數據分析方面存在嚴重不足,曾使絕大多數學者對人工智能技術秉持懷疑態度,一度導致人工智能領域失去了絕大部分的研究資金。人工智能技術導論1.2.3應用發展期
20世紀70年代初至80年代中,隨著學習算法的重新發明,20世紀70年代出現的專家系統模擬人類專家的知識和經驗解決特定領域的問題,實現了人工智能從理論研究走向實際應用、從一般推理策略探討轉向運用專門知識的重大突破。馬爾可夫模型的產生使語音識別領域興起,其中馬爾科夫鏈的拓展——貝葉斯網絡攻克了概率推理的很多問題,為不確定推理和專家系統研究提供著有力的幫助。逐漸地,專家系統在各領域取得了突破性進展,人們開始在特定領域進行探索,專家系統在醫療、化學、地質等領域取得成功,運用理論與實踐相結合的方式推動推動人工智能走入應用發展的新高潮。人工智能技術導論1.2.4低迷發展期
20世紀80年代中期至90年代中期,隨著人工智能的應用規模不斷擴大,人們開始嘗試研究具有通用性的人工智能程序,由于人工智能應用規模擴大,專家系統的應用領域出現困境,缺乏專業理論支撐,數據信息不夠全面等等問題接二連三暴露出來,人工智能研究發展受阻。備受重視的專家系統存在的應用領域狹窄、缺乏常識性知識、知識獲取困難、推理方法單一、缺乏分布式功能、難以與現有數據庫兼容等問題逐漸暴露出來,人工智能被當時的美國的權威研究機構否定,人工智能又一次步入低谷。人工智能技術導論1.2.5穩步發展期
20世紀90年代中至21世紀初,由于網絡技術特別是互聯網技術的發展,加速了人工智能的創新研究,推動人工智能技術進一步走向實用化。1997年國際商業機器公司(簡稱IBM)深藍超級計算機戰勝了國際象棋世界冠軍卡斯帕羅夫,“深藍”的成功讓人工智能的發展又提上日程。2008年IBM提出“智慧地球”的概念。以上都是這一時期的標志性事件。人工智能技術導論1.2.6蓬勃發展期
2011年至今,隨著算力的增加,人工智能的瓶頸被打破,為基于大數據的深度學習與增強學習提供了發展的可能。GPU不斷發展,與此同時定制化處理器的研制成功使算力不斷提升,為人工智能的爆發提供了基礎。隨著大數據、云計算、互聯網、物聯網等信息技術的發展,泛在感知數據和圖形處理器等計算平臺推動以深度神經網絡為代表的人工智能技術飛速發展,大幅跨越了科學與應用之間的“技術鴻溝”,在無人駕駛領域北京地平線信息技術有限公司,發布了一款嵌入式視覺芯片,主要針對無人駕駛汽車領域。阿里投資千億成立“達摩院”,在機器學習等方面開展研究和進行產品開發。人工智能步入了快速發展期,諸如圖像分類、語音識別、知識問答、人機對弈、無人駕駛等人工智能技術實現了從“不能用、不好用”到“可以用”的技術突破,迎來爆發式增長的新高潮。目錄1.3人工智能的應用人工智能技術導論1.3.1人工智能在交通領域中的應用
2011年至今,隨著算力的增加,人工智能的瓶頸被打破,為基于大數據的深度學習與增強學習提供了發展的可能。GPU不斷發展,與此同時定制化處理器的研制成功使算力不斷提升,為人工智能的爆發提供了基礎。隨著大數據、云計算、互聯網、物聯網等信息技術的發展,泛在感知數據和圖形處理器等計算平臺推動以深度神經網絡為代表的人工智能技術飛速發展,大幅跨越了科學與應用之間的“技術鴻溝”,在無人駕駛領域北京地平線信息技術有限公司,發布了一款嵌入式視覺芯片,主要針對無人駕駛汽車領域。阿里投資千億成立“達摩院”,在機器學習等方面開展研究和進行產品開發。人工智能步入了快速發展期,諸如圖像分類、語音識別、知識問答、人機對弈、無人駕駛等人工智能技術實現了從“不能用、不好用”到“可以用”的技術突破,迎來爆發式增長的新高潮。人工智能技術導論1.3.2人工智能在醫療領域中的應用
人工智能在醫學領域的應用主要體現在輔助診斷、康復智能設備、病歷和醫學影像理解、手術機器人等方面。一是通過機器視覺技術識別醫療圖像,幫助醫務人員縮短讀片時間,提高工作效率,降低誤診率;二是基于自然語言處理,“聽懂”患者對癥狀的描述,然后根據疾病數據庫進行內容對比和深度學習,從而輔助疾病診斷。部分公司已經開始嘗試基于海量數據和機器學習為病患量身定制診療方案。據有關資料,哈佛醫學院研發的人工智能系統對乳腺癌病例圖片中癌細胞的識別準確率已達到92%,結合人工病理學分析,其診斷準確率可達99.5%。此外,可利用機器學習算法建立多種疾病輔助診斷模型,通過分析患者數據識別病癥,計算出診斷意見。目前,結合醫學專家的分析,人工智能在腫瘤、心血管、五官以及神經內科等領域的輔助診斷模型已接近醫生的水平。人工智能技術導論1.3.3人工智能在金融領域中的應用
人工智能在金融領域應用主要有智能投顧、投資決策、智能客服、精準營銷、風險控制、反欺詐、智能理賠等。應用最多的是投資咨詢業務,業內稱之為“智能投顧”。全球知名的智能投顧平臺有Wealthfront、Betterment、PersonalCapital等。Robo-Advisor,是近年來風靡華爾街的創新性金融科技。2009年,智能投顧在美國興起,到2015年底一批新興金融科技企業開始拓展中國智能投顧市場。智能投顧通過大數據獲取客戶個性化的風險偏好及其變化規律,根據客戶的風險偏好,結合算法模型定制個性化的投資方案,同時利用互聯網對客戶個性化的資產配置方案進行實時跟蹤調整。人工智能技術導論1.3.4人工智能在家居領域中的應用
隨著人工智能技術的發展,智能家居已進入消費者日常生活,改變著人們的生活方式。雖市場上感應設備越來越多,但目前大部分智能家居產品主要依賴手機操控;可以很好地感應周圍環境,真正體現智能場景的應用并不多。家居產品智能主要在于能對周圍環境進行綜合分析與判斷,滿足用戶家居情感體驗。隨著人工智能技術的發展,人工智能將帶來更高級的感應方式,了解用戶心理、喜好、習慣等,通過感應系統交互功能對家居環境進行全面感知與感應,計算并執行相應指令。人工智能技術導論1.3.5人工智能在教育領域中的應用
教育領域人工智能還處在初始階段,常見應用主要有一對一智能化在線輔導、作業智能批改、數字智能出版等。教育領域應用中的人工智能除模擬人類傳遞知識外,能通過皮膚電導、面部表情、姿勢、聲音等生物監測技術了解學習者的學習情緒。如美國匹茲堡大學開發的AttentiveLearner智能移動學習系統能監測學生的思想是否集中,從而調整策略。將人工智能應用于教育領域,可以協助教師提升教學效果,使學生獲得量身定制的學習支持。人工智能技術導論1.3.6人工智能在制造領域中的應用
智能制造是一種由智能機器和人類專家共同組成的人機一體化智能系統,它在制造過程中能進行智能活動,諸如分析、推理、判斷、構思和決策等。通過人與智能機器的合作共事,去擴大、延伸和部分地取代人類專家在制造過程中的腦力勞動。它把制造自動化的概念更新,擴展到柔性化、智能化和高度集成化。智能系統以工業機器人、視覺系統、RFID、伺服、電動擰緊機為核心進行介紹,借助于控制系統強大的控制功能、工業機器人的靈活、視覺系統的判斷、RFID無線射頻技術的高效、伺服精準的定位、擰緊系統多方式的控制,完美的實現了生產線的智能制造。智能制造在工業中非常的重要,基于工業機器人、視覺系統、RFID、伺服、電動擰緊機和強大的控制系統使生產線可靠性高、效率高、節能效果顯著、動態響應速度快。人工智能技術導論1.3.7人工智能在農業領域中的應用
人工智能技術不斷豐富與完善,在農業領域中得到廣泛的應用,有效地促進農業生產方式的變革。在農業領域中人工智能所涉及到的關鍵技術包括語音和圖像理解、智能搜索、專家系統、智能控制、機器人、遺傳編程等,這些技術對于農業的發展發生了革命性的改變,有利于促進中國行業的轉型發展,不斷突破傳統的農業生產模式,實現科學、安全、穩定的管理,提高管理水平。在新時代背景下,人工智能在農業發展領域取得較大的成果,國家大力提倡發展智慧農業、智慧牧場、智慧漁場等,通過建立大數據促進綠色智能供應鏈的有效實施,促進農業的產供銷體系,緊密聯合推動農業生產要素的合理配置,為智慧農業創新技術提高農業的生產效率。針對水稻、玉米、小麥、棉花等農作物生產過程,聚焦“耕、種、管、收”等關鍵作業環節,運用面向群體智能自主無人作業的農業智能化裝備等關鍵技術,構建農田土壤變化自適應感知、農機行為控制、群體實時協作、智慧農場大腦等規?;鳂I典型場景,實現農業種植和管理集約化、少人化、精準化。目錄1.4人工智能的未來人工智能技術導論
如今新一輪科技革命和產業變革方興未艾,“人工智能”正在全球范圍內蓬勃興起,成為科技創新的“超級風口”。人工智能的未來發展何去何從?
趨勢一:人工智能技術進入大規模商用階段,人工智能產品全面進入消費級市場。隨著產業和技術走向成熟,成本降低是必然趨勢。人工智能機器人背后隱藏著的巨大商業機會,同時市場競爭因素也將進一步拉低人工智能機器人產品的售價,未來幾年人們將會像挑選智能手機一樣挑選機器人。
趨勢二:基于深度學習的人工智能的認知能力將達到人類專家顧問級別。過去幾年人工智能技術之所以能夠獲得快速發展,主要源于三個元素的融合:性能更強的神經元網絡、價格低廉的芯片以及大數據。依賴于機器深度學習能力的提升和大數據的積累將使得人工智能逼近人類專家顧問的水平,并在未來進一步取代人類專家顧問。人工智能技術導論
趨勢三:人工智能實用主義傾向顯著,未來將成為一種可購買的智慧服務。人工智能與不同產業的結合正使其實用主義傾向愈發顯著,這讓人工智能逐步成為一種可以購買的商品。比如特斯拉公司就是拿人工智能技術專門用來提升自動駕駛技術的,再比如地圖導航軟件,就是專門拿人工智能技術用來為用戶規劃出行路線的。它們更加關注的是人工智能技術到底能為我的公司和我的用戶帶來什么。
趨勢四:人工智能技術將嚴重沖擊勞動密集型產業,改變全球經濟生態。人工智能導致的大規模失業將率先從勞動密集型產業開始。當技術成本低于雇傭勞動力的成本時,顯然勞動力會被無情淘汰,制造企業的商業模式也將隨之發生改變,再比如物流行業,目前大多數企業都實現了無人倉庫管理和機器人自動分揀貨物,接下來無人配送車、無人機也很有可能取代一部分物流配送人員的工作。案例欣賞人工智能技術導論案例一:
人工智能車牌識別系統—“讓人們出行更便捷”
隨著人們生活水平的提高,越來越多的家庭都購買了汽車,然而為了規范的管理車輛的進出,讓車輛能更加快速便捷的進出各個場合,利用人工智能進行車牌識別就至關重要。自動識別車輛車牌信息,應用于停車場、小區、工廠等場景,實現無卡、無人的車輛進出場自動化、規范化管理,有效降低人力成本和通行卡證制作成本,大幅度提升管理效率。
車輛牌照自動識別(信息包括完整的牌照信息,顏色、字符、漢字、數字全面完整的識別)。車速的自動準確檢測、違法黑牌照車輛的抓拍報警、車輛識別信息與車管所車輛信息的及時聯動、操作權限的分立、前端采集信息的實時上傳以及網絡斷點續傳等主流功能。人工智能技術導論案例二:
人工智能仿生眼—“超越人類的眼睛”
事實上,在科幻電影《2001:太空漫游》中,人們已經對仿生眼有了一定的了解,超級計算機HAL的險惡,至今讓很多科幻迷后背發涼。在人工智能的加持下,仿生眼已經成為現實。研發團隊突破了種種技術難關,終于研發出世界上最先進的黑科技“仿生工程”。根據研發團隊介紹,“仿生眼”是一個被鋁膜和鎢膜包裹的球狀傳感器,直徑超過2厘米,與人的眼球體積相當。
世界上第一個3D人工眼球,將比真正的人眼具有更清晰的視力。除此以外,獨特的設計具有提供比人眼更好的分辨率視覺的潛力。也就是說,這款“仿生眼”可以具備更好地視力,如果人穿戴這種裝備,可以通過各種微型傳感器來創建圖像,而傳感器是通過納米級的材料制成,比人眼的感光密度高出10倍以上。而這種設備是人工智能與仿生工程最好的結合。本章總結知識速覽AI賦能,讓一切皆有可能,用人工智能建設美好世界!第2章人工智能開發流程目錄2.1人工智能系統構成2.2人工智能系統開發流程2.3人工智能系統開發環境學習目標本章主要從人工智能開發人員的視角,圍繞人工智能系統的基礎架構、層次結構、硬件結構、開發流程、數據環境和算法工具包等進行分析和討論,希望帶領讀者了解人工智能系統的軟硬件開發環境,初步理解人工智能開發的工作流程。理解人工智能系統構成邏輯理解人工智能系統開發流程了解人工智能系統開發環境了解人工智能系統常用的第三方庫目錄2.1人工智能系統構成人工智能系統構成人工智能系統的理論前身為20世紀60年代末由斯坦福大學提出的機器人操作系統,該系統除了具備通用操作系統的所有功能,還包括語音識別、機器視覺、執行器系統、和認知行為等功能。隨著人工智能技術的發展,現已被廣泛地應用于家庭、教育、軍事、航空和工業等領域。傳統的計算機系統主要由硬件系統和軟件系統共同構成的。硬件是有形的物理設備,是計算機系統中實際物理裝置的總稱,軟件是指在硬件上運行的程序和相關數據的文檔。傳統計算機工作原理人工智能系統構成人工智能系統也是一種計算機應用系統,其系統構成可以簡單的概括為由輸入系統(傳感器、探測器等)、處理系統(語言識別、圖像識別、自然語言處理等)、網絡系統、決策系統、輸出系統等組成,具有智能化的可以代替人完成重復性、復雜繁重工作的自動化處理系統。人工智能系統構成人工智能系統構成人工智能是模擬實現人類思維的技術,它的主要目的是賦予機器人特有的視聽說以及抽象思維能力??傮w來說,它是知識和思維的結合體,分為四個層次來理解人工智能系統技術體系:(1)基礎層:為人工智能系統提供基礎設施和數據資源。(2)算法層:指用系統的方法描述解決問題的策略機制,人工智能算法主要指目前相對成熟的深度學習、機器學習算法等等。(3)技術層:對人工智能產品的智能化程度起到直接作用,包括自然語言處理、語音處理、計算機視覺等通用技術。(4)應用層:主要利用技術層輸出的通用技術實現不同場景的落地應用。目錄2.2人工智能系統開發流程人工智能系統開發流程不同的人工智能系統對數據的要求,使用的開發手段和開發流程也是不一樣的。接下來,以國產非常優秀且方便初學者使用的AI開發平臺-百度EasyDL為例,介紹人工智能系統典型的開發流程。人工智能系統開發流程EasyDL是百度大腦推出的零門檻的國產AI開發平臺,對各行各業有定制AI需求、零算法基礎或者追求高效率開發AI的用戶非常友好,很容易使用,不用去關注復雜的模型即參數,而是專注于應用,支持包括數據管理、模型構建、模型部署與應用的一站式AI開發流程,原始圖片、文本、音頻、視頻等數據,經過EasyDL加工、學習、部署,可通過公有云API調用,或部署在本地服務器、小型設備、軟硬一體方案的專項適配硬件上,通過SDK或API進一步集成,如圖2-4所示。關于EasyDL的更多信息,可登錄官網查閱:/tech/imagerecognition/ingredient。人工智能系統開發流程EasyDL非常適合零門檻快速開發人工智能系統,支持6大技術方向,每個方向包括不同的模型類型:EasyDL圖像:圖像分類、物體檢測、圖像分割EasyDL文本:文本分類-單標簽、文本分類-多標簽、文本實體抽取、情感傾向分析、短文本相似度EasyDL語音:語音識別、聲音分類EasyDLOCR:文字識別EasyDL視頻:視頻分類、目標跟蹤EasyDL結構化數據:表格預測
人工智能系統開發流程基于EasyDL的人工智能系統典型開發流程主要包括分析業務需求、采集/收集數據、標注數據、訓練模型、評估模型效果和部署模型六個環節?;贓asyDL的人工智能系統典型開發流程人工智能系統開發流程2.2.1分析業務需求在正式啟動系統開發之前,需要有效分析和拆解業務需求,明確模型類型如何選擇。這里我們可以舉一些實際業務場景的例子進行分析。原始業務需求:某企業希望為某所學校做一套智能監控系統,希望對多種現象智能監控并及時預警,包括保安是否在崗、學校是否有有異常噪音、學校內各個區域的垃圾桶是否已滿等多個業務功能。針對這個原始業務需求,我們可以分析出不同的監控對象所在的位置不同、監控的數據類型不同(有的針對圖片進行識別、有的針對聲音進行判斷),需要多個模型綜合應用。監控保安是否在崗——通過圖像分類模型進行判斷;監控小區是否有異常噪音——定時收集聲音片段,通過聲音分類模型進行判斷;監控小區內各個區域垃圾桶是否已滿——由于視頻監控區域采集的畫面中可能會存在多個垃圾桶,可通過物體檢測模型進行判斷。人工智能系統開發流程2.2.2采集/收集數據數據是人工智能系統的重要“燃料”,在通過上述第一步分析出基本的模型類型,需要進行相應的數據采集/收集工作,采集的數據格式要正確,分為圖片數據、文本數據、視頻數據、音頻數據、結構化數據等。數據的主要原則為盡可能采集真實業務場景一致的數據,并覆蓋可能有的各種情況。人工智能系統開發流程2.2.3標注數據通常AI開發過程中經常需要處理海量數據,數據準備與標注往往耗費整體開發一半及以上時間。采集數據后,可以通過EasyDL在線標注工具或線下其他標注工具對已有的數據進行標注。對于保安是否在崗的圖像分類模型,需要將監控視頻分幀后的圖像按照【在崗】和【未在崗】兩類進行整理;學校內各個區域垃圾桶是否已滿,需要將監控視頻分幀后的垃圾桶圖像按照【空】和【滿】兩種狀態進行標注。人工智能系統開發流程2.2.4訓練模型訓練模型俗稱“建?!保竿ㄟ^分析手段、方法和技巧對準備好的數據進行探索分析,從中發現因果關系、內部聯系和業務規律,為項目提供決策參考。訓練模型階段可以將已有標注好的數據基于已經確定的初步模型類型,選擇算法進行訓練,例如圖像分類、物體檢測、文本分類、語音分類、視頻分類、OCR等。通過使用EasyDL平臺,可以可視化在線操作訓練任務的啟停、訓練任務的配置。可以大幅減少線下搭建訓練環境、自主編寫算法代碼的相關成本。人工智能系統開發流程2.2.5部署模型當確認模型效果可用后,可以將模型部署至生產環境中。在實際系統開發中,面對不同的客戶,通常需要交付不同的產品,總體來說,交付的產品通常有3種形態:(1)服務ServiceAI模型的部署服務,客戶端可以通過HTTP/REST或GRPC的方式來請求服務。輸入一張圖片/一段視頻,輸出圖片/視頻的分析結果。(2)開發包SDK或者功能組件有的中間商或集成商以及一些傳統的非AI公司,需要用深度學習解決問題的能力。把基于深度學習的算法能力集成到自己的業務系統中,為最終用戶提供服務。(3)應用Application這種形式的產品,通常面向的是某個場景的最終用戶。因此交付的產品,是一整套包括交互界面在內的軟件系統,有時也會將硬件一起捆綁交付。人工智能系統開發流程2.2.5部署模型百度網站提供的API服務某智能倉儲管理系統目錄2.3人工智能系統開發環境人工智能系統開發環境環境配置是人工智能項目開發的基礎,人工智能開發環境主要包括:Python語言解釋器、Python語言開發平臺、相關的包管理工具以及擴展庫。首先我們必須要一個適合人工智能應用開發的語言,目前主流的是Python語言,為了編寫Python程序過程中有良好的編輯環境(如關鍵字提醒、語法出錯、自動對齊等),我們需要一個良好的Python語言的開發平臺如PyCharm,另外我們開發程序不能什么功能都自己從零開始寫,所以需要一些別人寫好的功能模塊,這些功能模塊就是擴展庫(或者稱為包),但要使用這些擴展庫就需要庫管理工具,如pip或Anaconda來下載安裝這些擴展庫。人工智能系統開發環境2.3.1Python語言盡管人工智能開發可以使用幾乎所有編程語言實現,如C、C++、Java、Lisp、Prolog、Python等。隨著人工智能時代的到來,Python成為眾多程序員追求的神兵利器。它是一門流行的面向對象的解釋型編程語言,它由Guido創建發布于1991年。人工智能系統開發環境2.3.2PyCharm集成開發環境PyCharm是一種PythonIDE(IntegratedDevelopmentEnvironment,集成開發環境),帶有一整套可以幫助用戶在使用Python語言開發時提高其效率的工具,比如調試、語法高亮、項目管理、代碼跳轉、智能提示、自動完成、單元測試、版本控制。此外,該IDE提供了一些高級功能,以用于支持Django框架下的專業Web開發。PyCharm分為專業版(Professional)和社區版(Community),專業版需要收費,社區版免費但功能有限。對于普通開發者,可以下載使用社區版。人工智能系統開發環境2.3.3Anaconda庫管理工具Anaconda是一個開源的Python發行版本,其包含了conda、Python等180多個科學包及其依賴項。Anaconda支持Linux,Mac,Windows系統,提供了包管理與環境管理的功能,可以很方便地解決多版本python并存、切換以及各種第三方包安裝問題。Anaconda利用工具/命令conda來進行package和environment的管理,并且已經包含了Python和相關的配套工具。支持Linux,Mac,Windows可以很方便地解決多版本python并存、切換以及各種第三方包安裝問題,實現跨平臺、同時實現包管理、環境管理的功能。人工智能系統開發環境2.3.4常用第三方庫(1)pandaspandas是Python的一個數據分析包。在使用pandas前,需要使用命令pipinstallpandas(版本號可缺省,默認安裝當前最新版)安裝pandas。(2)NumpyNumpy(NumericalPython)是Python的一種開源的數值計算擴展。在使用NumPy前,需要使用命令pipinstallnumpy(版本號可缺省,默認安裝當前最新版)安裝NumPy。(3)MatplotlibMatplotlib是一個Python的2D繪圖庫。在使用Matplotlib前,需要安裝Matplotlib,使用命令pipinstallmatplotlib(版本號可缺省,默認安裝當前最新版)。人工智能系統開發環境2.3.4常用第三方庫(4)OpenCVOpenCV是一個基于BSD許可(開源)發行的跨平臺計算機視覺和機器學習軟件庫。在使用OpenCV前,需要使用命令pipinstallopencv-python(版本號可缺省,默認安裝當前最新版)安裝OpenCV。(5)TensorFlowTensorFlow是一個基于數據流編程(dataflowprogramming)的符號數學系統,被廣泛應用于各類機器學習(machinelearning)算法的編程實現,其前身是谷歌的神經網絡算法庫DistBelief。訪問TensorFlow中文社區網站地址:https://TensorF/。在使用TensorFlow前,需要安裝TensorFlow,使用命令pipinstallTensorFlow(版本號可缺省,默認安裝當前最新版)。本章總結知識速覽AI賦能,讓一切皆有可能,用人工智能建設美好世界!第3章人工智能數據需求目錄3.1事物、數據與信息3.2大數據基本特征3.3大數據的作用3.4人工智能依賴大數據學習目標本章主要從人工智能處理數據的視角,圍繞數據的類型、數據的特征、數據的作用、大數據與人工智能的相互關系等問題進行分析和討論,希望帶領讀者理解不同數據的形態和價值,正確看待人工智能時代的數字世界。理解事物、數據與信息的關系理解大數據與傳統數據的區別理解大數據的類型、特征和作用理解人工智能與大數據的聯系與區別目錄3.1事物、數據與信息3.1事物、數據與信息
事物即客觀存在于自然界的一切物體或現象。
數據是一種將客觀事物按照某種測度感知而獲取的原始記錄,是反映客觀事物屬性的記錄,也是信息的具體表現形式。
自然界中事物的種類和形式的多種多樣的。隨著時代的變遷,記錄和描述事物的方式也不斷變化。3.1事物、數據與信息3.1.1自然事物與數據
數據和信息是兩個不同的概念,信息具有時效性且較為宏觀,它由數據的有序排列組合而成,傳達給讀者某個概念或方法等,而數據是構成信息的基本單位,離散且冗余的數據幾乎沒有任何實用價值。3.1.2數據與信息
數據和信息之間是相互聯系的。數據可以直接來自測量儀器的實時記錄,也可以來自人的認識,但是大量的數據多是借助于數據處理系統自動地從數據源進行采集和組織的。數據源是指客觀事物發生變化的實時數據。數據經過加工處理之后,就成為信息。3.1.3數據的類型
數據有很多種,比如數字、文字、圖像、聲音等。常見的數據類型包括文本、圖片、音頻、視頻等。(1)文本
文本數據是指不能參與算術運算的任何字符,也稱為字符型數據。在計算機中,文本數據一般保存在文本文件中。文本文件是一種由若干行字符構成的計算機文件,常見格式包括ASCII、MIME和TXT等。
一個英文字母一個中文漢字一本新華字典一本康熙字典一套二十四史字符數量11720000665400050000000字節12144000013308000100000000存儲空間1B2B1.37M6.35M95.4M不同文本數據的所占存儲空間(ASCII碼格式)3.1.3數據的類型(2)圖片
圖片是指由圖形、圖像等構成的平面媒體,一般用圖片格式的文件來保存。圖片格式可分為點陣圖和矢量圖兩大類。jpg、bmp、gif、png、9.png等格式的圖片屬于點陣圖。Flash動畫制作軟件所生成的SWF等格式的文件和Photoshop繪圖軟件所生成的PSD等格式的圖片屬于矢量圖。同一畫面、不同屬性的照片所占存儲空間不同3.1.3數據的類型格式jpggifpng16位bmp24位bmp32位bmp存儲空間1.1M1.05M2.5M3.95M5.93M7.91M(3)音頻
數字化的聲音數據就是音頻數據。在計算機中,音頻數據一般用音頻文件的格式來保存。音頻文件是指存儲聲音內容的文件,把音頻文件用一定的音頻程序執行,就可以還原以前錄下的聲音。音頻文件的格式很多,包括WAV、MP3、WMA、AMR、CD、MID、RM等。同一內容、不同格式的音頻數據所占存儲空間不同3.1.3數據的類型某段20秒音頻WAVMP3WMAAMR存儲空間3.19M297KB324KB322KB(4)視頻
視頻數據是指連續的圖像序列。在計算機中,視頻數據一般用視頻文件的格式來保存。視頻文件常見的格式包括MPEG-4、AVI、WMV、FLV、DAT、RM、MOV、ASF、DivX等。同一內容、碼率、幀率、分辨率,但不同格式的視頻數據所占存儲空間不同3.1.3數據的類型某段10分鐘視頻MPEG-4AVIWMVFLV存儲空間21M96M81M95M3.2大數據基本特征
維克托?邁爾?舍恩伯格在《大數據時代》中提出了大數據的特點,即“4V”特征,包括:數據量大(Volume)、數據類型繁多(Variety)、處理速度快(Velocity)和價值密度低(Value)。維克托?邁爾?舍恩伯格
大數據(BigData)的中心詞是“數據”。從數據量的角度而言,大數據包括結構化、半結構化和非結構化數據。隨著互聯網、物聯網、智能手機等各種數字化終端設備的普及,數據呈現出爆炸式指數級增長,數字化已經成為構建現代社會的基礎力量,每個人時刻都在產生大量的數據。3.2.1數據量大大數據的數據來源眾多,科學研究、企業應用和Web應用等都在源源不斷地生成新的類型繁多的數據。生物大數據、交通大數據、醫療大數據、電信大數據、電力大數據、金融大數據等,都呈現出“井噴式”增長,各行各業,每時每刻,都在生成各種不同類型的數據。3.2.2數據類型繁多(1)消費者大數據(2)金融大數據(3)醫療大數據(4)城市大數據(5)工業大數據(6)其他大數據3.2.2數據類型繁多
大數據時代的數據產生速度非??欤芏鄳枚夹枰诳焖偕傻臄祿o出實時分析結果,用于指導生產和生活實踐。因此,隨著科技的發展,科學計算對計算機的計算能力提出了越來越高的需求,衍生出了“超級計算機”。3.2.3處理速度快中國科學技術大學潘江偉院士團隊構建的量子計算原型機“九章二號”
大數據時代,數據的價值密度卻遠遠低于傳統關系型數據庫中已經存在的那些數據,很多有價值的信息都是分散在海量數據中。以我國的“天網監控系統”為例,如果沒有意外事件發生,則連續不斷產生的數據都是沒有任何價值的,當發生特殊情況時,也只有記錄了事件過程的那一小段視頻是有價值的。由此可見,大數據的價值密度高低與其總量的大小成反比。3.2.4價值密度低3.3大數據的作用大數據的關鍵在于信息共享和互通,大數據的核心在于分析和決策。大數據正成為信息產業持續高速增長的新引擎,大數據的利用正成為提高核心競爭力的關鍵因素,各行各業的決策手段正在從“業務驅動”轉變為“數據驅動”。
大數據作為一種重要的戰略資產,已經不同程度地滲透到每個行業領域和部門,其深度應用不僅有助于企業經營活動,還有利于推動國民經濟發展,推動社會各個主體共同參與社會治理。3.3.1改變經濟社會管理方式工業化時代商品和交易的快速流通催生大規模制造業發展。大數據時代,信息的大量、快速流通將伴隨著行業的融合發展,單一數據無法發揮最大效能,行業或部門之間相互交換數據已成為一種發展趨勢,使經濟形態發生大范圍變化。3.3.2促進行業融合發展
信息消費作為一種以信息產品和服務為消費對象的活動,覆蓋多種服務形態、多種信息產品和多種服務模式。當圍繞數據的業務在數據規模、類型和變化速度達到一定程度時,大數據對產業發展的影響將隨之顯現。3.3.3推動產業轉型升級傳統產業實現產業轉型升級的四個階段
信息資源的開發和利用水平,在某種程度上代表著信息時代下社會的整體發展水平和運轉效率。大數據與智慧城市是信息化建設的內容與平臺,兩者互為推動力量。智慧城市是大數據的源頭,大數據是智慧城市的內核。3.3.4助力智慧城市建設
大數據時代,產業發展模式和格局正在發生深刻變革。圍繞著數據價值的行業創新發展將悄然影響各行各業的主營業態。而隨之帶來的,則是大數據產業下的創新商業模式。3.3.5創新商業模式大數據時代,采集、存儲、傳輸和處理數據都已經成了容易實現的事情。面對復雜對象,可以通過大量數據甚至海量數據來全面、完整地刻畫對象,通過處理海量數據來找到研究對象的規律和本質。相比依賴于小數據和精確性的抽樣時代,大數據因為強調數據的完整性和混雜性,突出事務的關聯性,為解決問題提供了新的視角,幫助研究者進一步接近事實的真相。3.3.6改變科學研究的方法論傳統抽樣3.4人工智能依賴大數據
人工智能與大數據是緊密相關、相輔相成的兩種技術。從某種意義上來說人工智能本身也是一種大數據應用,正是大數據推動了人工智能技術的突破和產業落地,使其煥發出勃勃生機。人工智能三大要素
大數據時代,人工智能涉及的領域非常廣泛,深入人們的工作和生活各個方面,需要大量數據的應用和積累。隨著數據的不斷增加,引發了分析的需求,而分析讓大量的數據有了價值,嵌有人工智能的機器開始懂得用戶想要什么、需要干什么,并可以預測未來的變化或趨勢。當硬件性能逐漸提升、算力與算法越來越強大時,成本卻越來越低廉。在對人工智能系統進行訓練使用的數據量越大,數據質量越好,人工智能系統的質量就越高。3.4.1人工智能與大數據的聯系3.4.1人工智能與大數據的聯系(1)智能機器人(2)智能制造(3)智能農業(4)其他
大數據將有用的數據從大量繁雜的數據中分離出來;人工智能則從大數據中獲取需要的數據,并且借助大數據的處理速度來實現更快的運算與更好的應用。
大數據不會根據結果采取行動,只是分析結果。而人工智能允許計算機執行認知功能。3.4.2人工智能與大數據的區別
“淘寶大數據”推薦根據用戶的瀏覽記錄,推斷用戶愛好,推薦相應產品,但不能代替用戶下單。所以,大數據的主要目的是通過數據的對比分析來掌握和推演出更優的方案。而人工智能是為了輔助或代替用戶更快、更好地完成某些任務或進行某些決定。3.4.2人工智能與大數據的區別本章總結知識速覽AI賦能,讓一切皆有可能,用人工智能建設美好世界!第4章人工智能計算方法目錄4.1數據的運算與算法4.2人工智能算法4.3人工智能算法工具學習目標眾所周知,數據、算力和算法是人工智能三大支撐要素,而算法是人工智能的靈魂,是人工智能系統的重要支撐之一。算法的優劣將直接影響人工智能的水平高低。理解人工智能算法的概念和特征理解人工智能主流算法的基本原理理解人工智能應用算法實現流程理解人工智能算法工具的用法4.1數據的運算與算法4.1數據的運算與算法數據作為實現人工智能的首要因素,是一切智慧學習的載體,如果沒有數據,任何智慧學習都只能是空談。當下,無時無刻不在產生數據,可能是文本、圖片、音頻、視頻等形式的數據,而這些數據需要進行大量的特征化、標量化、向量化的處理,才能真正被算法所用。而算法是在數據變化中產生的,同時又產生數據,是將數據從一種形態轉換成另一種形態的方法。世界上任何一種事物都無法用單一的數據或算法進行描述。隨著計算機的出現,人類又嘗試將之前的數學方法用計算機的語言表述出來,算法就這么誕生了。4.1.1數據的運算方法數據運算就是根據某種模式針對數據建立起關系,并進行處理的過程,我們認識數據的運算也是從最基礎的算術運算,到關系運算,再到邏輯運算開始的;其中算術運算,比如:加、減、乘、除、乘方、開方、取模等;關系運算,比如:等于、不等于、大于、小于等;邏輯運算,比如:與、或、非、恒等、蘊含等。隨著數據量的不斷增大,基本的數據運算已經不能滿足人類生活的需要,演算難度也逐漸提高,單靠人的大腦去核算壓根就不可能,就這樣陸續有了表達式運算、函數運算。4.1.2算法定義和特征在數學和計算機科學中,算法是有明確定義、有限步驟且計算機可執行的,通常用于計算、數據處理和自動推理的一組指令序列。算法作為一個復雜的體系,是數學、邏輯學和計算機科學的集合。算法是針對待解決問題之解題方案的準確而完整的描述,即解題步驟,它代表著用系統的方法描述解決問題的。不同問題,算法可能不同。算法和計算機有著密切的聯系,計算機解決任何問題都要依賴于算法,只有將解決問題的過程分解為若干明確的步驟,即算法,并用計算機能夠接受的“語言”準確的描述出來,計算機才能夠解決問題。就是一系列的計算步驟,用來將輸入數據轉化成輸出結果。4.1.2算法定義和特征算法一定是為了解決某一個問題產生。一定是可以解決問題的??照勊惴]有意義。我們舉一個例子理解算法的概念及特征。案例題目:輸入三個數字,然后輸出其中最大的數字。我們將數字依次輸入變量A、B、C當中,設變量MAX存放最大數,算法如下:(1)輸入A、B、C(2)A和B中大的一個放入MAX中(3)把C與MAX中大的一個放入MAX中(4)輸出MAX,MAX即為最大數4.1.2算法定義和特征通過這個例子,我們也可以看出算法的特性:有窮性,確定性、可行性、有輸入、有輸出。其中:輸入:算法具有0個或多個輸入。輸出:算法至少有1個或多個輸出。有窮性:算法在有限的步驟之后會自動結束而不會無限循環,并且每-一個步驟可以在可接受的時間內完成。確定性:算法中的每一步都有確定的含義,不會出現二義性??尚行裕核惴ǖ拿恳徊蕉际强尚械?,也就是說每一步都能夠執行有限的次數完。4.1.2算法定義和特征我們可以把所有的算法想象為一本“菜譜”,特定的算法比如菜譜中的的一道“魚香肉絲”的制作流程,只要按照菜譜的要求制作魚香肉絲,那么誰都可以做出一道好吃的魚香肉絲。而這個做菜的步驟就可以理解為:“解決問題的步驟”。4.1.3算法的實現過程人們解決問題的一般過程是從觀察、分析問題開始的,然后收集必要的信息,根據自己已有的知識和經驗進行判斷和推理,最后按照一定的方法和步驟來解決問題。使用計算機解決問題一般要經歷三個階段:第一階段:分析問題確定要用計算機做什么;第二階段:尋找解決問題的基本途徑和方法;第三階段:用計算機進行處理。4.1.3算法的實現過程算法為了有效解決問題,按照自頂往下的設計原則,處理實際問題的算法設計是從理解問題入手自頂往下展開的,這是對問題的理解和分析逐層深入、逐步細化的一個過程。一般步驟是:(1)分析問題,建立模型,并找到相關模型。(2)設計算法,建立初步求解,保證算法能夠正常運行。(3)正確性分析,分析算法是否能正確求解問題。(4)效率分析,考慮算法時間復雜度、空間復雜度計算,進行綜合評估。(5)程序實現,應用算法解決問題。4.2人工智能算法在人工智能領域里,算法(Algorithm)是指如何解決一類問題的明確規范。人工智能算法主要用于訓練模型;可以執行計算,數據處理和自動推理任務;并且還具有可行性、確定性、有窮性和擁有足夠的情報的特征。例如,要判斷一張圖片中是否存在貓。那我們首先要通過規則去定義一只貓。4.2人工智能算法觀察上圖中的貓,可以知道貓有一個圓腦袋,兩個三角形的耳朵,又胖又長的身體,和一條長尾巴,然后可以定義一套規則在圖片中尋找貓。這看起來好像是可行的,但是如果遇到的是下圖中這樣的貓該怎么辦?4.2人工智能算法從這個例子中大家應該能看得出來,即使是一只很普通的家養寵物,都可能會出現無數種不同的外形。如果我們使用人為定義的規則去定義這個動物,那么可能需要設置非常大量的規則,并且效果也不一定會很好。僅僅一個物體就這么復雜,而現實中常見的各種物體成千上萬,所以使用人為定義的規則去做識別肯定是行不通的。這就需要我們人工智能算法來解決這個問題。4.2.1人工智能算法分類人工智能算法大體上來說可以分類兩類:基于統計的機器學習算法(MachineLearning)和深度學習算法(DeepLearning)。4.2.2常用機器學習算法機器學習根據不同的訓練方式,可分為有監督學習(SupervisedLearning)、無監督學習(UnsupervisedLearning)、半監督學習(Semi-supervisedLearning)和強化學習(ReinforcementLearning)四大類。4.2.2常用機器學習算法1.有監督學習監督學習(SupervisedLearning)利用有標簽的訓練數據學習得到一個模型,然后使用這個模型對新樣本進行預測。就是需要我們提供大量的學習樣本(包括樣本相關的特征數據以及相應的標簽)。簡而言之就是我們提供樣例“教”計算機如何學習,通過這些樣本來學習相關的規律或是模式,然后通過得到的規律或模式來判斷沒有被打過標簽的數據是什么樣的數據。有監督學習主要特點是,所有的數據都有與之相對應的標簽(Label)。圖片是一個手寫數字3,所以這張圖片的標簽可以設置為3。4.2.2常用機器學習算法假設,訓練數據集給出了3種不同花朵的花瓣長度特征(訓練集特征),我們已經知道這3朵花的種類A、B、C。那么,對于一朵未知種類的花,就可以根據它的花瓣長度(測試樣本特征)來判斷它所屬種類(測試樣本標簽)。4.2.2常用機器學習算法最典型的有監督學習算法包括了分類和回歸。類似于上面那種識別問題,就是分類。分類方法是一種對離散型隨機變量建?;蝾A測的監督學習算法。分類問題預測的是類別,輸出的是離散值,使用案例包括動物的種類判斷、植物的種類判斷、各類物品的種類判斷、郵件過濾、金融欺詐、網絡安全攻擊和預測雇員異動等。而回歸方法是用來預測一個具體的數值輸出,是一種對數值型連續隨機變量進行預測和建模的監督學習算法?;貧w問題預測的是連續實數值。常用在股票價格預測,房價預測,洪水水位線預測、天氣預報、預期壽命和健康風險等問題中。4.2.2常用機器學習算法(1)線性回歸線性回歸,就是能夠用一個直線較為精確地描述數據之間的關系。這樣當出現新的數據的時候,就能夠預測出一個簡單的值。它是對大量的觀測數據進行處理,從而得到比較符合事物內部規律的數學表達式。4.2.2常用機器學習算法(2)邏輯回歸邏輯回歸是基于線性回歸的,它建立模型將數據分為不同的類別,并預測某個數據的類別。邏輯回歸雖然叫做回歸,但是其主要解決分類問題??捎糜诙诸?,也可以用于多分類問題。Logistic函數公式如下:Logistic函數圖像如下:4.2.2常用機器學習算法2.無監督學習無監督學習(Unsupervisedlearning)實際是去對原始資料進行分類,以便了解資料內部結構。有別于監督式學習網絡,無監督式學習在學習時并不知道其分類結果是否正確,亦即沒有受到監督式增強(告訴它何種學習是正確的)。其特點是僅對此種網絡提供輸入范例,而它會自動從這些范例中找出其潛在類別規則。當學習完畢并經測試后,也可以將之應用到新的案例上。其特點為輸入數據(訓練數據)不存在明確的標識或結果。4.2.2常用機器學習算法經典的案例:鳶尾花識別,有未知分類的鳶尾花的測量數據,包括萼長,萼寬,瓣長,瓣寬,根據這些測量數據,將類似的測量記錄歸類(同樣花的測量數據具有類似的特征),需使用聚類實現“自動”學習。4.2.2常用機器學習算法3.半監督學習半監督學習(Semi-supervisedLearning)是監督學習和非監督學習相結合的一種學習方式,通常可以用于分類以及回歸問題。它的輸入數據有部分被標識,部分沒有被標識,這種學習模型可以用來進行預測,此類算法首先需試圖對沒有標簽的數據進行建模,然后再對帶有標簽的數據進行預測。4.2.2常用機器學習算法4.強化學習強化學習(ReinforcementLearning)屬于自動進行決策,并且可以連續決策希望一段時間后獲得最多的累計獎勵。它區別于先前我們提到的那些方法。強化學習算法是一種“游戲”的過程,其目標是最大化“游戲獎勵”。該算法通過反復的實驗來嘗試確定不同的“走法”,并查看哪種方式能夠最大化“游戲收益”,屬于把學習看作一個試探評價的過程。4.2.3常用深度學習算法1.認識神經網絡神經網絡(NeuralNetwork)最早由心理學家和神經學家開創,是一種模仿生物神經網絡(動物的中樞神經系統,特別是大腦)的結構和功能的數學模型,由神經元、節點與節點之間的連接(突觸)所構成;用于對函數進行估計或近似,屬于模式識別的算法。和其他機器學習方法一樣,神經網絡已經被用于解決各種各樣的問題,例如機器視覺和語音識別。4.2.3常用深度學習算法單層神經網絡是最基本的神經元網絡形式,由有限個神經元構成,所有神經元的輸入向量都是同一個向量。由于每一個神經元都會產生一個標量結果,所以單層神經元的輸出是一個向量,向量的維數等于神經元的數目。4.2.3常用深度學習算法多層神經網絡就是由單層神經網絡進行疊加之后得到的,所以就形成了層的概念,常見的多層神經網絡有如下結構:輸入層(Inputlayer),眾多神經元(Neuron)接受大量輸入消息。輸入的消息稱為輸入向量。輸出層(Outputlayer),消息在神經元鏈接中傳輸、分析、權衡,形成輸出結果。輸出的消息稱為輸出向量。隱藏層(Hiddenlayer),簡稱“隱層”,是輸入層和輸出層之間眾多神經元和鏈接組成的各個層面。4.2.3常用深度學習算法一個神經網絡的訓練算法就是讓權重的值調整到最佳,以使得整個網絡的預測效果最好。4.2.3常用深度學習算法2.揭秘深度學習實際上深度學習(DeepLearning)的概念源于人工神經網絡的研究,但是并不完全等于傳統神經網絡。深度學習可以說是在傳統神經網絡基礎上的升級,約等于神經網絡。其動機在于建立、模擬人腦進行分析學習的神經網絡,它模仿人腦的機制來解釋數據。它可以直接輸入圖像、文字、語音等原始數據(進行簡單的數字化處理),進行學習。4.2.3常用深度學習算法深度學習類似一個水流系統,要處理的數據是“水流”,深度學習網絡是一個由管道和閥門組成的“巨大水管網絡”。4.2.3常用深度學習算法卷積神經網絡(ConvolutionalNeuralNetworks,CNN)是一種深度學習算法模型,常用來分析圖像、音頻、文本等數據,完成分類、識別和檢測等任務。簡單的卷積神經網絡(CNN)結構主要由卷積層、降采樣層(也叫池化層)、全連接層以及最后的輸出層構成。4.2.3常用深度學習算法假設,要自動識別一張手寫數字7,會經過哪些計算呢?4.2.3常用深度學習算法假設,要自動識別一張手寫數字7,會經過哪些計算呢?池化過程特征提取和識別過程4.3人工智能算法工具高效的開發工具往往能讓算法開發變得更加精準有趣,從最早被使用的Scikit-Learn,到后面專門針對深度學習的Theano,再到針對機器視覺的Caffe,伴隨著人工智能關聯技術在各行各業的應用深入,越來越多的特色人工智能算法工具也孕育而生,比如谷歌開發的TensorFlow、Keras、Facebook開發的Pytorch、百度開發的PaddlePaddle飛漿、華為開源的MindSpore昇思等。從人工智能算法工具的發展中,我們可以窺見人工智能成規模發展的未來。4.3.1常用開源框架4.3.1常用開源框架1.TensorFlowTensorFlow是谷歌基于DistBelief進行研發的第二代人工智能學習系統,其命名來源于本身的運行原理。TensorFlow是將復雜的數據結構傳輸至人工智能神經網中進行分析和處理過程的系統。使用的語言是C++或Python。4.3.1常用開源框架2.KerasKeras是一個由Python編寫的開源人工神經網絡庫,可以作為Tensorflow、Microsoft-CNTK和Theano的高階應用程序接口,進行深度學習模型的設計、調試、評估、應用和可視化。Keras在代碼結構上由面向對象方法編寫,完全模塊化并具有可擴展性。4.3.1常用開源框架3.CaffeCaffe全稱為Convolutional?Architecture?for?Fast?Feature?Embedding,是一個被廣泛使用的開源深度學習框架。Caffe的主要優勢包括如下:(1)容易上手,網絡結構都是以配置文件形式定義,不需要用代碼設計網絡。(2)訓練速度快,能夠訓練state-of-the-art的模型與大規模的數據。(3)組件模塊化,可以方便地拓展到新的模型和學習任務上。4.3.1常用開源框架4.PyTorchPyTorch是一個由Facebook開源的神經網絡框架。專門針對GPU加速的深度神經網絡(DNN)編程。Torch是一個經典的對多維矩陣數據進行操作的張量(tensor)庫,在機器學習和其他數學密集型應用有廣泛應用。PyTorch有一個顯著的特點是命令式的,支持動態模型。4.3.1常用開源框架5.PaddlePaddle飛漿PaddlePaddle飛漿是百度旗下的深度學習開源平臺,它支持并行分布式深度學習。在PaddlePaddle的幫助下,深度學習模型的設計如同編寫偽代碼一樣容易,工程師只需要關注模型的高層結構,而無需擔心任何瑣碎的底層問題。4.3.1常用開源框架6.MindSpore昇思MindSpore昇思是由華為于2019年8月推出的新一代全場景AI計算框架,2020年3月28日,華為宣布MindSpore正式開源。MindSpore是端邊云全場景按需協同的華為自研AI計算框架,提供全場景統一API,為全場景AI的模型開發、模型運行、模型部署提供端到端能力。4.3.2算法應用基本方法
原始數據集是算法的原材料,決定了算法解決問題能力的上限,特征工程是把原始數據集轉換為算法模型需要的訓練數據,它的目的就是獲取更好的訓練數據特征。通過將轉換的數據集進一步劃分為訓練集、驗證集和測試集,用于模型訓練、模型評估和模型預測,算法模型的訓練是一個反復迭代的過程,最終才能達到理想的預測結果。本章總結知識速覽AI賦能,讓一切皆有可能,用人工智能建設美好世界!第5章人工智能關鍵技術目錄5.1計算機視覺技術5.2智能語音技術5.3自然語言處理技術5.4知識圖譜技術學習目標本章主要從人工智能系統的技術視角,圍繞人工智能中的計算機視覺技術、智能語音技術、自然語言處理技術、知識圖譜等核心技術進行討論,希望帶領讀者正確理解人工智能關鍵技術的概念,初步認識人工智能系統的“看、聽、說、做”實現方法。理解計算機視覺關鍵技術理解智能語音關鍵技術理解自然語言處理關鍵技術理解知識圖譜關鍵技術目錄5.1計算機視覺技術概述
人工智能的本質工作是研究、開發用于模擬和延展人類的智能的應用系統,具體來說就是通過人工智能技術來模仿人類的“視物”、“聽聲”、“說話”、“理解”及“推理”等人類智能能力。人類智能與人工智能概述計算機視覺(CompuerVision,CV)是研究使用計算機實現或模擬人類“視物”功能的技術,使用計算機模仿人類視覺系統的科學,讓計算機擁有類似人類提取、處理、理解和分析圖像以及圖像序列的能力。確切地說,計算機視覺技術就是利用了攝像機以及電腦替代人類眼睛,使得計算機擁有人類眼睛所具有的分類、識別、分割、跟蹤、判別決策等功能。概述
通過圖像獲取技術提取二維圖像、三維圖組、圖像序列等原始數據。
下面所示展示了人類看到的“冰墩墩”圖像和機器獲取到的“冰墩墩”數據(右圖為了清晰呈現,只截取了部分數據)。人類看到的“冰墩墩”圖像機器“看到”的“冰墩墩”圖像概述
計算機視覺系統就是創建了能夠在二維平面圖像或者三維立體圖像的數據中,以獲取所需要的“信息”的一個完整的人工智能系統,例如自動駕駛、智能機器人等領域均需要通過計算機視覺技術從視覺信號中提取并處理信息。自動駕駛系統智能機器人圖像處理基礎
圖像是人類視覺的基礎,是自然景物的客觀反映,是人類認識世界和人類自身的重要源泉。計算機視覺是讓機器具有智慧的“眼睛”,圖像處理是其重要的研究內容。對于圖像,有一個重要的概念-圖像分辨率。圖像分辨率又分為空間分辨率和灰度分辨率。圖像處理基礎分辨率高
空間分辨率是每英寸圖像內有多少個像素點被采樣,分辨率的單位為PPI(PixelsPerInch,像素每英寸)。采樣過程實質上對一幅圖像等間距劃分成多個網格,每一個網格表示一個像素點。采樣間隔越大,所得圖像像素數越少,空間分辨率越低,圖像質量差,嚴重時出現馬賽克效應;采樣間隔越小,所得圖像像素數越多,空間分辨率越高,圖像質量好,但數據量大。
分辨率低圖像處理基礎
灰度分辨率是用于量化灰度的比特數,通常用2的整數次冪來表示,例如8bit,它表示的灰度范圍是0到255。量化實質上是顏色值數字化的過程。根據圖像的灰度級數,可將圖像分為黑白圖像(二值圖像,用0和1表達)、灰度圖像和彩色圖像。彩色圖像黑白圖像灰度圖像計算機視覺技術的主要任務
計算機視覺是一種讓計算機學會“視物”并“識物”的技術,跟人類觀察世界一樣,從粗粒度的“歸類”到精細粒度的“理解”,計算機視覺技術的主要任務有圖像分類(What)、目標檢測(What&Where)、圖像分割(What&Where),其中圖像分割不但能檢測位置,還能夠精細地將位置輪廓勾勒出來。計算機視覺技術的主要任務圖像分類體驗網址:/tech/imagerecognition/ingredient圖片分類(ImageClassification),顧名思義,就是通過算法對其中的對象進行分類,圖像分類一直是計算機視覺中非常基礎且重要的一個任務,也是幾乎所有的深度學習網絡模型進行評價測試的方向。計算機視覺技術的主要任務目標檢測(ObjectDetection)主要從圖像中分離出感興趣的目標,不僅要用算法判斷圖片目標對象的類別,還要對圖像目標對象進行定位,即在圖像中確定其位置,并用矩形框把檢測目標對象標識出來。目標檢測體驗網址:/tech/vehicle/detect計算機視覺技術的主要任務
圖像分割用于預測圖像中每個像素點所屬的類別或者實體,是計算機視覺中非常重要的任務。按照分割任務不同,主要分為兩類:(1)語義分割(SemanticSegmentation):是對圖像中的每個像素都劃分出對應的類別,即實現像素級別的分類,對比目標檢測,圖像分割支持用多邊形標注訓練數據,模型可像素級識別目標,它的目標是為圖像中的每個像素分類;(2)實例分割(InstanceSegmentation):不但要進行像素級別的分類,還需在具體的類別基礎上區分不同的實例,一般用不同的顏色標識。目錄5.2智能語音技術智能語音系統構成智能語音的識別過程
智能語音把語音作為研究對象,是語音信號處理的一個重要研究方向,涉及心理學、語言學、計算機科學以及信號處理等諸多領域,甚至還涉及到人的體態語言,最終目標是實現人與機器進行自然語言對話。智能語音技術,也被稱為自動語音識別自動語音識別(AutomaticSpeechRecognition,ASR),就是讓機器通過識別和理解,把語音信號轉變為相應的文本或命令的技術。智能語音系統構成智能語音識別系統構成
為了實現機器與人類的正常對話、交流,智能語音系統需要完成“識別”、“聽清”、“理解”、“行動”以及“播報”這一連貫的任務。因此,智能語音系統至少包含了5個基本的子模塊:語音喚醒、語音增強、聲紋識別、語種識別和語音合成等。智能語音系統構成語音喚醒
語音喚醒的目標就是讓機器“能聽”?!昂伲瑂iri”、“小愛同學”,在使用智能語音助手時,常常會叫到人們呼喚這些名字,讓它們來幫助完成一些指令。而這個叫名字的過程,就是指的語音喚醒。智能語音系統構成語音增強
語音增強的目標是讓機器“聽得清”,是指當語音信號被各種各樣的噪聲干擾、甚至淹沒后,從噪聲背景中提取有用的語音信號,抑制、降低噪聲干擾的技術。總結起來,語音增強就是指從含噪聲的語音中提取盡可能純凈的原始語音。智能語音系統構成聲紋識別
聲紋識別的目標是讓機器“聽出說話的對象”,它是生物識別技術的一種,也稱為說話人識別。聲紋識別能夠提取每個人獨一無二的語音特征,實現“聽音辨人”,在涉及說話人身份識別的場景中具有重要應用價值。智能語音系統構成語種識別
語種識別的目標是讓機器“聽出是哪種語言”,即讓機器判斷某段音頻是英語、中語還是法語,又稱判斷音頻的語種
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年項目管理中的重要管理角色考題試題及答案
- 跑道材料維修方案范本
- 證券從業資格證學習幫助試題及答案
- 項目實施的關鍵績效指標設定題目及答案
- 2024年微生物檢測的重要性提升試題及答案
- 稅務政策對會計行業的影響試題及答案
- 煤制油品質量與標準研究考核試卷
- 種子種苗的長期保存與種子庫建設考核試卷
- 生態資源監測與城市空氣質量改善考核試卷
- 工程勘察技術規范考核試卷
- 酒廠從業人員【安全教育培訓】課件
- 《三國演義》之劉備有感
- 北京路沂河橋及兩岸立交改造工程橋梁頂升專項施工方案
- 某地塊土壤污染狀況調查匯報PPT模板框架
- 睪丸附睪炎護理
- 急危重癥護理PPT高職完整全套教學課件
- 居家養老服務規范:服務滿意度測評
- 拉動式生產方案-課件
- 名著導讀 西游記
- 沃爾沃攤鋪機操作面板
- 政府專職消防隊伍消防員招錄體格檢查表
評論
0/150
提交評論