強化學習介紹簡介一種能夠讓機器解決科學或經濟方面學習問題的設計方案，并通過數學分析或計算實驗來評估的方法稱為強化學習。從交互中進行，以目標為導向。強化學習介紹學習者不被告知采取哪個動作，而是通過嘗試來發現獲得最大獎賞的動作。agent必須嘗試各種動作，并且漸漸趨近于那些表現最好的動作，以達到目標。強化學習介紹監督學習是從樣例中學習，樣例是由富有知識的外部監督者提供的。這是一種重要的學習方法，但是它不能單獨地用于交互學習。強化學習沒有外部指導者，是在交互中，從自身經驗中學習。強化學習挑戰學習者必須嘗試各種動作，并且漸漸趨近于那些表現最好的動作，以達到目標。嘗試各種動作即為試錯，也稱為探索趨近于好的動作即為強化，也稱為利用探索與利用之間的平衡，是強化學習的一個挑戰。探索多了，有可能找到差的動作，探索少了，有可能錯過好的動作。總體趨勢：探索變少，利用變多監督學習中根本就不存在探索和利用的平衡問題，樣例學習階段之后，就只有利用了。例子一個機器人決定：1、進入一個新房間去尋找更多垃圾，2、尋找一條回去充電的路。它根據以前找到充電器的快慢和難易程度來作決定。這是以前與環境交互得到的經驗強化學習關鍵特征強化學習明確整個問題時一個以目標為導向的agent與不確定環境交互問題例子五子棋：棋手通過數學公式計算，發現位置1比位置2價值大，這是強化學習嗎？這不叫強化學習，叫規劃如果通過幾次嘗試，走位置1比走位置2贏棋的可能大，得出經驗，則為強化學習例子小牛羚在出生后幾分鐘內掙扎著站起來。半小時后，每小時能跑幾十公里例子一個進行石油提煉操作的攪拌控制器。該控制器逐步優化產量/成本/質量之間的平衡而不是嚴格按照工程師的最初設置來攪拌。例子走到電梯門口，發現等電梯的人很多選擇：1等電梯；2走下去根據經驗來選擇，是強化學習例子家長一直采用嚴厲的方法對待子女，從不嘗試平和的方式對待子女。或許錯過了采取更好動作的機會（如平和的教育方式）。例子這些例子中，隨時間推移，學習者利用它獲得的經驗不斷提高自己的性能。簡言之，強化學習就是試出來的經驗。自主學習分析一下動物自主學習的特點：

1、試錯：嘗試不同的做法（動作）

2、強化：有好處多做，沒有好處少做

3、目標：是動物努力的方向，目標導向動物（學習者）必須嘗試各種動作，并且漸漸趨近于那些表現最好的動作，以達到目標。相關定義為便于研究，定義幾個概念

agent（學習的主體，如小貓、小狗、人、機器人、控制程序等）agent以目標為導向，與不確定的環境之間進行交互，在交互過程中強化好的動作，獲得經驗。agent特點

1、能感知環境的狀態

2、選擇動作（可能會影響環境的狀態）

3、有一個目標（與環境狀態有關的）相關定義agent的目標導向與許多其他學習方法相比，其他方法只考慮了子任務，而沒有解決怎樣可以把這些子任務整合到一個更大的框架中。而強化學習是以最終目標為導向的，可以把不同的子任務整合到一個大框架中。強化學習的基本要素策略獎賞函數值函數環境模型強化學習的基本要素策略定義了agent在給定時間內的行為方式，一個策略就是從環境感知的狀態到在這些狀態中可采用動作的一個映射。可能是一個查找表，也可能是一個函數強化學習的基本要素獎賞函數是強化學習問題中的目標，它把環境中感知到的狀態映射為單獨的一個獎賞獎賞函數可以是改變策略的基礎。強化學習的基本要素值函數：一個狀態的值一個agent從那個狀態開始到將來預期的累積的獎賞和。在決策和評價決策中考慮最多的是值。強化學習的基本要素環境模型模擬了環境的行為，即給定一個狀態和動作，模型可以預測必定導致下一個狀態和下一個獎賞。模型一般用于規劃。規劃是算出來的，強化學習是試出來的。將模型和規劃結合到強化學習是一個新進展，也是我們學習研究的重要內容。強化學習介紹本書中所有強化學習方法圍繞估計值來組織，但這不是解決強化學習問題所必須的。直接在策略空間中搜索而不利用值函數的方法稱為進化方法。適合用在策略空間比較小或者策略空間被構造地很好地情況下。例子：Tic－Tac－Toe初始1→0.52→0.53→0.54→0.5

。。。

39→0.5當前1→0.52→0.53→0.5S4→0.5

。。。100→1S’

。。。

39→0.5不斷對弈，不斷更新估計例子：Tic－Tac－Toe

更新貪心走棋之前的狀態s：例子：Tic－Tac－Toe

強化學習關鍵特征學習時與環境交互（本例中與對手交互）有一個清晰的目標強化學習歷史主要有兩條線路一條線路關注試錯學習，以動物心理學為起點。（貫穿人工智能早期）另一條線路關注最優控制問題以及使用值函數和動態規劃的解決方案。強化學習歷史最優控制描述的問題是如何設計一個控制器來隨時間而最小化動態系統的行為計量一個解決這個問題的方法是使用動態系統中狀態和值函數的概念來定義一個函數方程，即貝爾曼方程