1、第一章 緒論1.1 引言近50年來，科學技術的迅速發展，對許多被控對象如宇宙飛船、導彈、衛星和現代工業設備與生產過程的性能提出了更高的要求，在許多情況下要求系統的某種性能指標為最優。這就要求人們對控制問題都必須從最優控制的角度進行研究分析和設計。最優控制理論是現代控制理論的重要組成部分。其形成與發展奠定了整個現代控制理論的基礎。早在20世紀50年代初九開始了對最短時間控制問題的研究。隨后，由于空間技術的發展，越來越多的學者和工程技術人員投身于這一領域的研究和開發，逐步形成了較為完整的最優控制理論體系。最優化問題就是根據各種不同的研究對象以及人們預期要達到的目標，尋找一個最優控制規律，或設計出一

2、個最優控制方案或最優控制系統。最優控制理論研究的主要問題是：根據已建立的被控對象的時域數學模型或頻域數學模型，選擇一個容許的控制律，使得被控對象按預定要求運行，并使給定的某性能指標達到最優值。從數學的觀點來看，最優控制理論研究的問題是求解一類帶有約束條件的泛函取值問題，屬于變分學的理論范疇。然而，經典變分學理論只能解決容許控制屬于開機的一類，為適應工程實踐的需要，20世紀50年代中期出現了現代變分理論。在現代變分理論中最常用的兩種分法是動態規劃和極小值原理。動態規劃時美國學者R.E貝爾曼于1953-1957年為了解決多級決策問題的算法而逐步創立的。最小值原理時前蘇聯科學院院士.C.龐特里亞金與

3、1956年-1958年間逐步創立的。近年來，由于數字計算機的飛速發展和完善，逐步形成了最優控制理論中的數值計算法，參數優化方法。當性能指標比較復雜或者不能用變量或函數表示時，可以采用直接搜索法，經過若干次迭代，都所到最優點。常用的方法有鄰近極值法、梯度法、共軛梯度法及單純形法等。同時由于可以把計算機作為控制系統的一個組成部分，以實現在線控制，從而使最優控制理論的工程實現成為現實。因此，最優控制理論提出的求解方法，既是一種數學方法，又是一種計算機算法。時至今日，最優控制理論的研究，無論在深度和廣度上，都有了很大的發展，并且日益與其他控制理論相互滲透，形成了更為實用的學科分支，如：魯棒最優控制、隨

4、機最優控制、分布參數系統最優控制及大系統的次優控制等。可以說最優控制理論目前仍然是在發展中的，極其活躍學科領域之一。1.2最優化問題一、最優化問題的數學描述所謂最優化問題，就是尋找一個最優控制方案或者最優控制規律，使所研究的對象（或系統）能最優地達到預期地目標。例如：在控制發射N級火箭時，如何規劃各級火箭地質量使得火箭地總質量為最小；或在雷達高炮隨動系統中，當發現敵機后，如何以最快地速度跟蹤目標而將敵機擊落。也就是說，最優化問題就是依據各種不同的研究對象以及人們預期達到的目的，尋找出一個最優控制規律或者設計出一個最優控制方案或者最優控制系統。例1.甲倉庫（1500包水泥），乙倉庫（1800包水

5、泥）工地A需要900包，工地B需要600包，工地C需要1200包，從甲倉庫送往A、B、C工地的運費分別為每包1元、2元、4元，從乙倉庫送往A、B、C工地的運費分別為每包4元、5元、9元，應如何發運這些水泥，能使運費最省？設總運費f(x)=x1+2x2+4x3+4x4+5x5+9x6最優化的任務在于確定x使f(x)為最小。x受到以下條件限制：x1+x2+x31500x4+x5+x61800 由于f(x)為x的一次函數x1+ x4=900x2+ x5=600x3+ x6=1200 例2.關于飛船的月球軟著陸問題為使飛船實現軟著陸，即到達月球表面時速度為零，要尋找飛船發動機推力的最優變化規律，使燃料

6、消耗最少，以便完成任務有足夠燃料返回地球。飛船運動方程： 初始條件：末端條件：控制約束：0u(t)umax 性能指標取為表征燃料消量耗（1-5頁）的飛船著陸時的質量：最優化問題就是在滿足和的約束條件下，尋求發動機推力的最優變化規律u(t)，使飛船從x(0)x(tf),并使J=m(tf)=max最優化問題的數學描述包含以下幾個方面的內容：1. 受控制系統的數學模型即系統微分方程(集中參數系統可用一組一階常微分方程來描述) 2. 邊界條件與目標集邊界條件 即初始狀態時刻t0和初始狀態x(t0)通常已知，而終端時刻tf和終端狀態x(tf）可以固定也可以自由。一般地，對終端的要求可以用如下的終端等式或

7、不等式約束條件來表示：N1=x(tf),tf=0 或N2x(tf),tf0 目標集：滿足終端約束條件的轉臺集合，用M表示：M=x(tf):x(tf)Rn，N1x(tf),tf=0,或N2x(tf),tf 0為簡單起見，籠統稱式為目標集。3. 容許控制每一個實際的控制問題，控制向量u(t)都有一個規定的取值范圍，通常可以用如下不等式餓約束條件來表示：0u(t) umax 或，i=1,2,3r在Rr空間中，把滿足上式的點u(t)的集合v成為控制集，把屬于u(t)U的u(t)稱為容許控制若u(t)的取值不受限制，則容許控制屬于某一開集。U為開集還是閉集在處理方法上有著本質的差別。4. 性能指標(目標

8、函數)衡量控制作用效果的性能指標將x(t0)x(tf)通過不同u(t)來完成，而控制效果好壞，則用性能指標來判別。對于最優化問題的目標函數，其內容與形式主要取決于具體優化問題所要解決的主要矛盾。例如在人造衛星的姿態控制問題中，可分為時間最短、燃料最少、時間最少燃料最少不同目標函數的最優化問題二 最優化問題的分類1單變量函數與多變量函數最優化問題單變量函數最優化方法是求解最優化問題的基本方法2.無約束與有約束最優化問題3.確定性和隨機性最優化問題4.線性和非線性最優化問題5.靜態和動態最優化問題三 最優化問題的求解方法1 間接法（解析法）無約束：經典微分法、經典變分法 有約束：極大值原理、動態規

9、劃2 直接法(數值解法)函數逼近法（插值法或曲線擬合法）區間消去法：菲波納奇法、黃金分割法（0.618法）爬山法：變量輪換法、步長加速法、方向加速法、單純形法、隨機搜索法3 以解析法為基礎的數值解法：無約束梯度法：最速下降法、共軛梯度法、牛頓法與擬牛頓法、變尺度法、牛頓高斯最小二乘法有約束梯度法：可解方向法、梯度投形法、簡約梯度法化有約束為無約束問題：序列無約束極小化法、線性近似化法最優控制屬于最優化范疇，因此最優控制與最優化有其共同的性質和理論基礎，但最優化涉及面極廣，舉凡生產過程的控制企業的生產調度對資金、材料、設備的分配、乃至經濟政策的制定等等，無不與最優化有關。而最優控制是針對控制系統

10、本身而言的，目的在于使一個機組、一臺設備或一個生產過程實現局部最優。1.3 最優控制問題所謂最優控制問題，就是指在給定條件下，對給定系統確定一種控制規律，使該系統能在規定的性能指標下具有最優值。也就是說最優控制就是要尋找容許的控制作用（規律）使動態系統（受控系統）從初始狀態轉移到某種要求的終端狀態，且保證所規定的性能指標（目標函數）達到最大（小）值。最優控制問題的示意圖如圖所示。其本質乃是一變分學問題。經典變分理論只能解決一類簡單的最優控制問題。為滿足工程實踐的需要，20世紀50年代中期，出現了現代變分理論。最常用的方法就是極大值原理和動態規劃。最優控制在被控對象參數已知的情況下，已成為設計復

11、雜系統的有效方法之一。一 最優控制問題的性能指標在狀態空間中要使系統的狀態由初始狀態x(t0)x(tf)，可以用不同的控制規律來實現。為了衡量控制系統在每一種控制規律作用下工作的優劣，就需要用一個性能指標來判斷。性能指標的內容、形式取決于最優控制所完成的任務。不同最優控制問題就應有不同的性能指標。同一最優控制問題，其性能指標也可能因設計者著眼點而異。1. 綜合性或波爾扎（Bolza）型性能指標 L標量函數：動態性能指標標量函數：終端性能指標J標量函數，對每一個控制函數u(t)都有一個對應值，u()控制函數整體2. 積分變量或拉格朗日（Lagrange）型性能指標 強調系統的過程要求。3.終端型

12、或麥耶爾（Mager）型性能指標以上三種性能指標，通過一些簡單的數學處理，可以相互轉化。在特殊情況下，可采用如下的二次型性能指標F終端加權矩陣 Q(t)狀態加權矩陣 R(t)控制加權矩陣二 最優控制問題的提法所謂最優控制的提法，就是將通常的最優控制問題抽象成一個數學問題，并用數學語言嚴格的表示出來。1. 給定系統的狀態方程 初始條件 2. 給定初始條件和終端條件初始狀態為：x(t0)=x0終端狀態x(tf)可用如下約束條件表示N1x(tf)，tf=0 或N2x(tf)，tf03給定性能指標（目標函數）確定J最優控制向量，使系統從x(t0)x(tf)，并使性能指標具有極大（小）值。三 最優控制問

13、題的分類1.按狀態方程分類：連續最優化系統、離散最優化系統2.按控制作用實現方法分類：開環最優控制系統、閉環最優控制系統3.按性能指標分類：最小時間控制問題 最少燃料控制問題 最少燃料控制問題 線性二次型性能指標最優控制問題 非線性性能指標最優控制問題4.按終端條件分類：固定終端最優控制問題自由終端（可變）最優控制問題終端時間固定最優控制問題終端時間可變最優控制問題 5.按應用領域來分：終端控制問題、調節器問題、跟蹤問題、伺服機構問題、效果研究問題、最小時間問題、最少燃料問題第二章 最優控制中的變分法在動態最優控制中，由于目標函數是一個泛函數，因此求解動態最優化問題可歸結為求泛函極值問題。變分

14、法是研究極值的一種經典分法。2.1 函數的極值一 一元函數的極值 設連續可微一元函數y=f(x)在定義區間a,b有極值，則函數在x0處可導，并在x0處存在極值的必要條件是在xo處存在極大值，極小值， 若，還要從f(x)在xo附近的變化情況來判斷xo是否是極小值、極大值或拐點。例1 試求的極值解： 例2 如圖所示:邊長為a的正方形鐵皮，四個角處剪去相等正方形，折起后制成方形無蓋水槽，要求其容積最大，或求所剪去的小正方形的邊長。無蓋方形水槽容積為：max=二 多元函數與極值設多元函數存在極值的必要條件是： 極小值的充分條件是：，極大值的充分條件是：若下列矩陣(Hesse海賽)正定 則極小值負定 則

15、極大值 Hesse矩陣的正定性可用sylvester準則判別例：設多元函數，試求函數的極值點及極小值4解： Hesse矩陣：= 因為40， 0，0，故Hesse陣正定所以函數存在極小值 三 條件極值和拉格朗日乘子問題實際問題中自變量之間受到其他條件的約束限制極值常用拉格朗日乘子法(待定乘子法、增量法) 原理：引入待定參數，將求解帶有約束條件的極值問題轉化為一個求解無約束條件的極值問題設連續可微的目標函數為:J=f(x,u)等式約束條件為： g(x,u)=0引入乘子矢量，將乘等式約束條件并與目標函數相加，構造拉格朗日函數目標函數存在極值的必要條件是： 例 已知函數約束條件為，試求函數的條件極值解

16、：求解此類問題有多種方法，如消元法和拉格朗日乘子法方法一：消元法 方法二：拉格朗日乘子法引入拉格朗日乘子，得到一個新函數即： 例： 把半徑為1的實心金屬球融化，鑄造成一個實心固體柱，問固體柱取什么尺寸才能使其表面積最小？解：圓柱體底部半徑為r，高為h，則其表面積為：約束條件為圓柱體體積與實心球體積相等，即：所以 2.2 變分法一 變分法的基本概念泛函可簡單理解為“函數的函數”，求泛函的極大值和極小值問題都稱為變分問題。求泛函極值的方法稱為變分法。1.泛函設對自變量t，存在一類函數x(t)，如果對于每個函數x(t)，有一個J值與之對應，則變量J稱為依賴于x(t)的泛函數，記作，中的為某一特定函數

17、的整體，而不是對應于t的函數值。函數稱為泛函J的宗量，泛函為標量。例：當時，當時，等。在控制系統中，自變量是時間t，宗量函數是狀態矢量，積分型性能泛函為J的值取決于函數u(t)。不同的J值于不同的u(t)對應。所以J是函數u(t)的泛函。所謂求解最優控制，就是尋找使J取極值的控制u(t)。2.泛函的變分1）宗量的變分即兩函數之差為泛函宗量的變分，2）泛函變分的定義當宗量函數x(t)有變分時，連續泛函Jx(t)的增量可表示為，其中是泛函的變分，并記為，所以泛函的變分也就是可以稱為泛函的微分。當泛函具有微分時，可用表示時，稱泛函是可微的。例：求泛函的變分3）泛函變分的求法定理：連續函數的變分等于泛

18、函對的導數在=0處的值，即：證明：由于是的現行連續函數又由于是的高階無窮小量于是：例求泛函的變分解：4）泛函變分的規則設L1和L2是函數和t的函數 3 泛函的極值1）泛函極值的定義若泛函在任何一條與接近的曲線上的值不小于即：則稱泛函在曲線上達到極小值。其中稱為泛函的極小值函數或極小值曲線。2）宗量函數的接近度若兩個函數和相接近，就應對于任意都滿足 很小正數稱與具有零階接近度。稱為強極值。若稱與具有一階接近度。為弱極值。接近度階次越高函數接近程度越好。強極大值必大于或等于弱極大值。3）泛函極值的必要條件定理：若可微泛函在上達到了極大（小）值，則在上有證明：對于任意給定的是的函數=0二.固定端點的

19、變分問題所謂固定端點問題，是指狀態空間中曲線的起點和終點都是預知固定的。由于已固定，性能泛函變為積分型性能泛函了。1.歐拉方程定理：已知容許曲線x(t)的初始端和終端狀態，則積分性能泛函，取極值的必要條件是容許極值曲線滿足如下歐拉方程或及邊界條件和其中及在上至少兩次連續可微。證明：設極值曲線如圖所示，在極值附近有一容許曲線，其中是任給的連續可微函數，則代表了在及之間的所有可能的曲線。當就是極值曲線。對于每條不同曲線，的值就有不同。為尋找使達到極值的曲線，就要考察曲線變動對于變化的影響，而曲線的變化可以看成是變化的結果。因此便成了的函數，并在上達到了極值，即于是有端點固定，故有為任意，由此推得泛

20、函取極值的必要條件為： 將展開為： =歐拉公式可寫為歐拉方程是一個二階微分方程，求解時有兩個積分常數待定，對于固定端點問題，給定和就是兩個邊界條件。所以求解歐拉方程就是求解兩點邊值問題。對于自由端點，因其一個端或或是兩個端點是自由的，這時所欠缺的一個或兩個邊界條件便應由模載條件來補充。 (始端自由) (終端自由) 應當指出，上述歐拉方程和橫截條件只是泛函極值存在的必要條件。至于所解得的極值曲線是極大值曲線還是極小值曲線，還需由充分條件來判定。但對許多工程問題，往往何以根據物理含義直接判斷。例 求泛函滿足邊界條件x(1)=1,x(2)=2的極值曲線。解： 泛函極值只能在曲線上實現2.泛函極值的充

21、分條件勒讓德(legendse)條件 如同函數極值的性質可由二階導數的符號來判定一樣，泛函極值的性質可由二階變分的符號來判定。 若兩個函數x(t)存在無窮小量的差異，則x(t)的一次變分可寫成。對于泛函數，若它有三階以上的連續偏導數，則在滿足歐拉方程的極值曲線鄰域內，有如下泰勒級數展開式： 定義：當為極值曲線時，是泛函取極值的必要條件，其充分條件是：當矩陣型式：勒讓德(legendse)條件 例：求泛函滿足邊界條件的極值函數并判別泛函極值的性質。解： ，代入歐拉方程邊界條件又3.幾種典型泛函的歐拉方程一般來說歐拉方程是一個非線性二次微分方程，其解并不是以在所有情況下都能表示成封閉式的解，但在下

22、列幾種特殊情況下，歐拉方程一定能積分出來，并將它表示成封閉形式1) L不依賴于，即2) L不依賴于，即3) L只依賴于，即4) L只依賴于，即歐拉方程：4. 多變量系統的泛函設多變量系統的積分型性能指標泛函為：歐拉方程： 橫截條件： 固定端點： 邊界條件自由端點： 自由終端 自由始端例：求泛函在條件的極值曲線。解：歐拉方程：由邊界條件可求出 三、可變端點的變分問題端點固定情況是一種最簡單的情況。在工程實際問題中，經常會遇到曲線的始端或終端是變動的可變端點問題。可假設始端時刻固定，即，終端時間可變，終端邊界條件為，即，如右圖所示。當可變時， 其典型例子為導彈的攔截問題問題提法：尋找一條件連續可微

23、的極值曲線。從且使性能泛函達到極值。1泛函極值的必要條件定理：設容許曲線從且使取極值的必要條件是：極值曲線滿足歐拉方程設始端邊界條件和終端橫截條件為，證明：設為領域內任一條容許曲線由圖可知，可存在如下近似關系 不難理解：如果某一容許極值曲線能使J在端點變動的情況下取極值，那么對于和容許極值有同樣邊界點的更窄的函數類來說，其極值曲線自然也能使J達到極值。也就是說，終端受約束的函數類中的極值曲線，也必定是端點固定的函數類中的極值曲線。因此必能滿足端點固定時泛函極值必要條件：但終端可變時，其邊界條件發生變化 =前 以證明：歐拉方程依然成立： 由于始端固定 ， 邊界條件：橫截條件： （1） 終端時刻t

24、f可變，終端狀態自由，固定。 因為：代入中，由于和均任意。（2） 終端時刻tf可變，終端狀態有約束，固定。 設終端約束方程為： 代入式中，由于任意， 。注意：橫截條件與歐拉方程連理才能構成泛函極值的必要條件。例：求從到直線間距離最短的曲線解：問題是求的極小值曲線 ， 由歐拉方程： 故： 橫截條件：，即a=1,由所以：由終端約束條件：2、特征形式下的橫截條件在控制工程中，大多數終端約束條件都比較特殊。（1） 當目標曲線是平行橫軸直線時，其終端狀態相當于固定，使可變稱為平動端點，此時=0，則橫截條件可簡化為：（2） 當目標曲線是垂直橫軸直線時，此時相當于終端時刻，自由，自由終端，橫截條件改寫為0（

25、3） 若終端狀態也固定固定端點問題（4） 若曲線的始端可變，終端固定，始端只能沿著給定目標曲線變化時，可用上述同樣方法推證始端橫截調件為：，終端邊界條件：例：求使性能泛函取極值的軌跡，要求任意。解：始端固定，終端自由，歐拉方程：=0即：=常數，故必為常數。設，由B=0，所以：由終端橫截條件：=A=0，或A=-2/3A=-2/3時極值軌跡為容易驗證時，J=0，局部極小； ，J=4/27，對應局部極大。3、一般泛函表達形式在最優控制中，目標函數包括項，用以表示對終端時刻的特殊要求，即使泛函 取極小值，還有不計動態性能指標的性能泛函 取極值的問題，計Q也可以是 和的函數。顯然，拉格朗日（積分型）和麥

26、耶爾可看成波爾扎問題的特殊情況，所以波爾扎問題有最一般形式，但是若引入輔助變量，常可以使這3種問題相互轉換。令，若恒定不變，波爾扎問題拉格朗日問題。若引進一個新變量，使，波爾扎問題麥耶爾問題2.3 應用變分法求解最優控制問題 在前面討論的泛函極值問題中，沒有對容許曲線附加任何條件，屬于無約束條件的變分問題，但在最優控制問題中，泛函所依賴的函數往往受到一定約束條件的限制狀態方程，它可以看成是一種等式約束條件，可采用拉格朗日乘子法，將具有等式約束條件的變法問題轉化為一種等價的無約束變分問題，從而將在等式約束條件下對泛函J求極值的最優控制問題在無約束的條件下求哈密頓函數H的極值問題哈密頓發方法。一、

27、 固定端點的最優控制問題設系統的狀態方程為：系統終端和始端滿足：，系統的 性能泛函為：試確定最優控制和最優曲線，使系統由，并使達到極值。將狀態方程改寫為：引入拉格朗日乘子向量，構造下列泛函現引入一個標量函數 泛函極值的必要條件 任意 ，伴隨方程化為狀態方程 控制方程 橫截條件 狀態方程以上等式亦可以歐拉方程求出 令由 由狀態方程與伴隨方程通常合稱正則方程，其標量形式為： （i=1,2n） 2n 個邊界條件 i=1,2n 由 與的函數關系 哈密頓函數的一個重要性質： 當H不顯含t時，=0定理：設系統的狀態方程為：則把自始端取極值，以實現最優控制的必要條件是：（1） 最優曲線和最優伴隨向量滿足正則

28、方程： ， （2） 最優控制滿足正則方程：（3） 邊界條件：， 當然上述具有等式約束（狀態方程）問題，也可先利用狀態方程得到與，的關系，代入上例性能泛函，使的形式。無約束最優控制問題。最優控制計算步驟：Step 1:構造根據：，求出Step 2:以代入正則方程中，消去u 的兩點邊值問題 Step 3:以代入得到例：設人造衛星姿態控制系統的狀態方程為：性能指標，邊界條件為：求使J取極值的最優曲線和最優控制解：， 伴隨方程：控制方程：狀態方程：邊界條件：所以，最優曲線為：最優控制為：二可變端點的最優控制問題設狀態方程為：，性能指標為：試確定最優控制和最優曲線使系統有已知可變終端并使J達到極值。1、

29、 終端時刻固定，終端狀態自由引入拉格朗日乘子向量定義： 泛函極值存在的必要條件及所以：狀態方程： 伴隨方程： 控制方程： 橫截條件：例：上例中，終端狀態設為自由，部分約束，部分自由 解：， ， 橫截條件： 由狀態方程： 設邊界條件、橫截條件可得： 故 最優控制： 最優曲線：2、 終端時刻固定，終端狀態有約束假設終端狀態的約束條件為引入兩個拉格朗日向量和令與終端時刻固定，終端狀態自由相比，僅僅橫截條件發生了變化。其余均不變。因此，終端狀態有約束的泛函極值存在的必要條件為：狀態方程：伴隨方程：控制方程：橫截條件：終端約束： 例：試求使被控系統，由已知初始狀態出發，在時，轉移到目標集。，且使性能指標

30、為最小的和解：伴隨方程：控制方程：由狀態方程：由初始狀態：由目標集：由橫截條件：3、終端時刻可變，終端狀態有約束設終端狀態的約束條件為，引入拉格朗日乘子矢量要確定，及又因為：代入上式整理考慮到，均是任意的。泛函極值存在必要條件為：狀態方程：伴隨方程：控制方程：橫截條件：終端約束： 定理：設系統狀態方程是，則為把狀態從轉移到滿足約束條件 的終端狀態，式中固定或可變，并使性能泛函為：取極值，實現最優控制的必要條件是：1、 最優曲線和最優伴隨向量滿足以下正則方程： ，2、 最優控制滿足控制方程：3、 始端邊界條件與終端橫截條件： 4、 當終端時間可變時，還需以下終端橫截條件確定 例：設一階系統方程為

31、：，已知，要求，試求性能指標為極小的解： 由伴隨方程：由控制方程： 由狀態方程： 初始條件 終端條件 橫截條件： 所以： 第3章 極大值原理 在利用經典變分法求解最優控制問題中，泛函極值的必要條件都是在等式約束下，并且控制向量u(t)沒有約束及狀態方程對u(t)是可微的情況下取得的。然而，在實際物理系統中，控制向量是受到一定限制的，容許控制只能在一定的控制域內取值。對于不等式的約束問題，也是先將不等式約束化成等式約束，然后再用相同的方法求解最優控制問題。但對于多變量系統來說，這種方法使求解過程相當復雜。所謂極大值原理是求出當前控制向量受到約束時的最優控制必要條件現代變分法 3.1 引言在實際工

32、程問題中，控制向量u(t)往往受到一定的限制。如控制元件飽和，驅動電機的力矩不可能無窮大，流量的最大值受到輸送管道的和閥門的限制等。一般可用下面的不等式來表示，即式中屬于有限閉集，更一般的情況可用下面不等式約束來表示：。若屬于有界閉集，當在邊界上取值時，就不是任意的了，由于受到約束在其容許取值范圍內可能無解，也可能的解，并非使H取極小值的解。如右圖所示。另外，在應用經典變分法求解最優控制問題時，要求函數和關于所有自變量二次連續可微。要求H關于u的偏導存在。于是類似的性能泛函無法用經典變分法求解。例如最小燃料消耗問題。前蘇聯數學家龐德里亞金總結了經典變分法和最簡單最優控制的早期研究成果。特別是受

33、力學中的哈密頓原理的啟發。于19561958年間逐步創立了最大值原理一種適用性廣泛又有嚴格理論依據的求解最優控制問題的簡便方法。最大值原理的一個顯著特點。是易于確定最優控制系統的普遍結構形式。因而應用甚廣，成為求解最優控制問題的一種強有力的工具。被譽為“現代變分法”。3.2.連續下調的極大值原理在實際控制系統中，由許多問題要求控制變量或狀態變量在某一范圍內，例如：，此時，連續系統最優控制問題可描述為：設n維系統狀態方程：始端時間和始端狀態：終端時間和終端狀態滿足約束方程：控制向量取值于：性能泛函J取極小值： 與前面討論過的等式約束條件最優控制問題相比較。他們的主要區別在于是屬于有界閉集。受到不

34、等式約束，可采用以下措施：1） 引入一個新的r維控制變量，令：顯然不連續，但是連續的。若分段連續，分段光滑連續。2） 引入另一個新的L維變量，令：無論是正是負，但非負，滿足的要求。通過以上變換，將上述具有不等式約束的最優控制問題轉化為具有等式約束的波爾扎問題。再應用拉格朗日乘子法引入乘子和T。將問題轉化為求廣義性能指標的極值。 廣義性能指標的一階變分：由于是任意的，可推出廣義性能泛函取極值的必要條件如下： 歐拉方程： ，即 即橫截條件： 由于歐拉方程：橫截條件：需指出：以上條件是最優解的必要條件，使最優解極小。還必須滿足維爾斯勒拉E函數沿最優曲線成非負的條件，即： 由于沿最優曲線，且，所以：即

35、：在極大值原理中，容許條件放寬了，另外，極大值原理不要求H對的可微性，因而擴大了應用范圍必經典變分法具有真正的實用價值。定理：設系統的狀態方程為：始端約束為：終端約束為： 待定控制約束為：性能泛函為：取哈密頓函數：則實現最優控制的必要條件為：滿足下列關系：1）沿最優軌線滿足正則方程：2） 在最優軌線上，與最優控制相應的H函數取絕對極小值，即 3） H函數在最優軌線的終點處的值決定于 4） 協態終值滿足橫截條件 5） 滿足邊界條件： 例：設系統方程及初始條件為： ，其中 ，自由試求，使性能指標解：本例為線性定常系統，終端型性能指標自由，固定。控制受約束的最優控制問題 由伴隨方程： 由橫截條件：

36、所以：根據極大值原理，最優控制函數應使H取極小值。為此，為使的函數H在約束條件下達到極小值，顯然應取 易知：故：將代入狀態方程中：由此得例：設一階系統方程為：，其中試求性能指標：為取極小的解： ，固定，自由。 由于H是u的線性函數，根據極大值原理。，使H絕對極小相當于使J極小，因此要求極小。當u與異號且u 取其邊界值。 故由伴隨方程：由橫截條件： 所以顯然：即為切換點。令此時t=ts 即故最優控制： 將代入狀態方程中，求最優曲線 當時 時， 當時，所以3.4.極大值原理的應用一、最小時間控制問題最小時間控制問題，又稱時間最優控制問題。它要求在容許控制范圍內尋求最優控制，使系統以最短時間從任意初

37、始狀態轉移到要求的目標集。例如要求導彈以最短時間擊中目標，被控對象以最快時間達到平衡等。由于這種控制方式的目標泛函特別簡單而且實用價值較大，所以在50年代初期就已發表了研究最短時間控制的論文。推動了現代控制理論的發展，而且現代控制理論的發展又反過來加深了對這種控制好方式內部規律的認識，并產生了一批更復雜的時間最優控制系統。例：設一階系統狀態方程為：性能指標：如果（1）無約束（2）的約束為試求，使性能指標J 為極小解：本例為線性定常積分型性能指標，固定，自由。令：（1）、無約束 由正則方程：由橫截條件：初始條件： 所以，最優曲線最優控制：最優性能指標：（2）、有約束 若伴隨方程：狀態方程：求切換

38、點對應的時間，即當時，有 所以：于是得： 一般來說，求非線性系統和任意目標集的時間最優控制的解析解十分困難，在此考慮線性定常系統，且目標集為狀態空間原點，即終端狀態固定的時間最優控制問題。設已知系統的狀態方程為： 系統完全能控，且u(t)具有以下不等式約束j=1、2、r. 始端和終端條件為： t0=0, ,tf可變。試求控制作用u(t)使系統從初始狀態轉移到平衡狀態（原點）所需時間最短。即J=tf構造哈密頓函數。設最優控制存在，則應用極小值原理，可推出以下結論：（1）最優曲線和最優伴隨向量滿足正則方程：（2）邊界條件：x(0)=x0 ,x(tf)=0(3)在t0,tf上，對所有容許控制u(t)

39、，下列關系成立即當0時，u(t)越小，越小，因此取下限，=-1當0時，u(t)越大，越小，=1當=0時，則因u(t)不定，無法用極小值原理確定，只能去滿足的約束條件的任意值，這種情況稱為奇異情況，對應狀態方程稱為奇異系統式。故： 這種根據符號取的容許邊界值的開關控制砰砰控制。他要求控制變量取邊界值，但符號與相反（4）在最優曲線上，哈密頓函數恒為零，即因為：由于t=tf, x(tf)=0, 故在最優曲線上，哈密頓函數恒為零而 ，線性齊次定常微分方程所以最優控制=-sgn=-sgn=-sgn在此上討論正常情況下時間最優控制問題，即可取-1和+1.隨著時間變化，在這兩個值上跳變，滿足=0的諸點恰好是

40、轉換點這是一種繼電器型控制，故有Bang-Bang控制之稱。例：設人造衛星姿態控制系統方程為： 邊界條件為：，控制約束為性能指標為 求最優控制，使J最小。解：本例為二次積分模型的最小時間控制問題，顯然系統能控，故時間最優控制必為Bang-Bang控制 -sgn= 伴隨方程： ， 為直線，有極大值原理可知，要使HHmin, 的可能形式有：圖在整個控制過程中，u(t)在-1+1最多只有一次轉換，因此最優控制規律只有以下4種可能形式： 1, -1, +1,-1, +1,-1為確定究盡迭哪一種控制方式，要研究一下u取-1或1時，解時情況。若令=1， ， 在上述方程中清去t ，求的最優曲線為由于，故 x

41、2(t)隨 t的增大而增大，顯然滿足終端狀態要求x1(tf)=x2(tf)=0的最優曲線為。表示為：，若令=-1，相應最優曲線為：滿足終端狀態x(tf)=0的最優曲線為，可表示為：曲線和在向平面上組合成曲線，稱為開關線，即=+ =可見曲線將向平面分割為R+和R-兩個區域R+=R-=當初始狀態（x10，x20）為不同情況，分別論述如下：（1）若x0 在上，則在u(t)=-1作用下，不經切換，可直接沿運動至x(tf)=0，此時最優控制=-1，（2）若x0位于上，=1， （3）若x0位于R+區域C點則在u(t)作用下，沿u(t)=1的某一條拋物線轉移到E，然后改變控制為u(t)=-1，沿轉移到原點，

42、此時=+1，-1，控制作用在E點處產生一次切換。C點CEEOO (4)若x0位于R-區域D點，則在u(t)=-1作用下，沿u(t)=-1的某一條拋物線轉移到F點，然后在交點F處改變控制為u(t)= +1，沿轉移到原點，此時=-1，+1，控制作用在F點處產生一次切換。D點DFFOO，由此可見：不論初始狀態x0位于R+區域還是R-區域，將狀態有已知初始狀態向要求終端狀態x(tf)=0轉移時，都必須在曲線上改變控制的符號，產生控制切換，故稱曲線開關曲線。 初始狀態x0唯一決定了當前應采用的最優控制；本例中； 若定義開關函數h()=則最優控制可表示為 雙積分裝置的時間最優控制框圖如右圖所示。計算系統狀

43、態轉移最短時間tf的基本方法：把狀態軌線按控制序列分成若干段，依次計算出每段所需時間，再求和。本例中 (1) 當時，=1 當時，=-1故當時,(2) 當+時，即設初始點C到達曲線上點E的時間為，由于，因此有即：設由，到達原點所需時間為，則（3）同理，當位于R-時，即應當指出，在本例求解過程中，只采用了“最優控制必定使H極小”這一事實，以及形狀提供了信息，并未具體求解協態，因而不需要“沿最優軌線H恒為零”這一條件。有些實際問題并不要求將終端狀態轉移到狀態空間原點，而是到某一集合。例：以上例為例，要求，使系統由與上例的主要差別在于目標集不同，對于固定目標集而言，目標集改變只影響橫截條件，有極小值原

44、理，最優解的必要條件為（1） 正則方程：狀態方程：,伴隨方程：（2） 邊界條件： （3） 極小值條件：（4） 沿最優軌線 ：根據極小值條件，由于,故不會變，根據乘子v的符號，只能是+1或-1.當時，初態位于右半向平面。若初相點位于之上如A點，則只有=-1才能將相點轉移到=0.若初相點位于之下，如B點，則=-1和=1，均可將相點轉移到軸，但最優軌線對應的才是最優控制。因為：。必有故應取于是應取=-sgn=-1， 同理當時，必有=1 最優軌線的形狀如右圖所示求解，當 時，取=-1 由于時，= 當時，=1 同理： 時間最優控制問題也可應用于一般的二階系統。若二階系統的特征值為實數，方法與上例類似，若

45、特征值為復數，則分析方法較為復雜。第四章動態規劃動態規劃是美國學者貝爾曼與1957年提出來的。現已在許多技術領域中獲得了廣泛的應用。動態規劃是一種分段（步）最優化方法。它可以用來求解函數極值問題，也可以用來求解約束條件下泛函極值問題，它與極大值原理一樣，是處理控制矢量被限制在一定閉集內，求解最優控制問題的有效數學方法之一。從本質上講，動態規劃是一種非線性規劃方法，其核心是貝爾曼最優性原理。這個基本原理可結為一個基本遞推公式，它首先將一個多段（步）決策問題轉換為一系列單段（步）決策問題，然后從最后一段（步）狀態開始逆向推遞到初始狀態為止的一套求解最優策略的完整方法。利用動態規劃求解控制有約束（或

46、控制及狀態均有約束）的離散最優控制問題特別方便，但也受到問題維數的限制。動態規劃在控制理論上重要性表現為：1、 對于離散控制系統，可用于得到某些理論結果，從而建立起迭代計算程序。2、 對于連續控制系統，除了可以得到某些理論結果外，還可建立起變分法和極大值原理的聯系。4.1 多級決策問題及最優性原理 動態規劃是求解多級決策過程最優的一種強有力的工具。所謂多級決策過程是指將一個過程按時間或空間順序分為若干級（步），然后給每一級，作出一個“決策”，以使整個過程取得最優效果，即多次決策最終要構成一個總的最優控制策略（最優控制方案）。多級決策過程示意如右圖所示，對于中間的任意一級，如第R+1級作出相應的

47、“決策”（或控制）后，才能確定該級輸入狀態與輸出狀態之間的關系，即從變化到狀態轉移規律。顯然，如果選擇好每一段“決策”（或控制）（k=1，2N-1），則整個過程的狀態轉移規律，即從，也就完全確定了。注意：全部“決策”的總體稱為策略。當然，如果對每一段的決策都是按照使某性能指標為最優的原則作出的，那么，這就是多級決策過程。顯然離散型最優控制系統的動態過程是一個多段最優決策過程的典型例子。在多級決策過程中，每一段的輸出狀態（例如第k +1級）都僅于該級的“決策”（）及該級的輸入狀態（）有關，而與前面各級的“決策”及狀態的轉移規律無關，這種特有性質，稱為“無后效應”下面通過討論最短旅程問題，闡明多級

48、決策過程及動態規劃的主要特點。最短路線問題，本例共有38條可能路線，共需加法152次，比較37次。窮舉法最后結果為， ，動態規劃法：是一中逆序計算法，從末端開始到始端為止，逆向遞推。設N 為多級決策過程的級數。X為在任意級所處的位置，稱為狀態變量。為決策變量，表示狀態X以后所迭取的下一點，表示由狀態X到終點F的N級過程的最短距離表示點X到的距離。（1） N=5 （E級）=1 從F和F都只有一種可能，所以本例無決策=2（2） N=4 （D級） (3) N=3 （C 級） （4）N=2 （B 級） （5）N=1 (A級)本決策是唯一的 在最后在圖中可順序確定最短路線為，=14只用了加法24次，比較14次。比窮舉法計算量大為減少，若n=10，則需4608次加法，511次加法。本例中，求解時采用遞推方法的一般形式為 及 N=4，3，2，1動態規劃具有如下主要特點：1、 與窮舉法比較，動態規劃可使計算量大大減少（本例中，10次運算6次比較）如n=10，只需做t(n-2)+2=34次加法。2、 動態規劃求解最優路線的整體決策是從終點開始并采用逆推方法進行的。3、 動態規劃可以將一個復雜的多級決策過程分解為一系列易于求解的單級決策過程。4、 動態規劃體現了多級最優決策的一個重要規律最優原理。它是動態規