第二章優化設計的數學基礎2.1多元函數的導數與梯度2.4凸集、凸函數與凸規劃2.2多元函數的泰勒展開2.3無約束優化極值條件2.5等式約束優化極值條件2.6不等式約束優化極值條件§2.1

多元函數的導數與梯度一、方向導數二元函數f(x1，x2)在X

(0)的偏導數為：分別表示沿坐標軸x1和x2方向在X

(0)處的f(X)變化率。f(X)在X0點沿d方向的方向導數:§2.1

多元函數的導數與梯度表示沿d方向在X(0)處的f(X)變化率。Δddθ2Δx2Δx1x1x20x1(0)x2(0)X

(0)θ1n維函數f(X)在X

(0)點沿d方向的方向導數:§2.1

多元函數的導數與梯度x1x2x3x2(0)x1(0)x3(0)0X(0)θ2θ1dθ3二、梯度對于二維函數f(X)在X

(0)點處的梯度:設為d方向的單位向量，則有§2.1

多元函數的導數與梯度投影形式：§2.1

多元函數的導數與梯度方向導數最大值發生在:結論:

d方向取梯度方向時,函數值的變化率最大?？梢娞荻确较蚴呛瘮抵底兓畲蟮姆较颉?.1

多元函數的導數與梯度x1x20-▽f(X

(0))▽f(X

(0))最速上升方向最速下降方向下降方向上升方向d:等值線的切線方向，X

(0)函數值變化率為零的方向進一步推導到n維:沿d方向的方向向量即§2.1

多元函數的導數與梯度梯度重要性質：

①梯度是X

(0)點處最大的方向導數；②梯度方向是過點的等值線的法線方向；③梯度是X(0)點處的局部性質；④梯度指向函數變化率最大的方向；⑤正梯度方向是函數值最速上升的方向，負梯度方向是函數值最速下降的方向?！?.1

多元函數的導數與梯度

x1x20X(0)▽f(X(0))-▽f(X(0))最速上升方向最速下降方向下降方向上升方向變化率為零的方向例:求函數f(X)=x12+x22-4x1+4在點[3,2]T的梯度。在點X(0)=[3,2]T處的梯度為：解：§2.1

多元函數的導數與梯度例：試求目標函數f(X)=3x12-4x1x2+x22在點X(0)=[0,1]T處的

最速下降方向，并求沿這個方向移動一個單位長度后

新點的目標函數值。函數在X(0)=[0,1]T處的最速下降方向是解：由于§2.1

多元函數的導數與梯度新點是這個方向上的單位向量是：§2.1

多元函數的導數與梯度§2.2

多元函數的泰勒展開一元函數泰勒展開:二元函數泰勒展開:§2.2

多元函數的泰勒展開二元函數泰勒展開矩陣形式:其中:稱為海賽（Hessian）矩陣§2.2

多元函數的泰勒展開n元函數泰勒展開矩陣形式:§2.3

無約束優化問題的極值條件一元函數極值條件:必要條件極小值極大值偶次階導數不為零為極值點奇次階導數不為零為拐點§2.3

無約束優化問題的極值條件二元函數極值必要條件:即:二元函數極值充分條件:海塞矩陣各階主子式均大于零?！?.3

無約束優化問題的極值條件求函數f(X)=x12+x22-4x1-2x2+5的極值解：1）根據極值的必要條件求駐點2）利用海塞矩陣判斷駐點是否為極值點§2.3

無約束優化問題的極值條件一階主子式：二階主子式：為極值點，f(X

(0))=0為極值§2.3

無約束優化問題的極值條件n元函數極值充分條件:海塞矩陣為正定。函數f(X)在X*附近的一切X均滿足不等式函數f(X)在X*處取得局部極小值，稱X*為局部極小點。而優化問題一般是要求目標函數在某一區域內的全局極小點?！?.4

凸集、凸函數與凸規劃一、凸集一個點集（或區域），如果連接其中任意兩點的線段都全部包含在該集合內，就稱該點集為凸集，否則為非凸集?！?.4

凸集、凸函數與凸規劃x1x20凸集非凸集x1x2yx2x1x1x20y凸集性質:

1)凸集乘一個實數后依然是凸集

2)兩個凸集的和依然是凸集

3)兩個凸集的交集還是凸集§2.4

凸集、凸函數與凸規劃0A2AA+BAB0AB二、凸函數x1、x2為凸集域內的任意兩點，如存在不等式：§2.4

凸集、凸函數與凸規劃稱f(x)是定義在凸集上的一個凸函數。x1x2xab0xf(x)三、凸性條件1.一階導數判斷2.二階導數（

Hessian矩陣)判斷§2.4

凸集、凸函數與凸規劃Hessian矩陣G(X)在R上處處半正定。主子式>0時矩陣正定主子式≥0時矩陣半正定主子式＜0時矩陣負定主子式≤0時矩陣半負定四、凸規劃對于約束優化問題若，都為凸函數，則此問題為凸規劃?！?.4

凸集、凸函數與凸規劃凸規劃的任何局部最優解就是全局最優解等式約束優化形式：求解消元法拉格朗日乘子法§2.5

等式約束優化極值條件1.消元法（降維法）§2.5

等式約束優化極值條件降維處理：1.消元法（降維法）§2.5

等式約束優化極值條件降維處理：方法直觀易理解，但是實際操作很困難變為無約束優化問題：2、拉格朗日乘子法（升維法）改造后優化模型：§2.5

等式約束優化極值條件原優化模型：拉格朗日函數待定系數2、拉格朗日乘子法（升維法）§2.5

等式約束優化極值條件n+l個方程n+l個未知變量例:用拉格朗日乘子法求下列問題的最優解解構造拉格朗日函數令▽L=0,得到求解得：一、一元函數在給定區間上的極值條件§2.6不等式優化極值條件引入松弛變量a1,b1，將不等式約束變成等式約束。根據拉格朗日乘子法，此問題的極值條件：§2.6不等式優化極值條件二、庫恩－塔克條件：§2.6不等式優化極值條件J代表所有起作用的約束在約束的極小值處，函數f(x)的負梯度方向一定能表示成所有起作用約束梯度的非負線性組合庫恩－塔克條件的幾何意義§2.6不等式優化極值條件Xk為最優點Xk不是最優點x1x20可行域Xk▽g1(Xk)▽g2(Xk)點Xk處的切平面-▽f(Xk)f(X)=Cg2(X)=0g1(X)=0x1x20點Xk處的切平面▽g1(Xk)▽g2(Xk)-▽f(Xk)g2(X)=0g1(X)=0f(X)=CxkK-T條件的作用：判別邊界設計點x(k)

為最優點的依據