第3章凹函數(shù)與非線(xiàn)性規(guī)劃3.1向量和子空間投影定理3.2多元函數(shù)及其導(dǎo)數(shù)3.3數(shù)學(xué)規(guī)劃模型的一般形式3.4凸集、凸函數(shù)和凸規(guī)劃3.5非線(xiàn)性規(guī)劃3.6海賽（Hessian）矩陣與二次型3.7更一般的提法及其在經(jīng)濟(jì)中的應(yīng)用3.1向量和子空間投影定理(1)n維歐氏空間：Rn

點(diǎn)（向量）：x

Rn,x=(x1,x2,…,xn)T

分量xi

R(實(shí)數(shù)集)

方向（自由向量）：d

Rn,d0d=(d1,d2,…,dn)T

表示從0指向d的方向?qū)嵱弥?，常用x+d表示從x點(diǎn)出發(fā)沿d方向移動(dòng)d長(zhǎng)度得到的點(diǎn)d0xx+(1/2)d3.1向量和子空間投影定理(2)向量運(yùn)算：x,y

Rn

n

x,y的內(nèi)積：xTy=xiyi=x1y1+x2y2+…+xnyn

i=1

x,y的距離：

‖x-y‖=[(x-y)T(x-y)](1/2)

x的長(zhǎng)度：

‖x‖=[xTx](1/2)

三角不等式：

‖x+y‖≤‖x‖＋‖y‖

點(diǎn)列的收斂：設(shè)點(diǎn)列｛x(k)｝Rn

,xRn

點(diǎn)列｛x(k)｝收斂到x，記limx(k)=x

lim‖x(k)-x‖=0limxi(k)=xi,ikkkx+yyx3.1向量和子空間投影定理(3)子空間：設(shè)

d(1),d(2),…,d(m)

Rn,d(k)

0

m

記L(d(1),d(2),…,d(m))={x=

jd(j)

jR

}

j=1為由向量d(1),d(2),…,d(m)

生成的子空間，簡(jiǎn)記為L(zhǎng)。正交子空間：設(shè)L

為Rn的子空間，其正交子空間為

L＝{xRn

xTy=0,

yL

}子空間投影定理：設(shè)L為Rn的子空間。那么

xRn，唯一xL,yL,使z=x+y,且x為問(wèn)題

min‖z-u‖s.t.uL的唯一解，最優(yōu)值為‖y‖。特別，L

＝Rn時(shí)，正交子空間L＝{0}（零空間）3.1向量和子空間投影定理規(guī)定：x,y

Rn，x≤yxi≤

yi，i

類(lèi)似規(guī)定x≥y，x=y，x<y,x>y.一個(gè)有用的定理設(shè)xRn，R，L為Rn

的線(xiàn)性子空間，

(1)若xTy≤,

yRn

且y≥

0，

則x≤0，≥

0.(2)若xTy≤,

yLRn

，

則xL，≥

0.(特別,

L＝Rn時(shí),x=0)定理的其他形式：“若xTy≤,

yRn

且y≤

0，則x≥0，≥

0.”“若xTy≥,

yRn

且y≥

0，則x≥0，≤

0.”“若xTy≥,

yRn

且y≤

0，則x≤0，≤

0.”“若xTy≥,

yLRn

，則xL，≤

0.”3.2多元函數(shù)及其導(dǎo)數(shù)(1)n元函數(shù)：f(x):Rn

R

線(xiàn)性函數(shù)：f(x)=cTx+b=cixi

+b

二次函數(shù)：f(x)=(1/2)xTQx+cTx+b=(1/2)ijaijxixj

+cixi

+b

向量值線(xiàn)性函數(shù)：F(x)=Ax+dRm其中A為mn矩陣，d為m維向量

F(x)=(f1(x),f2(x),…,fm(x))T記aiT為A的第i行向量，fi(x)=aiTx3.2多元函數(shù)及其導(dǎo)數(shù)(2)梯度（一階偏導(dǎo)數(shù)向量）：

f(x)＝(f/x1,f/x2,…,f/xn)TRn

.

線(xiàn)性函數(shù)：f(x)=cTx+b,

f(x)=c

二次函數(shù)：f(x)=(1/2)xTQx+cTx+b

f(x)=Qx+c

向量值線(xiàn)性函數(shù)：F(x)=Ax+dRmF/x=AT3.2多元函數(shù)及其導(dǎo)數(shù)(3)Hesse陣（二階偏導(dǎo)數(shù)矩陣）：

2f/x12

2f/x2x1

…2f/xnx1

2f(x)=

2f/x1x2

2f/x22

…2f/xnx2

…

…

……

2f/x1xn

2f/x2xn

…2f/xn2

線(xiàn)性函數(shù)：f(x)=cTx+b,

2f(x)=0

二次函數(shù)：f(x)=(1/2)xTQx+cTx+b,

2f(x)=Q3.2多元函數(shù)及其導(dǎo)數(shù)(4)n元函數(shù)的Taylor展開(kāi)式及中值公式：

設(shè)f(x):Rn

R

，二階可導(dǎo)。在x*的鄰域內(nèi)一階Taylor展開(kāi)式：

f(x)=f(x*)+fT(x*)(x-x*)+o‖x-x*‖二階Taylor展開(kāi)式：

f(x)=f(x*)+fT(x)(x-x*)+(1/2)(x-x*)T

2f(x*)(x-x*)+o‖x-x*‖2一階中值公式：對(duì)x,,使

f(x)=f(x*)+［f(x*+(x-x*))]T(x-x*)Lagrange余項(xiàng)：對(duì)x,,記xx*+(x-x*)

f(x)=f(x*)+fT(x)(x-x*)+(1/2)(x-x*)T

2f(x)(x-x*)3.3數(shù)學(xué)規(guī)劃模型的一般形式

maxf(x)

--------目標(biāo)函數(shù)

s.t.xS

--------約束集合，可行集其中，SRn，f:SR，xS稱(chēng)（fS)的可行解最優(yōu)解:x*S，滿(mǎn)足f(x*)≤f(x),xS。則稱(chēng)

x*為(fS)的全局最優(yōu)解(最優(yōu)解),

記g.opt.(globaloptimum),簡(jiǎn)記opt.最優(yōu)值:x*為(fS)的最優(yōu)解,則稱(chēng)f*=f(x*)

為

(fS)的最優(yōu)值(最優(yōu)目標(biāo)函數(shù)值)(fS)3.3數(shù)學(xué)規(guī)劃模型的一般形式（續(xù)）局部最優(yōu)解:x*S，x*的鄰域N(x*)，使?jié)M足

f(x*)≤f(x),xSN(x*)

。則稱(chēng)x*為(fS)的局部最優(yōu)解,記l.opt.(localoptimum)在上述定義中，當(dāng)xx*時(shí)有嚴(yán)格不等式成立，則分別稱(chēng)x*

為(fS)的嚴(yán)格全局最優(yōu)解和嚴(yán)格局部最優(yōu)解。嚴(yán)格l.opt.嚴(yán)格g.opt.l.opt.3.3數(shù)學(xué)規(guī)劃模型的一般形式（續(xù)）函數(shù)形式:

f(x),gi(x),hj(x):RnRminf(x)(fgh)s.t.gi(x)

≤0,i=1,2,…,m

hj(x)=0,j=1,2,…,l矩陣形式:minf(x)，f(x)

:RnR(fgh)s.t.g(x)

≤0,g(x):RnRm

h(x)=0,h(x):RnRl

當(dāng)f(x),gi(x),hj(x)均為線(xiàn)性函數(shù)時(shí)，稱(chēng)線(xiàn)性規(guī)劃；若其中有非線(xiàn)性函數(shù)時(shí)，稱(chēng)非線(xiàn)性規(guī)劃。3.4凸集、凸函數(shù)和凸規(guī)劃一、凸集1、凸集的概念：定義：設(shè)集合SRn，若x(1),x(2)S,[0,1]，必有

x(1)＋(1-)x(2)S，則稱(chēng)S為凸集。規(guī)定：?jiǎn)吸c(diǎn)集{x}為凸集，空集為凸集。注:x(1)＋(1-)x(2)=x(2)＋(x(1)-x(2))

是連接x(1)與x(2)的線(xiàn)段。凸集非凸集非凸集3.4凸集、凸函數(shù)和凸規(guī)劃(續(xù))一、凸集1、凸集的概念：例:證明集合S={x∣Ax=b}是凸集。其中，A為mn矩陣，b為m維向量。凸組合：設(shè)

x(1),x(2),…,x(m)

Rn,j≥

0

mm

j=1,那么稱(chēng)

jx(j)為x(1),x(2),…,x(m)的

j=1j=1凸組合。

m比較:z=

jx(j)

j=1jR

—

構(gòu)成線(xiàn)性組合——

線(xiàn)性子空間j≥0,

j>0—

構(gòu)成半正組合——

凸錐j≥0,

j=0—

構(gòu)成凸組合——

凸集3.4凸集、凸函數(shù)和凸規(guī)劃(續(xù))一、凸集1、凸集的概念：定理：S是凸集S中任意有限點(diǎn)的凸組合屬于S多胞形H(x(1),x(2),…,x(m))：由x(1),x(2),…,x(m)的所有凸組合構(gòu)成。單純形：若多胞形H(x(1),x(2),…,x(m))滿(mǎn)足，

x(2)-x(1),x(3)-x(1),…,x(m)-

x(1)

線(xiàn)性無(wú)關(guān)。多胞形單純形單純形3.4凸集、凸函數(shù)和凸規(guī)劃(續(xù))一、凸集

2、凸集的性質(zhì)：凸集的交集是凸集；（并？）凸集的內(nèi)點(diǎn)集是凸集；（逆命題是否成立？）凸集的閉包是凸集。（逆命題是否成立？）分離與支撐：凸集邊界上任意點(diǎn)存在支撐超平面兩個(gè)互相不交的凸集之間存在分離超平面支撐強(qiáng)分離分離非正常分離3.4凸集、凸函數(shù)和凸規(guī)劃(續(xù))一、凸集3、凸錐：定義：C

Rn,若xC,>0

有xC,則稱(chēng)C是以0為頂點(diǎn)的錐。如果C還是凸集，則稱(chēng)為凸錐。集合{0}、Rn是凸錐。命題：C是凸錐C中任意有限點(diǎn)的半正組合屬于S03.4凸集、凸函數(shù)和凸規(guī)劃(續(xù))二、凸函數(shù)

1、凸函數(shù)及水平集定義:設(shè)集合SRn為凸集，函數(shù)f:SR

若x(1),x(2)S,(0,1)，均有

f(x(1)＋(1-)x(2))≤f(x(1))+(1-)f(x(2))，則稱(chēng)f(x)為凸集S上的凸函數(shù)。若進(jìn)一步有上面不等式以嚴(yán)格不等式成立，則稱(chēng)f(x)為凸集S上的嚴(yán)格凸函數(shù)。當(dāng)-f(x)為凸函數(shù)（嚴(yán)格凸函數(shù)）時(shí)，則稱(chēng)f(x)為凹函數(shù)（嚴(yán)格凹函數(shù)）。嚴(yán)格凸函數(shù)凸函數(shù)嚴(yán)格凹函數(shù)3.4凸集、凸函數(shù)和凸規(guī)劃(續(xù))二、凸函數(shù)1、凸函數(shù)及水平集：定理：f(x)為凸集S上的凸函數(shù)S上任意有限點(diǎn)的凸組合的函數(shù)值不大于各點(diǎn)函數(shù)值的凸組合。思考：設(shè)f1,f2是凸函數(shù)，設(shè)1,2>0,1f1+2f2,1f1-2f2是否凸函數(shù)？f(x)=max{f1(x),f2(x)},g(x)=min{f1(x),f2(x)}是否凸函數(shù)？

3.4凸集、凸函數(shù)和凸規(guī)劃(續(xù))二、凸函數(shù)1、凸函數(shù)及水平集：定義：設(shè)集合SRn

，函數(shù)f:SR，R

，稱(chēng)S={xS∣f(x)≤

}

為f(x)

在S上的水平集。定理：設(shè)集合SRn

是凸集，函數(shù)f:SR是凸函數(shù)，則對(duì)R

，S

是凸集。注：水平集的概念相當(dāng)于在地形圖中，海拔高度不高于某一數(shù)值的區(qū)域。上述定理的逆不真?？紤]分段函數(shù)f(x)=1(x≥0)或0(x<0)，函數(shù)非凸，但任意水平集是凸集。3.4凸集、凸函數(shù)和凸規(guī)劃(續(xù))二、凸函數(shù)2、凸函數(shù)的性質(zhì)：方向?qū)?shù)：設(shè)S

Rn為非空凸集，函數(shù)f:SR，再設(shè)x*

S,d為方向，使當(dāng)

>0

充分小時(shí)有x*+d

S,

如果

lim

[f(x*+d)-f(x*)]/

存在（包括）

則稱(chēng)f(x)為在點(diǎn)沿方向的方向?qū)?shù)存在，記

f`(x*;d)=lim

[f(x*+d)-f(x*)]/

若f(x)在x*可導(dǎo)，則f`(x*;d)=[f(x*)]Td.3.4凸集、凸函數(shù)和凸規(guī)劃(續(xù))二、凸函數(shù)2、凸函數(shù)的性質(zhì)：以下設(shè)S

Rn為非空凸集，函數(shù)f:SR2）若f凸，則f在S的內(nèi)點(diǎn)集上連續(xù)；注：f在S上不一定連續(xù)。

例:f(x)＝2(當(dāng)x=1)；f(x)＝x2(當(dāng)x<1).

3）設(shè)f凸，則對(duì)任意方向方向?qū)?shù)存在。4）設(shè)S是開(kāi)集，f在S上可微，則

f凸x*S，有f(x)≥f(x*)+fT(x*)(x-x*),xS.5)設(shè)S是開(kāi)集，f在S上二次可微，則

a)

f凸xS，2f(x)半正定；

b)若xS，2f(x)正定，則f嚴(yán)格凸。3.4凸集、凸函數(shù)和凸規(guī)劃(續(xù))二、凸函數(shù)2、凸函數(shù)的性質(zhì)：例：

f(x)＝x12+2x1x2+2x22+10x1-4；

f(x)＝-3x12+x1x2-x22-2x32-2x2x3+26;

f(x)＝3x12+ax1x2+2x22-4x1+6(a=5,4.5)；3.4凸集、凸函數(shù)和凸規(guī)劃(續(xù))三、凸規(guī)劃：當(dāng)（fS）中，S為凸集，f是S上的凸函數(shù)（求min），稱(chēng)（fS）為凸規(guī)劃；對(duì)于（fgh）,f,gi為凸函數(shù)，hj為線(xiàn)性函數(shù)時(shí)，（fgh）為凸規(guī)劃。定理：設(shè)集合S

Rn為凸集，函數(shù)f:SRf(x)為凸集S上的凸函數(shù)。X*為問(wèn)題（fs）的l.opt，則X*為g.opt；又如果f是嚴(yán)格凸函數(shù)，那么X*是（fs）的唯一g.opt。3.5非線(xiàn)性規(guī)劃若目標(biāo)函數(shù)或約束條件中至少有一個(gè)是變量的非線(xiàn)性函數(shù)，稱(chēng)這類(lèi)規(guī)劃問(wèn)題為非線(xiàn)性規(guī)劃問(wèn)題（NonlinearProgramming;NP）。非線(xiàn)性規(guī)劃的系統(tǒng)研究始于上個(gè)世紀(jì)四十年代末，1951年Kuhn和Tucker提出了著名的Kuhn-Tucker條件，加上電子計(jì)算機(jī)的迅速發(fā)展，使得非線(xiàn)性規(guī)劃無(wú)論在基本理論還是實(shí)用算法都有了長(zhǎng)足的發(fā)展，使之逐漸成為運(yùn)籌學(xué)的一個(gè)非常重要的分支。特別是非線(xiàn)性規(guī)劃問(wèn)題對(duì)于目標(biāo)函數(shù)和約束條件幾乎沒(méi)有任何限制，使得非線(xiàn)性規(guī)劃越來(lái)越廣泛地應(yīng)用于經(jīng)濟(jì)管理、最優(yōu)設(shè)計(jì)等各個(gè)領(lǐng)域。一般地，非線(xiàn)性規(guī)劃（NP）問(wèn)題的數(shù)學(xué)模型可表述其中，

是歐氏空間

中的向量。

以上（NP）模型稱(chēng)為非線(xiàn)性規(guī)劃的一般形式。乘上“-1”即可將這種不等式的約束變成“”的形式。若模型的目標(biāo)函數(shù)為極大化時(shí)，則可將其負(fù)值極小化;若若某個(gè)約束條件是“”形式，則只需要將不等式兩端為3.5非線(xiàn)性規(guī)劃又因?yàn)榈仁郊s束等價(jià)于以下兩個(gè)不等式約束所以，非線(xiàn)性規(guī)劃問(wèn)題的數(shù)學(xué)模型又可寫(xiě)成3.5非線(xiàn)性規(guī)劃例1考慮非線(xiàn)性規(guī)劃問(wèn)題圖13.5非線(xiàn)性規(guī)劃目標(biāo)函數(shù)f(X)是旋轉(zhuǎn)拋物面，約束條件是一個(gè)平面和一個(gè)拋物柱面所圍部分。雖然它們的圖形都可以畫(huà)出來(lái)，但使用起來(lái)并不方便，所以常將它們表示在某一個(gè)平面上。若令f(X)=C（常數(shù)）表示相等的目標(biāo)函數(shù)值的集合。一般地它表示一條曲線(xiàn)或一張曲面，通常稱(chēng)為等值線(xiàn)或等值面。如令

f(X)為4或20，便得到兩條圓形等值線(xiàn)，如圖1。半徑越大的等值線(xiàn)，其上的點(diǎn)對(duì)應(yīng)的目標(biāo)函數(shù)值越大。由圖1可知，該問(wèn)題的可行域是拋物線(xiàn)段ABCD。3.5非線(xiàn)性規(guī)劃注1：我們令動(dòng)點(diǎn)從A點(diǎn)出發(fā)沿拋物線(xiàn)ABCD移動(dòng)，動(dòng)點(diǎn)從A點(diǎn)移動(dòng)到B時(shí)，目標(biāo)函數(shù)值減小。當(dāng)動(dòng)點(diǎn)從B點(diǎn)移動(dòng)到C點(diǎn)時(shí)，目標(biāo)函數(shù)值最大。由此可知，在可行域ABC這一范圍內(nèi)，B點(diǎn)的目標(biāo)函數(shù)值最小，即B點(diǎn)是一個(gè)極小值點(diǎn)。而當(dāng)動(dòng)點(diǎn)從C點(diǎn)移動(dòng)到D點(diǎn)時(shí)，目目標(biāo)函數(shù)值又逐漸減小，且在D點(diǎn)的目標(biāo)函數(shù)值值最小。這里，點(diǎn)B只是一部分可行域上的極小值點(diǎn)，稱(chēng)為局部極小點(diǎn)（或相對(duì)極小點(diǎn)），對(duì)應(yīng)的目標(biāo)函數(shù)值稱(chēng)為局部極小值（相對(duì)極小值）。而D點(diǎn)則是整個(gè)可行域上的極小值點(diǎn)，稱(chēng)為全局極小值點(diǎn)（最小值點(diǎn)）或絕對(duì)極小點(diǎn)，對(duì)應(yīng)的目標(biāo)函數(shù)值稱(chēng)為全局極小值（最小值）或絕對(duì)極小值。注2：約束條件自然對(duì)最優(yōu)解是有影響的。若不考慮約束條件，便是無(wú)約束問(wèn)題。它的最優(yōu)解為x1*=2,x2*=1,f(X*)=0.3.5非線(xiàn)性規(guī)劃定義1設(shè)f(X)為定義在n維歐氏空間En上的某一區(qū)域上R的n元實(shí)函數(shù)，X=(x1,x2,xn)T

。若f(X)在R上可微，令（1）則f(X)

稱(chēng)為f(X)的梯度向量，亦記作gradf。3.6海賽（Hessian）矩陣與二次型性質(zhì)1函數(shù)f(X)在某點(diǎn)X*

處的梯度f(wàn)(X)

（f(X)0）必與函數(shù)過(guò)該點(diǎn)的等值面（f(X)

=f(X*)的切平面垂直。性質(zhì)2沿梯度的方向，函數(shù)值增加得最快，即該方向上函數(shù)變化率最大，而負(fù)梯度方向則是函數(shù)值減小最快的方向。3.6海賽（Hessian）矩陣與二次型為函數(shù)f(X)在X*點(diǎn)處的梯度。若在考察的區(qū)域內(nèi)梯度是連續(xù)的，則有以下兩個(gè)性質(zhì)。特別地，稱(chēng)定義2設(shè)R是n維歐氏空間En上的某一開(kāi)集，函數(shù)f(X)在R上具有連續(xù)的二階偏導(dǎo)數(shù)，令（2）則稱(chēng)H(X)為函數(shù)f(X)的海賽矩陣（HessianMatrix）,亦記為2f(X)。3.6海賽（Hessian）矩陣與二次型注1：當(dāng)f(X)的二階混合偏導(dǎo)數(shù)連續(xù)時(shí)，二階混合偏導(dǎo)數(shù)與取導(dǎo)數(shù)的順序無(wú)關(guān)，即因而H(X)為對(duì)稱(chēng)矩陣。3.6海賽（Hessian）矩陣與二次型例如：設(shè)則梯度向量和海賽矩陣分別為：和定義3稱(chēng)n元二次齊次函數(shù)（3）為n元二次型。其中矩陣A=(aij)nn為對(duì)稱(chēng)矩陣。若A中所有元素均為實(shí)數(shù)，則該二次型為實(shí)二次型。

3.6海賽（Hessian）矩陣與二次型定義4設(shè)有實(shí)二次型f(X)=XTAX，(1)

若對(duì)任意X0，恒有f(X)<0，則稱(chēng)f(A)為負(fù)定二次型（或稱(chēng)f(X)為負(fù)定的），對(duì)應(yīng)的矩陣A為負(fù)定矩陣；

(2)若對(duì)任意X0，恒有f(X)0，則稱(chēng)f(A)為半正定的（或稱(chēng)f(X)為非負(fù)定的），對(duì)應(yīng)的矩陣A為半正定矩陣；(3)若對(duì)任意X0，恒有f(X)0，則稱(chēng)f(A)為半負(fù)定的（或稱(chēng)f(X)為非正定的），對(duì)應(yīng)的矩陣A為半負(fù)定矩陣；(4)若存在某些X0

，有f(X)>0

，又存在某些X0

，有f(X)<0

，則稱(chēng)f(X)為不定的，對(duì)應(yīng)的矩陣A為不定矩陣。3.6海賽（Hessian）矩陣與二次型注1：實(shí)二次型f(X)=XTAX為正定的充要條件是矩陣A的各階順序主子式均大于零，即注2：實(shí)二次型f(X)=XTAX

為負(fù)定的充要條件是陣A的各階順序主子式正負(fù)交替出現(xiàn)，即3.6海賽（Hessian）矩陣與二次型為正定矩陣。是正定二次型，對(duì)應(yīng)的矩陣?yán)缡秦?fù)定二次型，對(duì)應(yīng)的矩陣是負(fù)定矩陣。例如例

判定非線(xiàn)性函數(shù)的海賽矩陣H(X)的正定性。解：因?yàn)樗院Ｙ惥仃嘓(X)正定。3.6海賽（Hessian）矩陣與二次型例

判定二次型的正定性。解：因?yàn)槎涡偷木仃嚍樗訟為負(fù)定的，故二次型為負(fù)定二次型。二次型的有定性在極值判定中的應(yīng)用：顯然，（1）若f(x1,x2,,xn)為正定（半正定）二次型，所以是的極小值；3.6海賽（Hessian）矩陣與二次型是的極大值；（2）若f(x1,x2,,xn)為負(fù)定（半負(fù)定）二次型，顯然，所以二次型的有定性在極值判定中的應(yīng)用：3.6海賽（Hessian）矩陣與二次型（3）若f(x1,x2,,xn)為不定二次型，顯然不是的極值。3.6海賽（Hessian）矩陣與二次型二次型的有定性在極值判定中的應(yīng)用：3.7更一般的提法及其在經(jīng)濟(jì)中的應(yīng)用前面的各種說(shuō)法在一般的高等數(shù)學(xué)中基本都能見(jiàn)到，為了使這些理論適合更一般地情況，在很多書(shū)上會(huì)用更抽象的表述方式。因此，本課程在將通俗的提法介紹完之后，本節(jié)給各位講解一個(gè)在讀或?qū)懻撐闹休^為常見(jiàn)但卻不易看懂的表述模式。實(shí)質(zhì)上二者是一致的，希望各位能將它們聯(lián)系起來(lái)，這樣有利于對(duì)內(nèi)容的深入理解，以便于將來(lái)的應(yīng)用。3.7.1非線(xiàn)性規(guī)劃“數(shù)學(xué)規(guī)劃”或者“非線(xiàn)性規(guī)劃”（NLP)是指求解約束優(yōu)化問(wèn)題的一些方法。一般地，最基本的規(guī)劃問(wèn)題可以表示為：

max{f(x;

)；x

C()｝(P)

x也就是說(shuō)，給定某個(gè)參數(shù)，我們求解x使得f(·;

)在集合C()中取到極大值。在這個(gè)表達(dá)式中：．x=（x1，…，xn）

X

Rn稱(chēng)為決策變量(DecisionVariables)或者選擇變量(ChoiceVariables)；3.7.1非線(xiàn)性規(guī)劃一些解釋?zhuān)?）令表示所有可能的“環(huán)境”的集合，消費(fèi)者在這些環(huán)境中都可以發(fā)現(xiàn)自己，參數(shù)的一個(gè)取值表示一個(gè)環(huán)境，令X表示消費(fèi)者可以采取的行為的集合。給定的取值，消費(fèi)者會(huì)發(fā)現(xiàn)他的選擇被限制到X的某個(gè)子集C中（例如，消費(fèi)者理論中的預(yù)算集）。=(1,…,p)Rp是給定數(shù)值的參數(shù)(Parameter)向量；C()X稱(chēng)為約束集(ConstraintSet)或可行集(FeasibleSet)它是對(duì)于給定的參數(shù)所有可行的x的集合；f是實(shí)值函數(shù)f

:Rn+p

XR，通常稱(chēng)為目標(biāo)函數(shù)(ObjectiveFunction).（2）隨著參數(shù)的改變，可行集也會(huì)改變，這可以表示為約束對(duì)應(yīng)(ConstraintCorrespondence）C：

X。（3）函數(shù)f,X

R是消費(fèi)者的目標(biāo)函數(shù)f(x;)表示當(dāng)消費(fèi)者面對(duì)環(huán)境且采取行動(dòng)x時(shí)消費(fèi)者的支付。理性的消費(fèi)者會(huì)選擇一個(gè)最優(yōu)的計(jì)劃，所謂最優(yōu)計(jì)劃是指對(duì)于給定的參數(shù)值在約束集中使得目標(biāo)函數(shù)取到極大值的點(diǎn)。最優(yōu)行動(dòng)的集合稱(chēng)為決策規(guī)則（DecisionRule)或者最佳反應(yīng)對(duì)應(yīng)S()：3.7.1非線(xiàn)性規(guī)劃3.7.1非線(xiàn)性規(guī)劃S：

X，其中S()=argmax{f(x;

);xC()｝

x即S()是由(P)的最優(yōu)解x*組成的集合。若對(duì)的每個(gè)取值，(P)的解是惟一的，則這個(gè)對(duì)應(yīng)變成一個(gè)函數(shù)，記為x*=x()。最優(yōu)化的消費(fèi)者的支付通過(guò)一個(gè)（極大）值函數(shù)V給出，V：

R定義為：V()=max{f(x;

);xC()｝=f(x*;

),其中x*S()x

給定參數(shù)向量的取值，V()給出了可得到的最高支付。顯然,V()等于對(duì)于給定的目標(biāo)函數(shù)f()在最優(yōu)解x*處的函數(shù)值。在許多經(jīng)濟(jì)應(yīng)用中，我們感興趣的是比較靜態(tài)和決策規(guī)則的性質(zhì)。

：3.7.1非線(xiàn)性規(guī)劃也就是說(shuō)，我們希望知道，當(dāng)環(huán)境（他面對(duì)的價(jià)格、他的收等）變化時(shí)消費(fèi)者的行為將如何改變。arg是元素（變?cè)┑挠⑽目s寫(xiě)。

argmin就是使后面這個(gè)式子達(dá)到最小值時(shí)的x，t的取值

argmax就是使后面這個(gè)式子達(dá)到最大值時(shí)的x，t的取值S()=argmax{f(x;

);xC()｝x根據(jù)可行集的不同，我們考慮三種不同的規(guī)劃問(wèn)題：凸約束集（ConvexConstraintSet）

C是Rn中的凸集；特別的情形，沒(méi)有約束的極大化，這里我們將C看成是整個(gè)Rn，以及另一種情形，極大值需滿(mǎn)足非負(fù)的約束，即可行集就是Rn中的非負(fù)集合。拉格朗日問(wèn)題(LagrangeProblem)

約束集是由等式約束組成的集合：3.7.1非線(xiàn)性規(guī)劃庫(kù)恩-塔克問(wèn)題(Kuhn-TuckerProblem)

約束集是由一些不等式約束組成的集合：C()={xX;g(x;

)=0｝

C()={xX;g(x;

)0｝

3.7.2凸約束優(yōu)化問(wèn)題考慮問(wèn)題：其中，C是Rn中的凸集，f：RnXR是C2函數(shù)。因?yàn)槲覀兯P(guān)心的是對(duì)于給定的問(wèn)題(P.C)的解，所以在討論中可以省去參數(shù)。max{f(x);xC｝

x我們對(duì)這個(gè)問(wèn)題的特別情形很熟悉。若C=Rn,則x*是f的極大點(diǎn)的必要條件是Df(x*)=0

。但在一般情形中，關(guān)于極大點(diǎn)這個(gè)條件既不是必要的也不是充分的。在圖3.1給出了這樣的例子。圖3.1導(dǎo)數(shù)為0既不是最大點(diǎn)的必要條件也不是充分條件3.7.2凸約束優(yōu)化問(wèn)題3.7.2凸約束優(yōu)化問(wèn)題嚴(yán)格局部極大值。定理3.5

整體唯一性令x*是問(wèn)題(P.C)的最優(yōu)解，C是凸集。若f是嚴(yán)格擬凹函數(shù)，則x*是唯一的最優(yōu)解。3.7.2凸約束優(yōu)化問(wèn)題問(wèn)題7.1.12