1、河北工程大學(xué)研究生課程論文報(bào)告PAGE 共 6 頁 第 頁課程(kchng)名稱(mngchng)： 信息(xnx)經(jīng)濟(jì)學(xué)與博弈論 課程編號：SX0071F23 課程類型： 非學(xué)位課 考核方式： 考查學(xué)科專業(yè)： 管理科學(xué)與工程 年 級： 2014 級 姓 名： 學(xué) 號： 10076140185 河北工程大學(xué)2014 2015學(xué)年第2學(xué)期研究生課程論文報(bào)告課程論文評語：成 績評閱教師簽名評閱日期 年 月 日基于GA一RL的進(jìn)化博弈求解主從博弈結(jié)構(gòu)的供應(yīng)鏈協(xié)調(diào)問題摘 要:供應(yīng)鏈協(xié)調(diào)問題多數(shù)基于主從博弈結(jié)構(gòu)建模,但如果研究對象是相對復(fù)雜的供應(yīng)鏈結(jié)構(gòu),理論求解主從博弈問題就變得困難。因此從求解一對一的

2、供應(yīng)鏈協(xié)調(diào)問題開始,針對主從博弈問題的特點(diǎn),利用個(gè)體學(xué)習(xí)的進(jìn)化博弈仿真手段,設(shè)計(jì)了經(jīng)銷商利用經(jīng)驗(yàn)分布的預(yù)期隨機(jī)需求的信念更新模式與最優(yōu)反應(yīng)的決策模式,為生產(chǎn)商分別設(shè)計(jì)了基于強(qiáng)化學(xué)習(xí)的信念更新模式與基于遺傳算法搜索策略空間的決策模式,并將兩者有機(jī)結(jié)合,取得了博弈問題的均衡解并且驗(yàn)證該解與理論求解結(jié)果一致,為進(jìn)一步求解復(fù)雜問題提供了新的途徑。關(guān)鍵詞：供應(yīng)鏈協(xié)調(diào);進(jìn)化博弈論;強(qiáng)化學(xué)習(xí)(RL);遺傳算法(GA)Coordinating supply chain of Stackelberg game model based on evolutionary game with GA一RLAbstract

3、: Problems of coordinating supply chain are based on Stackelberg game model, but if research object is complex supply chain, it is difficult to find equilibrium of Stackelberg game ,so evolutionary Game theory was introduced. According to characteristics of leaders and followers in Stackelberg game

4、model, learning Meehan is designed for each Player respectively. An algorithm of reinforcement learning combined with genetic searching is proposed for leaders, and a learning model of best一reply is designed for followers(retailers).Keywords: supply chain coordination; evolutionary game theory; rein

5、forcement learning(RL);genetic algorithm(GA)1引言(ynyn)供應(yīng)鏈協(xié)調(diào)問題是研究如何訂立協(xié)調(diào)機(jī)制使分散控制的供應(yīng)鏈中個(gè)體與整體之間的目標(biāo)一致,解決供應(yīng)鏈中企業(yè)(qy)個(gè)體自身的優(yōu)化目標(biāo)與供應(yīng)鏈整體的最優(yōu)解相沖突的狀況。目前關(guān)于不同(b tn)協(xié)調(diào)機(jī)制研究可以分為以下幾類,一類是根據(jù)數(shù)量給予價(jià)格折扣,如根據(jù)經(jīng)銷商的銷售量給予目標(biāo)折扣(Sale re-bate)的問題1,根據(jù)訂貨量給予線性折扣(Quantity discount)的問題2;第二類是根據(jù)訂貨周期給予價(jià)格折扣,依據(jù)訂貨周期(order frequency)實(shí)行價(jià)格折扣的分銷系統(tǒng)協(xié)調(diào)機(jī)制3,

6、為了分散供應(yīng)商的庫存風(fēng)險(xiǎn),提供給提前定貨經(jīng)銷商價(jià)格折扣,建立單周期模型研究在需求的不確定有限情況下生產(chǎn)商制定合適的價(jià)格折扣激勵經(jīng)銷商提早訂貨4,在他的模型里生產(chǎn)商可以改變經(jīng)銷商競爭狀態(tài)(領(lǐng)導(dǎo)/跟隨);第三類是彈性的訂貨數(shù)量,如彈性訂貨經(jīng)銷商可以以全部價(jià)格退還商品,類似的回購契約5經(jīng)銷商可以一定的折扣價(jià)格退還未售出的商品。但由于數(shù)學(xué)求解的困難,上述模型多數(shù)是針對兩周期一對一的供應(yīng)鏈問題,并且很多研究也只證明了哪種形式的協(xié)調(diào)機(jī)制可以協(xié)調(diào)供應(yīng)鏈6,但協(xié)調(diào)機(jī)制的參數(shù)如何制定卻無法給出.而現(xiàn)實(shí)中的供應(yīng)鏈往往是包括多個(gè)企業(yè)的鏈狀和網(wǎng)狀結(jié)構(gòu),解決這類問題應(yīng)用數(shù)學(xué)建模與理論求解有相當(dāng)?shù)碾y度,因此本文嘗試應(yīng)用進(jìn)

7、化博弈的分析框架7。本文在對目標(biāo)數(shù)量折扣問題證明與求解的基礎(chǔ)上,通過進(jìn)化博弈的手段求解這類問題的均衡,為求解復(fù)雜的供應(yīng)鏈協(xié)調(diào)問題提供一個(gè)新的途徑。而對于進(jìn)化博弈領(lǐng)域,基本沒有對效用函數(shù)結(jié)構(gòu)復(fù)雜博弈問題的研究。因此對于個(gè)體學(xué)習(xí)的進(jìn)化博弈也是一種新的嘗試。2模型假定模型中包括一個(gè)生產(chǎn)商(上游企業(yè))和一個(gè)經(jīng)銷商(下游企業(yè)),他們都是風(fēng)險(xiǎn)中性的,面對的是報(bào)童問題(連續(xù)隨機(jī)需求的訂貨問題):經(jīng)銷商必須在隨機(jī)需求發(fā)生之前訂購一定數(shù)量的產(chǎn)品.因此模型可以理解為如下過程:生產(chǎn)商向經(jīng)銷商提出某種協(xié)調(diào)機(jī)制形式和參數(shù);假設(shè)這種協(xié)調(diào)機(jī)制被經(jīng)銷商接受,于是經(jīng)銷商在此基礎(chǔ)上提出一定數(shù)量的訂貨8。模型參數(shù)設(shè)置如下:q=經(jīng)銷

8、商的訂貨量,p=經(jīng)銷商制定的市場零售價(jià)格,D=市場需求,分布為F(),需求的期望值為, cr=經(jīng)銷商每件產(chǎn)品的邊際成本, Cs=生產(chǎn)商每件產(chǎn)品的生產(chǎn)成本, gr=經(jīng)銷商的邊際缺貨損失成本, gs=生產(chǎn)商缺貨損失成本,v=期末未售出產(chǎn)品殘值令c=cr+cs, g=gr+gs ,T=調(diào)機(jī)制(生產(chǎn)商與經(jīng)銷商之間的轉(zhuǎn)移支付) 9。定義期望銷售量:Sq=Eminq,D=q1-Fq+0qyfydy=q-0qFydy期望剩余庫存:Iq=Eq-D=q-Sq期望缺貨量：Lq=ED-q=-Sq因此經(jīng)銷商期望利潤為：Eq,T=pSq+vIq-grLq-crq-T=p-v+grSq-cr-vq-gr-T假設(shè)(jish

9、)供應(yīng)商可以保證任何可能發(fā)生的訂貨,則生產(chǎn)商的期望利潤為10： Esq,T=T-gsLq-Csq=gsSq-gs-Csq+T供應(yīng)鏈的整體利潤(lrn)就是企業(yè)的利潤之和,即： Eq=Eq,T+ESq,T=P-v+gSq-g-c-vq上述模型相當(dāng)于一種生產(chǎn)商作為領(lǐng)導(dǎo)者的主從博弈間題.博弈過程分成兩個(gè)階段,第一階段生產(chǎn)商決定決策(juc)變量一協(xié)調(diào)機(jī)制T的參數(shù);第二階段經(jīng)銷商觀測到生產(chǎn)商的決策后,確定決策變量一訂貨量q。作者已根據(jù)主從博弈的理論求解方法一逆向歸納法,從理論上求解博弈問題的均衡解為：q0,q0,qW-q0q03進(jìn)化博弈仿真求解供應(yīng)鏈協(xié)調(diào)問題供應(yīng)鏈協(xié)調(diào)問題的過程可以描述為:首先,生產(chǎn)商

10、選擇自己的行動一某種協(xié)調(diào)機(jī)制形式和參數(shù);然后,經(jīng)銷商在此基礎(chǔ)上選擇自己的行動一訂貨量:最后,經(jīng)銷商銷售產(chǎn)品,在銷售周期結(jié)束之后,實(shí)現(xiàn)了市場的需求,經(jīng)銷商與生產(chǎn)商分別獲得相應(yīng)的收益一個(gè)基本的進(jìn)化博弈模型的分析框架為:決策者在博弈重復(fù)進(jìn)行的過程中,只能觀察到部分外界環(huán)境和對手的信息,決策者 根據(jù)一定的信念更新規(guī)則對未來的收益做出預(yù)期,然后根據(jù)預(yù)期采取某種決策規(guī)則進(jìn)行決策11。因此針對供應(yīng)鏈協(xié)調(diào)問題設(shè)計(jì)進(jìn)化博弈實(shí)驗(yàn)?zāi)Ｐ偷慕Y(jié)構(gòu)為:生產(chǎn)商根據(jù)對收益或者經(jīng)銷商訂貨量的預(yù)期采取行動:對經(jīng)銷商來講,生產(chǎn)商的行動已知,經(jīng)銷商面對的是未知的隨機(jī)需求,因此在決策之前根據(jù)對需求做出一定預(yù)期,而采取相應(yīng)的訂貨量;最后根

11、據(jù)需求、經(jīng)銷商的訂貨量、生產(chǎn)商的協(xié)調(diào)機(jī)制分別產(chǎn)生的經(jīng)銷商與生產(chǎn)商的利潤;生產(chǎn)商根據(jù)歷史上經(jīng)銷商的訂貨量和自己獲得的利潤,更新對它們預(yù)期,經(jīng)銷商則根據(jù)歷史的需求信息,更新對需求的預(yù)期,通過決策規(guī)則確定下一周期的行動,進(jìn)入下一周期的博弈12。3.1經(jīng)銷商學(xué)習(xí)機(jī)制預(yù)期需求方法經(jīng)銷商在每個(gè)周期的博弈中面對的只有未知的隨機(jī)需求,這里以經(jīng)驗(yàn)分布作為對需求分布的預(yù)期.這種預(yù)期方法本質(zhì)上是決策者對某一需求量發(fā)生的概率的預(yù)期,這個(gè)概率是這個(gè)需求量在歷史上出現(xiàn)的頻率。13因此,如果在周期藝發(fā)生需求為d,那么更新需求d發(fā)生的概率Pt(d:)的預(yù)期:Ptdi=pt-1dit-1+1t, Ptdi=pt-1dit-1t

12、,ji決策規(guī)則經(jīng)銷商在知道生產(chǎn)商的行動之后,并對每一個(gè)需求量發(fā)生的概率預(yù)期為尸(司,采取最優(yōu)反應(yīng)的決策規(guī)則在離散的需求分布下,經(jīng)銷商在生產(chǎn)商給定一定的目標(biāo)數(shù)量折扣T萬時(shí),最優(yōu)訂貨量Q滿足： d=0QPdp+g-cp+g-vd=0Q-1Pd經(jīng)銷商學(xué)習(xí)(xux)機(jī)制算法形式如下：l)在博弈的開始藝t=0時(shí),初始化對于(duy)需求的預(yù)測p0di=0;2)重復(fù)(chngf)(a)按照最優(yōu)反應(yīng)決策準(zhǔn)則確定行動qt=argmaxtqr|T,Pd(b)如果在時(shí)刻t發(fā)生需求為d,。那么更新對于需求發(fā)生概率的預(yù)期為ptdi=pt-1dit-1+1t, ptdi=pt-1dit-1t, ji3.2生產(chǎn)商學(xué)習(xí)機(jī)制

13、在進(jìn)化博弈的分析中,個(gè)體的學(xué)習(xí)機(jī)制以強(qiáng)化學(xué)習(xí)為主,但傳統(tǒng)的強(qiáng)化學(xué)習(xí)通常采取貪婪策略,對于初始狀態(tài)有很強(qiáng)的依賴性,導(dǎo)致搜索廣度不足.因此,本文引入遺傳算法作為決策規(guī)則,遺傳算法中采取復(fù)制,變異與交叉的策略來搜索策略空間,其中復(fù)制保留下了優(yōu)良解的特點(diǎn),而變異和交叉策略恰恰保證了對策略空間的搜索廣度14。信念更新規(guī)則強(qiáng)化學(xué)習(xí)每一輪博弈之后。生產(chǎn)商根據(jù)自己的歷史策略與利潤,采取強(qiáng)化學(xué)習(xí)更新行動.定義生產(chǎn)商的每一個(gè)行動的傾向值函數(shù)。每個(gè)階段博弈之后,生產(chǎn)商根據(jù)歷史行動與利潤,更新每一個(gè)行動的預(yù)期收益函數(shù),得到的實(shí)際收益為:timetai=timet-1ai+1 , t ai=t-1aitimet-1ai

14、+taitimetai 對其他行動aj,jitimetaj=timet-1aj, taj=t-1aj決策規(guī)則遺傳搜索策略當(dāng)采取傳統(tǒng)的遺傳算法,利用每一輪博弈中企業(yè)得到利潤函數(shù)作為適應(yīng)值,因?yàn)橥獠康男枨笫且粋€(gè)隨機(jī)變量,企業(yè)每一周期的利潤會隨著需求而波動,因此這種適應(yīng)值會受短期利潤的干擾。因此將強(qiáng)化學(xué)習(xí)中對利潤的預(yù)期反(。,),作為遺傳算法的適應(yīng)值,并借鑒遺傳算法的種群復(fù)制、交叉、變異規(guī)則,產(chǎn)生新策略。遺傳算法需要選定一組行動作為種群,對種群中的每個(gè)行動都要計(jì)算適應(yīng)值,對于博弈問題,需要對每個(gè)行動都進(jìn)行一次博弈,這里有兩種可行的處理方法:其一為設(shè)置對應(yīng)種群個(gè)數(shù)的個(gè)體,在每一輪博弈中,每個(gè)個(gè)體與對手

15、隨機(jī)匹配,進(jìn)行博弈得到利潤,進(jìn)而計(jì)算每個(gè)個(gè)體在這一輪博弈中行動的適應(yīng)值;第二種方法是,在確定一個(gè)種群之后,重復(fù)進(jìn)行博弈,每一輪博弈中,決策者輪流采取種群中的行動,進(jìn)而得到利潤計(jì)算適應(yīng)值。當(dāng)一個(gè)種群中的所有行動都完成博弈,按照遺傳算法的規(guī)則產(chǎn)生下一代群體,繼續(xù)進(jìn)行博弈.在本文的模型中,我們選擇的是第二種處理方法,為了區(qū)別遺傳算法的遺傳代數(shù)與博弈的周期,用壇表示代數(shù).產(chǎn)生下一代種群的遺傳規(guī)則依次為:復(fù)制規(guī)則:按照輪盤賭規(guī)則將種群中個(gè)體復(fù)制到下一代種群中15； 被選擇保留下來交叉規(guī)則:因?yàn)樯a(chǎn)商的行動空間為目標(biāo)訂貨量與折扣系數(shù),交叉操作就是在復(fù)制后產(chǎn)生的種群中,以交叉概率p。隨機(jī)選取兩個(gè)個(gè)體,交換其

16、中的折扣系數(shù),即假設(shè)(jish)群體中有兩個(gè)個(gè)體,ai=TI,I, aj=Tj,j交叉(jioch)后ai=TI,I, aj=Tj,j；變異規(guī)則:以變異概率腳,隨機(jī)選擇行動空間中的行動代替種群中的個(gè)體.為了提高學(xué)習(xí)效率,保證搜索深度,采取(ciq)適應(yīng)性的交叉概率與復(fù)制概率,令pc=pc-入ctG, Pm=Pm-入mtG這里需要說明仿真的終止條件問題,由于博弈的均衡求解涉及到兩個(gè)或兩個(gè)以上個(gè)體的尋優(yōu)過程,因此判斷仿真的終止需要判斷每個(gè)個(gè)體的策略與利潤是否都收斂.本文的研究目的是在于通過個(gè)體學(xué)習(xí)的進(jìn)化博弈找到博弈問題的均衡解,因此為了考察模型的演化路徑, 16本文進(jìn)化博弈仿真實(shí)驗(yàn)中都采取以博弈周

17、期為終止條件、生產(chǎn)商學(xué)習(xí)機(jī)制算法形式如下：1）初始化:在博弈的開始t=0時(shí),初始化對于需求的預(yù)測0ai=0,timeoai=0;在博弈的開始時(shí),隨機(jī)采取行動2）（a）按照群體中的行動順序產(chǎn)生下一周期策略,進(jìn)行博弈;（b）如果周期t選擇ai行動,得到收益t ai,更新t+1 ai,更新規(guī)則如下17:（b1）若生產(chǎn)商在t周期博弈中選擇ai策略,得到的實(shí)際收益為t ai那么timetai=timet-1ai+1 , t ai=t-1aitimet-1ai+taitimetai （b2）對其他行動aj(ji): timetaj=timet-1aj, taj=t-1aj（c）如果t mod popula

18、tion_size不等于0，返回（a）；如果t mod population_size等于0，進(jìn)行復(fù)制、交叉、變異操作，產(chǎn)生下一代群體，即下一個(gè)mod population_size周期策略，返回（a）。4算例分析以某品牌的手機(jī)為例討論目標(biāo)數(shù)量折扣下的協(xié)調(diào)問題.該產(chǎn)品的生產(chǎn)成本cs=1200元,生產(chǎn)商制訂的批發(fā)價(jià)格為w=2200元,上市初期市場價(jià)格為p=3000元,某經(jīng)銷商預(yù)測市場需求為正態(tài)分布F()一N(10000,20002),經(jīng)銷商的經(jīng)銷成本為cr=300元,缺貨損失為gr=100元,生產(chǎn)商承擔(dān)的缺貨損失為gs=50元,期末的產(chǎn)品的處理價(jià)格v=1000元.在模型中定義,生成正態(tài)分布F()

19、一N(10000,20002),的隨機(jī)數(shù)d后,將其處理為INT(d/1000),1000.由正態(tài)分布的特征可以知道需求有95%的可能在10000-1.96*2000,10000+1.96*2000區(qū)間內(nèi),約6000,一4000之間, 因此經(jīng)銷商的策略空間也不會超出這個(gè)范圍,即訂貨量的范圍為:(6000,7000,8000,9000,10000,11000,12000,13000,14000).生產(chǎn)商的策略,目標(biāo)訂貨量T離散化為(6000,7000,5000,9000,10000,11000,12000,13000,14000),生產(chǎn)商給與經(jīng)銷商的折扣量,要在保證自己的利潤大于。的前提下,因此折

20、扣量占三氣產(chǎn)、0.45,因此折扣離散化為(0.05,0.1,0.15,0.2,0.25,0.3,0.35,0.4,0.45)。由逆向歸納法可求解得到在離散狀態(tài)下,生產(chǎn)商可以有效協(xié)調(diào)供應(yīng)鏈的策略集合見表1。按照第3節(jié)學(xué)習(xí)機(jī)制進(jìn)行(jnxng)仿真試驗(yàn),其中(qzhng)population_size =50,初始(ch sh)的交叉概率為pc=0.5,初始變異概率pm=0.3,入c=0.01入m=0.01。通過仿真試驗(yàn),在群體進(jìn)化第四代后找到了最優(yōu)解18。 表1離散狀態(tài)下的協(xié)調(diào)策略與利潤生產(chǎn)商策略10000，0.05（11000，0.05）12000，0.1經(jīng)銷商策略10000110001200

21、0生產(chǎn)商利潤（萬元）886977935經(jīng)銷商利潤（萬元）416358403總利潤（萬元）130213351338遺傳算法是種群間進(jìn)化,因此生產(chǎn)商找到最優(yōu)解之后,每一周期的企業(yè)行動并沒有收斂.圖2為企業(yè)利潤的每50個(gè)周期移動平均值,可以看到,在博弈進(jìn)行200個(gè)周期之后,企業(yè)的平均收益逐漸收斂.生產(chǎn)商的遺傳算法機(jī)制,可以保證種群間的利潤保持增長的趨勢.可見將遺傳算法的種群復(fù)制、交叉、變異策略引入學(xué)習(xí)機(jī)制,保證了對策略空間搜索的廣度,采用強(qiáng)化學(xué)習(xí)中對利潤的預(yù)期作為遺傳算法中的適應(yīng)值,避免了隨機(jī)因素的干擾,保證了企業(yè)對利潤的正確預(yù)期,最終得到了最優(yōu)策略,即博弈的均衡策略。5總結(jié)與展望本文針對分散控制的

22、供應(yīng)鏈協(xié)調(diào)間題,建立了該間題的仿真模型.并基于主從博弈的特點(diǎn),為處于跟隨者地位的經(jīng)銷商設(shè)計(jì)了基于經(jīng)驗(yàn)分布的需求預(yù)期方法與最優(yōu)反應(yīng)的決策規(guī)則,對處于領(lǐng)導(dǎo)者地位的生產(chǎn)商,將強(qiáng)化學(xué)習(xí)與遺傳算法結(jié)合設(shè)計(jì)了學(xué)習(xí)機(jī)制,得到博弈問題的均衡解,為進(jìn)一步研究復(fù)雜供應(yīng)鏈協(xié)調(diào)問題提出一種新的思路.但有一些問題仍需要進(jìn)一步研究:首先,個(gè)體的學(xué)習(xí)機(jī)制設(shè)計(jì)需要針對具體問題的特點(diǎn)靈活設(shè)計(jì),要加強(qiáng)借鑒啟發(fā)式優(yōu)化算法與人工智能技術(shù);第二,供應(yīng)鏈協(xié)調(diào)問題的研究不僅要擴(kuò)展至復(fù)雜供應(yīng)鏈結(jié)構(gòu)還需要涉及到企業(yè)的方方面面,比如,質(zhì)量、促銷手段、信息管理等等;第三,企業(yè)決策者的風(fēng)險(xiǎn)偏好不同,如何激勵不同風(fēng)險(xiǎn)偏好下的企業(yè)采取協(xié)調(diào)供應(yīng)鏈的策略,并且企業(yè)的偏好會隨著經(jīng)驗(yàn)而改變,這種變化如何描述,對供應(yīng)鏈企業(yè)之間關(guān)系如何影響,也將是一個(gè)值得關(guān)注的問題。【參考文獻(xiàn)】1張克勇. 閉環(huán)供應(yīng)鏈系統(tǒng)定價(jià)與契約協(xié)調(diào)研究D.西南交通大學(xué),2011.13-252吳忠和. 基于擾動情形的供應(yīng)鏈應(yīng)急協(xié)調(diào)研究D.電子科技大學(xué),2013.56-673崔愛平. 基于供應(yīng)鏈契約的物流服