1、財政支出項目績效評價操作指南（試行）海南省財政廳2010 年 8 月引言目錄表20圖圖 2-1 項目邏輯模型6.專欄1引言1.1 背景2009年6月22日，財政部發布了財政支出績效評價管理暫行辦法（財預 200976號）（以下簡稱辦法）。財政支出績效評價自此有了統一的部門規章。辦法對績效評價的實施和管理提出了明確要求， 對績效評價涉及的各方職責、 評價內容、評價指標的確定、評價方法、實施程序、報告撰寫和評價結果應用作 出了原則性的規定。辦法同時指出，各地可據此辦法制定切合本地實際 的管理辦法和實施細則。為此，海南省財政廳參照財政部國際金融組織貸款項目績效評價操作指南 并在開展績效評價試點的基礎

2、上，組織編寫了財政支出項目績效評價操作指南（以下簡稱指南），用以指導全省各級政府部門開展績效評價工作。1.2 目的本指南旨在向全省各級政府部門和評價人員開展財政支出項目績效評價（簡稱績效評價1）,提供具體操作指導，從而幫助他們更好地理解、管理和實施評價活動，并提高評價的規范性和質量。本指南有3個主要目的：幫助各級政府部門管理人員、 項目實施人員和評價人員更好地理解并掌 握財政支出項目績效評價的基本概念、 一般準則、方法及其他相關知識； 幫助各級政府部門有效地開展績效評價管理工作，并對績效評價進行質量控制；指導評價人員規范地實施績效評價任務，從而提高績效評價的質量。以下如無特殊說明，績效評價均指

3、的是財政支出項目績效評價。此外，本指南還可以作為各級政府部門建立適合本地、本部門實際的績 效目標管理系統的重要參考1.3內容本指南包括9章內容。第1章是引言，主要說明指南編寫的背景、目的、內容及其使用。第2章是績效評價的基本概念，主要介紹本指南涉及的定義、評價原則、準則、評價步驟等。第 3、4章是績效評價管理，主要闡述評價任務的組織和評價任務大綱的設計與編寫。 第5-7章是績效評價的設計與實施，重點介紹績效評價的設計、實施和評價報告編寫。第 8章是評價結果的使用 與擴散，介紹如何使用評價結果，如何進行評價結果的擴散。第 9章是績效評價 的質量控制。質量控制對于績效評價非常關鍵， 是評價管理者重

4、要工作之一。質 量控制貫穿于績效評價從設計、實施到撰寫報告的全過程。圖1-1財政支出項目績效評價操作指南框架0質量控制 第9章質量控制 第9章本評推演計的內 （設計階段）2 項目績效評價的基本概念1.1 績效評價的定義績效評價的定義是開展項目績效評價相關各方相互溝通和理解的一個基礎。本指南所稱的績效評級，是指財政部門和預算部門（單位）根據設定的績效目標，運用科學、合理的評價方法、指標體系和評價標準，對財政支出產出和效果進行客觀、公正的評價。1.2 績效評價的原則客觀、公正原則。應當依據績效評價準則、關鍵評價問題等開展評價活動，確保評價結果的真實性?？茖W、規范原則?？冃гu價的設計應當具有科學性和

5、可操作性，評價的實施應該遵循規范的程序和方法?？煽啃栽瓌t?？冃гu價應該既要報告項目成功的方面，也要報告項目失敗的方面。目標導向原則。績效評價以項目目標為導向，重點評價項目目標的相關性、目標實現程度、相對于目標實現程度的效率、以及項目成效的可持續性。參與性原則。項目各利益相關者，包括項目管理方、項目實施單位、項目受益群體、有關專家等，要盡可能地以適當方式參與到考評過程中來。1.3 項目的邏輯模型財政支出項目的設計都應使用邏輯模型。項目邏輯模型是一種理解從投入到結果之間的因果關系的有效工具。項目邏輯模型包括投入、活動、產出、成效、影響5個關鍵要素。其背后的邏輯是：對一個項目投入一定的資源，以便其

6、開展必要的活動；至少有一些活動會獲得一些產出，比如產品和服務；通過使用 這些產出應該會帶來某種變化。投入（Inputs ）:指用于項目實施的各種資源，包括人力、資金、實物、時 問和專業技能等資源。活動（Activities ）:我們所做的。指為實現項目目標而調動和使用各種資 源的各項行動和工作，活動可以使用動詞來表述（開展、建設、培訓、調研等）。產出（Outputs ）:我們所生產的。指通過實施各項活動而產生的產品和服務， 是有形的，可計算的。比如為50個人提供了醫療服務，培訓了 100名小學教師， 修建了 100公里公路。成效（Outcome :我們為何做。指通過使用項目的產出而帶來的短期或

7、中 期的直接效果，成效能夠被增加、減少、增強、改善或維持。比如新修公路使通 行時間縮短，提高了運輸效率。設定清晰的成效對于設計和構建結果導向的監測 與評價體系至關重要，成效不能直接考核，它必須轉化為一組關鍵指標，這些指 標能夠提供關于成效是否得以實現的信息。影響（Impacts ）：指由成效累積導致的長期的或全面的變化， 類似于戰略目 標。比如運輸效率提高降低了運輸成本（成效），從而促進了當地經濟的發展（影 響）。圖2-1以某培訓項目為例，解釋項目邏輯模型。圖2-1項目邏輯模型一一以某培訓項目為例1.資金1.培訓11.服務時數1.技能提升1.培訓者在5年2.人員2.教育2.完成課程2.態度改變

8、內比那些沒有接3.物料供應3.咨詢服務的參加者人3.新的就業受培訓的人掙得數機會更多2.接受培訓的人的生活水平高于1.4 績效評價的準則本指南采用以下4 個評價準則，即相關性、效率、效果和可持續性。1.4.1 相關性相關性是指項目目標與政府的發展政策和優先重點、部門/行業發展規劃以及受益群體的需求的相符程度。通過對相關性的評價，可以檢查項目設計和項目實施是否針對當地的實際需求，解決當地的實際問題。1.4.2 效率效率是指資源/投入轉化為結果的經濟性。效率評價的內容包括項目實施的時間效率、資金使用、在使用既定資源下的產出情況、項目的經濟內部收益率（ EIRR） 。項目實施的時間效率考察項目是否按

9、計劃的時間開工、是否在計劃實施周期內完工。 資金使用考察項目資金的使用是否按照預算執行。在使用既定資源下的產出情況是指項目是否實現了所有的預計產出。項目經濟內部收益率是指項目周期內經濟凈現值累計等于零的折現率，是反映項目對國民經濟和社會貢獻的相對指標。1.4.3 效果效果是指項目目標的實現程度，它也表現為目標群體的受益情況。效果從項目目標實現程度和項目瞄準度兩方面進行評價。項目目標是在項目設計時的預計成效， 指通過一系列項目活動而要實現的結果，通常表現為對社會、經濟、 社區、目標人群所產生的積極作用。項目瞄準度是指考察項目成果是否真正地被目標群體享有。 也就是說，項目效果的評價不僅取決于項目實

10、現預期目標的程度，也要考察其成果（一般表現為項目提供的產品或服務）是否使目標人群受益。1.4.4 可持續性可持續性是指項目完工后持續運行和發揮成效的可能性。它針對保障項目持續運行并發揮成效的各方面因素進行評價，這些因素包括項目管理或運行機構的持續性、項目產出的維護和利用、制度保障等。此外，由于財政部門對項目還款十分關注，可持續性還對項目還款能力進行評價。1.5 績效評價的步驟績效評價一般包括以下幾個步驟，每個步驟的詳細內容和做法將在以后各章進行闡述。第 1 步：前期準備前期準備包括確定績效評價任務和評價組織實施模式（見第3 章） 、編制評價任務大綱（見第4 章）等。第 2 步：評價設計根據評價

11、任務大綱設計詳細的評價實施方案，包括開發績效評價框架、選擇證據收集方法、設計面訪、座談會和實地調研等的問題清單、進行人員、時間和經費安排等（見第5 章） 。第 3 步：評價實施按照設計的方案開展績效評價，包括證據收集整理、證據分析、形成評價結論、經驗教訓和建議等（見第6 章） 。第 4 步：報告評價結果按照本 指南附件3 的格式編寫績效評價報告，在此過程中要與利益相關者進行溝通，并將他們的觀點和意見吸收到評價報告中來（見第7 章） 。第 5 步：評價結果使用和擴散項目管理部門利用評價結果，用于解決問題、改進管理或為決策提供依據。財政部門將評價結果與以后年度的預算安排進行掛鉤（見第8 章） 。3

12、 評價任務的組織具體評價任務由財政部門以文件形式下達的年度評價計劃確定。3.1 評價任務的組織模式評價任務可以由管理部門（各級財政部門和預算部門）組織實施，也可根據需要委托外部專業機構或專家進行，并與其簽訂委托合同。無論采取哪種方式，管理部門都應指派一名評價管理者，并要組建合格的評價小組實施績效評價。3.2 評價管理者的職責評價管理者應為熟悉被評項目的管理人員，應履行以下職責：編寫績效評價任務大綱；與評價小組進行充分溝通，使其完全理解評價任務大綱的每一項內容；為評價活動提供必要的支持和及時的反饋；監督評價活動的進展并進行質量控制；對評價活動中出現的情況及時做出決策；如委托合同需要變更，應與評價

13、小組進行協商；檢查評價報告初稿是否符合合同和指南的要求；對評價報告初稿提出反饋意見；確保各利益相關者有機會對評價報告初稿提出意見和建議，并保證這些意見和建議反映在評價報告終稿中；促進評價結果的使用和擴散。3.3 績效評價小組3.3.1 評價小組應具備的知識和技能不管是管理部門自己評價，還是委托外部專業機構或專家評價，都需要成立績效評價小組。評價小組是進行績效評價的設計、實施和報告編寫的團隊。評價小組對于績效評價尤為重要。它是評價任務能否成功實施的關鍵因素。雖然績效評價需要的知識和技能因不同項目而異，但以下列出的知識和專業技能是評價小組必須具備的：績效評價知識和技能：這是一種綜合的能力，包括績效

14、評價理論知識、方法和其他技能，如經濟分析、統計分析、社會調查等。溝通能力：溝通能力十分重要，它有利于與利益相關者進行友好溝通，促進利益相關者參與績效評價并提供必要協助，并向不同用戶有效地報告評價結果。組織協調能力：組織協調能力是保證績效評價順利實施的關鍵，包括組織和調動各種資源、協調評價中不同任務的進展、控制評價任務在規定的時間內完成。行業知識：評價小組要熟悉項目所在的行業背景、發展狀況、相關政策、專業知識等。了解當地情況：因為項目實施的成功與否有時取決于當地因素，所以了解當地社會和文化背景很重要。評價小組還需要了解當地的發展政策、優先重點、以及面臨的主要發展問題。如果項目的目標群體還涉及少數

15、民族，還應該了解并尊重他們的生活習俗，以便更好地與他們進行溝通。3.3.2 評價小組的構成評價小組由若干名評價人員組成。評價小組成員不得與項目管理、實施、 運行等有利益沖突。并不要求評價小組的每名成員都具備上述知識和能力，允許評價人員各具專長，通過互相補充、互相學習而使整個評價小組具備上述知識和技能，從而勝任評價任務。評價小組必須指定一名評價組長。組長應該具備以下條件：具有較為深厚的績效評價知識和技能；熟悉被評項目所在領域的相關政策、技術、管理等知識；具有較強責任心。評價組長應履行以下職責：負責與管理部門溝通；督促并協調評價小組成員的工作并管理日常工作；在評價小組出現不同意見時充當協調人；確保

16、評價小組按照評價任務大綱實施評價； 編寫評價報告并負責報告最終定稿。4 編制評價任務大綱評價任務大綱(Terms of Reference TOR)是一個書面文件，它載明評價的目的和范圍、評價使用的方法、績效評價或分析針對的標準、需要的資源、時間安排和評價報告要求。每個項目績效評價都必須編寫一個評價任務大綱。4.1 功能評價任務大綱體現了管理部門對績效評價的要求，是從評價任務組織到評價結果使用與擴散的整個評價活動必須遵循的核心文件。評價任務大綱對于績效評價至關重要，主要發揮以下4 個方面的作用：將年度評價計劃中的任務轉化成可操作的評價工作；為評價小組進行具體評價設計和實施提供基礎；為各利益相關

17、方對評價任務形成共識提供基礎；為評價管理者進行績效評價質量控制、核查評價小組任務完成情況提供依據。4.2 編寫步驟評價任務大綱由評價管理者根據確定的評價任務進行編寫，編寫評價任務大綱一般包括4 個步驟：前期準備、起草評價任務大綱初稿、與利益相關者溝通、形成最終評價任務大綱。4.2.1 前期準備編寫之前要對項目進行必要的研究和分析，要明確評價目的，熟悉項目目標、特點、 實施和完成情況，了解項目實施的社會經濟背景，掌握項目現有數據信息情況。4.2.2 起草評價任務大綱初稿在前期準備和估算用于評價的資源（包括經費、人員和時間）等基礎上，編寫評價任務大綱初稿。4.2.3 與利益相關者溝通評價任務大綱初

18、稿要與項目主管部門、項目實施及運行機構、行業專家等主要利益相關者進行溝通，聽取他們的意見和建議。4.2.4 形成最終評價任務大綱在考慮利益相關者的建議和意見基礎上，修訂完善評價任務大綱初稿，形成最終評價任務大綱。4.3 內容高質量的評價任務大綱應該包括以下幾部分內容：評價目的、項目描述、評價范圍、涉及的利益相關者、關鍵評價問題、方法、預期成果、評價小組、實施計劃、費用與支付、管理部門責任等。4.3.1 評價目的評價任務大綱的第一部分要明確評價目的。評價目的要具體寫明為什么要開展此項評價，評價結果將如何使用，以及由誰使用。4.3.2 項目描述對項目背景、項目目標、項目投入與活動、實施情況等方面進

19、行簡要描述，以便評價人員能夠迅速了解項目基本情況項目背景：項目實施的國家層面和地方層面的社會經濟發展狀況，項目所屬的領域，所要解決的主要問題，如基本醫療衛生服務不足問題、城市交通發展瓶頸問題、環境污染問題等。項目目標：項目的預期產出和成效，如果項目設定了具體目標，還應描述其具體目標。項目投入與活動：項目投入金額和構成，為了實現項目目標而設置的項目組成（Component及其開展的活動（Activities）。實施情況：項目的實施周期（從開工到完工）， 實施地點，實施組織情況。4.3.3 評價范圍評價范圍確定了績效評價的廣度和深度，包括時間范圍、地域范圍和收益群體范圍。評價范圍往往與評價目的有關

20、。4.3.4 涉及的利益相關者項目往往涉及多個利益相關者，包括管理部門、項目實施機構、項目運行機構、目標群體、社區等。要說明希望他們參與績效評價的形式。上述描述是為了使評價人員了解項目的利益相關者，并盡可能從他們那里收集到績效評價的有用信息。4.3.5 關鍵評價問題這部分要列出績效評價想要回答的關鍵問題。關鍵評價問題是針對評價目的，在評價準則基礎上進行開發的。本指南列出了12 個必須回答的關鍵評價問題（見第5.2.1節） 。管理部門根據需要，可以突出其中若干個問題，或補充其他問題4.3.6 方法描述證據收集可能用到的方法，比如案卷研究、面訪、實地調研、問卷調查、 座談會等。不同方法的成本不同，

21、在選擇使用何種方法時要考慮績效評價的預算。具體方法由評價小組進行開發。4.3.7 預期成果通過績效評價管理部門想要獲得的成果， 如績效評價報告、評價進展報告及 其提交時間。如果評價成果要用于擴散（如研討會），那么這部分還要描述評價 人員在成果擴散中應發揮哪些作用。4.3.8 評價小組這部分要描述評價小組所需要的知識、能力和經驗，以及其他相關能力，如語言能力；還要描述建議的評價小組人數。4.3.9 實施計劃這部分說明評價任務將要開展的活動及時間安排，尤其是評價成果的提交時問節點。這里主要列出評價任務實施的關鍵時間節點和任務負責人，詳細的實施計劃由評價小組開發。實施計劃模板（見表4-1）。表4-1

22、評價任務大綱評價任務實施計劃模板序號活動描述時間安排負責人1簽訂任務合同XX年XX月XX管理部門、評價小組2開發績效評價框架XX年XX月評價小組3形成評價方案XX 年 XX-XX 月評價小組4評價實施XX 年 XX-XX 月評價小組5提交報告初稿XX年XX月評價小組6利益相關者反饋XX年XX月XX管理部門及其他利益相關者7評價報告終稿XX年XX月評價小組注：如果由財政部門自己開展績效評價，這個步驟則省略。費用與支付這部分說明評價任務的預算費用和支付方式。管理部門責任評價任務大綱要寫明管理部門在績效評價中的責任， 包括管理部門要提供相 關項目文檔，為評價小組提供必要的協調，參與績效評價實施過程中

23、的某些活動， 如實地調研、座談會和討論，對績效評價進行質量控制等。由于評價任務大綱對績效評價的成功實施至關重要，因此在公布最終評價任 務大綱之前，管理部門要對其質量進行檢查（見專欄 4-1）。專欄4-1高質量評價任務大綱的核查問題清單為什么要開展此項評價？評價涉及了哪些利益相關者？所提出的評價問題是否明確？是否所有問題都能被回答？評價任務大綱是否提出了關于評價方法或評價程序的硬性要求？這些要求是否合理？是否有足夠的資源和時間來完成評價任務？在評價實施過程中，管理部門和其他利益相關者將為評價小組提供哪些必要支持? 管理部門對于評價報告的要求是否清晰？評價小組能否根據評價任務大綱深化評價設計和實施

24、評價任務？評價任務大綱格式見附件1。5績效評價設計僅僅有高質量的評價任務大綱還不能保證績效評價的成功實施。因為評價任務大綱由評價管理者負責設計，主要對績效評價的關鍵要素進行說明， 是績效評 價實施的綱領性文件。但是，績效評價任務由評價小組負責具體實施， 這就要求 評價小組要在對評價任務理解的基礎上， 將評價任務大綱轉化為可操作的實施方 案，這才能保證績效評價的成功實施。 因此，績效評價的設計要基于評價任務大 綱，并主要滿足評價任務大綱的要求?？冃гu價設計的主要產出就是績效評價框 架和績效評價實施方案。績效評價設計流程見圖 5-1。在績效評價設計的每 個步驟中，評價小組都要與管理部門進行溝通。圖

25、前期準備熟悉項目文件與管理部門溝通理解評價任務大綱內容完成項目基礎信息表5-1績效評價設計流程開發評價指標 選擇證據收集方法 形成績效評價框架開發績效評價f 完成評價實施方） 評價任務分解評價小組分工 實施時間安排 設計面訪、座談會、 實地調研問題清 單、調查問卷等 形成評價實施方案5.1 前期準備前期準備包括盡量收集并熟悉現有的項目文件， 與管理部門（或委托方）進行溝通，了解他們的意圖并理解評價任務大綱的內容。 前期準備要查閱的項目文件包括項目立項文件、項目實施計劃、項目進展報告、項目中期檢查報告、項目 完工報告、項目工作總結等。前期準備要形成績效評價過程文件之一 項目基礎 信息表（見表5-

26、1）表5-1項目基礎信息表一、項目概況項目名稱項目類型根據項目預算管理辦法對項目的分類填寫投資金額其中：中央財政省級財政地方配套金額以人民幣為單位實施周期按項目完工se告中實施周期填寫實施地點按XX省XX市XX縣的格式填寫項目發展目標按項目立項文件中的目標填寫， 若項目目標 經過調整且經過財政部門同意， 還應填寫調 整后的目標項目組成按項目立項文件中的項目組成簡要填寫項目實施單位二、項目背景重點從以下幾方面描述項目的背景，但不限于這幾點，注意提取關鍵數據和事實：- 項目的提出針對國家社會經濟發展的哪些特定需求？（例如：與相關戰略、政策或具他重大項目的關系等）- 項目的提出針對所在行業的哪些關鍵

27、問題？（例如：解決空白問題、瓶頸問題、還是在現有條件下改進提高）- 確定項目的具體內容以及選擇項目實施地點的理由，或有哪些考慮？（例如：該地區最貧困，或具備實施條件，或估計影響較大等）三、項目目標和活動內容分別簡述每一個項目組成部分的目標、投入、產出和實施地點。5.2 開發績效評價框架績效評價框架是開展績效評價的核心。 績效評價框架包括評價準則、關鍵評價問題、評價指標、證據、證據來源、證據收集方法等（見表5-2）。表5-2績效評價框架結構評價準則關鍵評價問題評價指標證據證據來源證據收集方法相關性效率效果可持續性績效評價框架中的術語解釋如下：評價準則：即第2章第2.3節提到的相關性、效率、效果和

28、可持續性 4個評價準則。關鍵評價問題：用來將績效評價聚焦于若干有限的關鍵方面，進而分析和評判準則的工具，一個評價準則下可以有多個關鍵問題。評價指標：定量或定性的因素或變量，是用來衡量成果、反映變化的手段；這里，評價指標是用來回答關鍵問題的一種工具，一個關鍵問題下可能有多個評價指標。證據：用來對評價指標進行評判的各種信息，包括項目數據、事實、利益相關者觀點等。證據來源：說明證據的出處，以便評價人員能夠收集到所要的證據。證據收集方法：績效評價中用于收集各種證據的手段，如案卷研究、實地調研、面訪、問卷調查等。本指南的宗旨是既要為評價人員提供操作性的指導， 又要發揮評價人員 的積極性和專業技能，根據不

29、同項目特點開發合適的評價框架?；谶@種考慮，指南根據4個評價準則設計出12個關鍵評價問題。這12個關鍵評價問題是 每個項目績效評價的共性問題，而評價指標留待評價人員根據不同項目具體開 發。這樣，統一的關鍵評價問題保證了不同評價都涉及了共同的關鍵績效內容， 而個性的評價指標則體現了不同項目的特點。如果管理部門還提出了其他的關鍵評價問題， 評價小組可以根據問題的性質 歸入評價準則當中；如果不能歸入，可以放在評價報告第4章需要說明的事項中 進行說明。以下按照圖5-2的流程一步一步介紹如何開發績效評價框架。圖5-2設計階段績效評價框架開發流程5.2.1關鍵評價問題本指南針對每個評價準則共設計出 12個

30、關鍵評價問題，具體如下：相關性相關性包括2個關鍵評價問題：問題1.1:在評價之時，項目是否符合政府的發展規劃、優先發展重點？問題12項目是否針對某一實際問題和需求？問題1.1是評價項目的政策相關性。即項目與當前國家、行業發展戰略、優先重點的相符程度。問題1.2是評價項目與面臨的問題和需求的相關性。它考察兩方面內容。首先，在設計之時項目活動是否針對當時的實際問題。比如某農業發 展項目，當時當地農業發展面臨的主要問題是農業用水嚴重缺乏（水源性 缺水）需要引水灌溉，那么要評價這個項目設計的活動（比如建設水渠和 水庫）是否針對了上述問題。其次，在進行績效評價之時，項目完工后提 供的產出是否能夠滿足當前

31、的需求。仍然以上述項目為例，如果當地農業 灌溉問題已經由水源性缺水變成水質性缺水（即引過來的水嚴重污染而無 法用于灌溉），那么項目建設的水渠和水庫仍然無法滿足當地農業用水需 求。這說明項目與當前當地的問題相關性不強。效率效率包括4個關鍵評價問題：問題2.1:項目是否按照計劃的資金預算實施？問題22項目是否按照計劃的時間周期實施并完工？問題2.3:項目是否實現了所有的預期產出？問題2.4:項目完工后是否達到預期的經濟內部收益率？問題2.1是評價項目的資金使用情況。它考察項目資金是否按照預算 使用，使用是否節約。對于完工項目，實際投入以項目完工報告中的為準； 對于正在實施的項目，實際投入以項目年度

32、進展報告中的為準。問題2.2是評價項目實施的時間效率。它考察兩方面內容，一是項目是否按預期的開工時間開工，二是項目是否在計劃的時間周期內完工。項目的預計開工時間和預計實施周期以項目評估文件/設計文件或項目實施計劃中的時間為準，實際時間以項目完工報告中的為準。問題2.3評價項目產出的實現情況。一般項目會分成若干個組成部分，每個組成部分包括一些具體活動。通過實施這些活動，才能保證項目實現預期產出（如產品、服務、設施等），而通過產出的使用，實現預期目標。這里要評價項目是否按質按量實現了所有預期產出。問題2.4考察項目的經濟內部收益率。該問題并非對所有項目都適用。如果項目評估文件或項目完工報告中寫明經

33、濟內部收益率對該項目不適用，那么績效評價就不對其進行評價。效果效果包括2個關鍵評價問題：問題3.1:項目是否實現了預期目標？問題32項目的實際受益者是否是項目的目標受益群體？問題3.1是評價效果最核心的內容。如果項目目標經過修改并且獲得財政部 門的批準，則應采用修改后的目標。問題3.2是評價項目瞄準度問題，只有項目的實際受益群體是項目計劃的目 標受益群體，項目的效果才能充分體現出來，也才能說項目實施是成功的?？沙掷m性可持續性包括4個關鍵評價問題：問題4.1:項目的管理和/或運行機構的設置、人力資源、技術能否滿足項目持續運行的需要？問題4.2:項目的產出能否得到持續地提供、維護和利用？問題4.3

34、:項目運行所依賴的政策、制度能否得到持續地實施？問題4.4:項目財務是否可持續？問題4.1考察的是項目完工后，項目的管理機構和/或運行機構能否保證項 目的持續運行問題4.2中的產出是指通過項目實施獲得的基礎設施、設備、教室、醫院等 實物產出，以及培訓、服務、技術支持等軟產出。這個問題考察的是項目產出能 否持續地提供、維護和利用，以保障項目持續發揮作用。問題4.3是考察制度或政策對項目持續性的保障程度，比如用水制度對水資源保護和利用項目十分重要，如果用水制度沒有得到持續地執行， 那么項目的效 果也就無法持續。問題4.4是考察項目投入運行后的收支情況或經費保障情況。上述12個關鍵評價問題是針對一個

35、完工項目而設計的；而對于正在實施的項目有些問題不適用。當然，對正在實施項目的評價，評價小組也可以對其中一 些問題進行預測性回答，并說明預測的理由，以提醒管理者注意，采取必要措施 保證項目的成功實施。表5-3列出了所有關鍵評價問題，并說明其適用的項目類型。表5-3關鍵評價問題的適用性關鍵評價問題適用的項目完工 項目正在實 施項目相關性1.1 在評價之時，項目是否符合政府的發展規劃、優先發 展重點？1.2 項目是否針對某一實際問題和需求?VVVV效率2.1 項目是否按照計劃的資金預算實施？2.2 項目是否按照計劃的時間周期實施并完工？2.3 項目是否實現了所有的預期產出？2.4 項目完工后是否達到

36、預期的經濟內部收益率？VVV*V*效果3.1 項目是否實現了預期目標？3.2 項目的實際受益者是否項目的目標受益群體？VV*可持續性4.1 項目的管理和/或運行機構的設置、人力資源、技術能 否滿足項目持續運行的需要？4.2 項目的產出能否得到持續地提供、維護和利用？4.3 項目運行所依賴的政策、制度能否得到持續地實施？4.4 項目財務是否可持續？注：帶的問題對完工項目和正在實施的項目都適合，帶“ *”的問題表示對于正在實施的項目可以通 過現有的事實和利益相關者的觀點進行預測評價，帶“ * ”的問題表示如果項目設計之時對經濟內部收益 率沒有計算，則對該項目不適用。5.2.2開發評價指標評價指標是

37、針對關鍵評價問題而開發的，評價指標是回答關鍵評價問題的工 具。二者的關系如下：（1）有的關鍵評價問題包含了多項評價內容，需要用不同 的指標加以區分，所以有的關鍵評價問題會包含若干個評價指標；（2）通過指標 收集回答關鍵評價問題的相關證據， 避免收集過多的無關證據；（3）通過指標可 以體現具體項目的特點；（4）通過指標能夠直觀地對關鍵評價問題進行分析，從 而得出關鍵評價問題的評價結果。評價指標的開發至關重要，它影響到其后證據及其來源的確定、證據收集方 法的選擇和評價分析等活動。專欄5-1列出了評價指標開發要遵循的原則。如果 評價指標沒有滿足這些原則，將會影響到績效評價的質量，進而評價結果的應用

38、也將大打折扣。專欄5-1開發評價指標的原則開發評價指標的SMART原則：具體的（Specific）:指標定義清晰，不產生歧義；可衡量的（Measurable：有確定的評價基準對其進行衡量和分析；可實現的（Achievable）:在現實條件下可以收集到相關證據；相關的（Relevant：指標與對應的關鍵評價問題要相關，能夠為管理提供有用的信息；時限的（Time-bound）:具有確定的時間范圍。下面以遼寧城市交通項目（見專欄 5-2）為例介紹評價指標的開發。在本征求意見稿中使用的案例，將隨著研究和試點評價的深入開展而進行完善?？紤]到指南的權威 性和指導性，最終的指南可能會對案例進行修改，甚至采用

39、新的更加完善和適合的案例。此處僅僅為 開發評價指標提供示例。專欄5-2遼寧城市交通項目簡介遼寧城市交通項目的發展目標是提高城市交通系統的生產力，促進遼寧省沈陽市、撫順市和鞍山市的經濟和社會發展。具體目標包括：（1）通過擴展高等級道路設施、改善次干道和鐵路交叉口、打通斷頭路和道路拓寬，來改善道路基礎設施瓶頸路段；（2）通過建設公交走廊和乘客設施、引進先進公交維護設備，提高公交服務的效率和效果；（3）通過開發先進的、可持續的路面管理系統，改進道路維修養護的投資狀況；（4）通過制定機動車尾氣排放控制策略（MVECS）,持續改善項目的投資環境；（5）通過交通示范項目的渠化、修建非機動車設施、設置信號和

40、其他交通管理措施，改善道路系統的運營效率和安全性；（6）通過考察、技術援助和有針對性的培訓，加強城市交通系統管理能力。項目從1999年12月28日開始生效，于2005年12月31日結束。項目總投入33795萬美元，其中世行實際貸款金額 14760萬美元。項目包括4個分項目（component）:沈陽分項目、撫順分項目、鞍山分項目和技術援助（TA）分項目。沈陽、撫順、鞍山分項目都包含公共交通、交通管理、道路基礎設計和道路養護 4個分子項目（subcomponent）。具體資金使用如F表所不。項目實際使用經費統計表單位：百萬美元分項沈陽鞍山撫順小計公共交通2.318.001.9812.29交通管理

41、18.035.515.9729.51道路基礎設施33.2197.9264.12195.25道路維修養護49.6324.0621.7295.41技術援助1.571.171.253.99先征費0.650.450.401.50合計105.40137.1195.44337.95注：截止到2005年12月的項目經費實際使用情況數據來源：項目完工報告相關性開發相關性的評價指標之前，要檢查項目目標是否經過修改，修改后的目標 是否得到批準。如果項目目標經過修改且獲得批準， 那么應以修改后的項目目標 來開發評價指標。表5-4相關性評價指標開發-以遼寧城市交通項目為例準則關鍵評價問題評價指標1.1在評價之時，項目

42、是否符合政項目與當前城市交通發展政策的相相關府發展政策或優先發展重點？符程度性1.2項目是否針對當地的實際問題項目與當時項目市城市交通發展問和需求？題的針對程度準則關鍵評價問題評價指標項目對當前項目市城市交通發展需求的滿足程度效率針對效率的4個關鍵評價問題，評價小組首先要明確項目的計劃和實際的實施周期、項目的資金預算及使用情況、 項目預期要開展的和實際開展的活動、 項 目的預期和實際產出、項目是否測算其經濟內部收益率、 如有預期值是多少。然 后基于這些內容開發評價指標。對于問題2.3要盡量使用項目評估文件或設計文件中的產出目標，如果評價 小組認為項目設計的產出目標存在重大缺陷， 無法對產出進行

43、客觀地衡量，可以 設計新的產出目標，但要與管理部門、項目單位協商，并考慮證據收集的難度和 成本。同時，要在評價報告第 4章需要說明的事項中加以說明。表5-5效率評價指標開發-以遼寧城市交通項目為例準則關鍵評價問題評價指標效率2.1項目是否按照計劃的資金預算實施？項目資金使用與預算的一致性2.2項目是否按照計劃的時間周期實施并完工？項目預期和實際的實施周期相符程度2.3項目是否實現了所有的預期產出？項目公共交通部分產出的實現程度項目交通管理部分產出的實現程度項目道路基礎設施部分產出的實現程度項目道路維修養護部分產出的實現程度項目技術援助部分產出的實現程度2.4項目完工后是否達到預期的經濟內部收益

44、率？項目經濟內部收益率（EIRR）的實現程度注：該項目包括公共交通、交通管理、道路基礎設施、道路維修養護和技 術援助5項活動，因此，針對這 5方面內容設置產出指標。效果開發效果評價指標之前，要明確項目目標和目標受益群體是誰。對于問題3.1要盡量使用項目評估文件或項目設計文件中的效果目標。如果評價小組認為項目設計的效果目標存在重大缺陷， 無法對目標實現程度進行客觀地衡量， 可以 設計新的效果目標，但要與管理部門、項目單位協商，并考慮證據收集的難度和 成本。同時，要在評價報告第 4章需要說明的事項中加以說明。本項目效果目標分為若干個具體目標 （Specific Objectives,并且每個具體目

45、 標都設有評價指標，那么可以將問題 3.1按具體目標分解成若干個子問題，然后 根據子問題設計效果評價指標。表5-6效果評價指標開發-以遼寧城市交通項目為例準則關鍵評價問題評價指標效果3.1項目是否實現了預期目標？3.1.1項目是否實現減少基礎設施瓶頸路段的目標？交通走廊出行時間3.1.2項目是否實現改進道路維修養護投資狀況的目標？路面狀況維修養護預算維修養護平均費用3.1.3項目是否實現持續改善 項目的投資環 境的目標？大點質量標準機動車尾氣排放控制戰略的制定機動車尾氣排放控制戰略的米用和實施3.1.4項目是否實現提高道路 系統的運營效 率和運營安全 的目標？對通過交通屏蔽線的各種交通模式的交

46、通流量、出行時間和占后率進行調查以衡量系統的運營能力與行人和自行車有關的事故總數、總死亡人數及百分比3.1.5項目是否實現提高公交服務的效率和效果的目標？年度補貼年均單位里程的運營費用每年客運量可運營的公交數量營運線路數量3.1.6項目是否實現加強城市交通系統管理能力的目標？當地能力的加強和決策的改善3.2項目的實際受益群體是否是項目的目標受益群體？目標受益群體覆蓋率可持續性對于問題4.1,評價小組要明確項目完工后的管理機構和/或運行機構有哪些，它們的機構設置是否合理，人力資源是否充足、是否具備必需的管理和技術 能力等。對于問題4.2,評價小組要分析項目的哪些產出對項目持續發揮成效是 關鍵的，

47、比如對于高速公路項目，高速公路的維護和利用是保證項目發揮效益的 關鍵；對于扶貧項目，對貧困人口進行持續地生產和勞動技能培訓是項目實現扶 貧效果的關鍵。對于問題 4.3,評價小組要明確項目制定的政策以及國家、行業 和當地相關的政策有哪些，這些政策對項目持續運行發揮什么作用，如果沒有這些政策，項目能否持續下去。對于問題4.4,評價小組要考慮機構獲得的經費等能否滿足項目運行的各項成本支出。表5-7介紹可持續性的關鍵評價問題的指標開發。表5-7可持續性評價指標開發-以遼寧城市交通項目為例準則關鍵評價問題評價指標4.1項目的管理和/或運行機構的項目巾巾政道路養護處的人力可持設置、人力資源、技術能否滿足資

48、源和技術對道路持續養護的續性項目持續運行的需要？滿足程度項目市交管部門的人力資源和 管理對持續開展交通管理的滿 足程度4.2項目的產出能否得到持續地提供、維護和利用？道路基礎設施的持續利用程度道路基礎設施維護的持續性交通管理的持續性4.3項目運行所依賴的政策、制度能否得到持續地實施？項目所依賴的優先發展公共交通政策的持續性4.4項目財務是否可持續？項目收支情況5.2.3證據及其來源證據是用來測量評價指標、回答關鍵問題、支持評價結論等的數據、事實和 觀點。在開發評價指標時就要考慮證據及其來源。評價小組要盡量收集高質量的 證據。高質量的證據具備以下特點：相關性：所收集的證據要與指標相關、并且是最重

49、要的信息，比如要測 量貧困地區適齡女童的小學入學情況，那么就要收集女童而不 是男童的入學率數據。有效性：所收集的證據要能真實反映指標內容，比如要測量某個省的貧 困地區適齡女童的小學入學情況，那么要收集全省的適齡女童 入學率數據，而不是縣級的數據?？煽啃裕簻y量相同指標的證據可以通過相同方法進行收集并驗證，比如適齡女童入學率數據每年都可以通過“某地區適齡女童入學人數/某地區適齡女童人數*100%”來獲得。準確性：所收集的證據要準確，特別是對于收集的利益相關者觀點要注意其代表性，比如對于“社區環境是否改善”這一問題，有 8名居民認為環境得到改善，而只有2名居民認為環境沒有改善，那么要采用8名居民的觀

50、點。績效評價證據來源主要有以下3類，見專欄5-3。專欄5-3績效評價證據來源第一類：制度、政策和法規國家相關法律、法規、規章；國家發展規劃和相關部門行業發展規劃及政策，地方政府制定的發展規劃和政策；貸款方的有關制度規定。第二類：項目文件和相關報告項目文件和報告，主要包括：立項評估報告、項目進展報告、完工報告等；國家發展改革部門的項目立項批復報告；項目單位的項目執行文件和報告，主要包括：項目可行性研究報告、環境影響評價報告，項目執行過程中的有關財務會計資料、工作總結、監測報告、項目進度報告、項目竣工驗收報告等；財政、審計部門對項目執行情況的專項檢查報告、專項審計報告；研究機構或咨詢機構提供的與項

51、目相關的研究資料、分析報告和咨詢報上登口尋。第三類：評價小組直接收集相關利益者座談會；對相關人員的面訪；實地調研；問卷調查；評價小組采用其他方法收集的數據。5.2.4證據收集方法證據收集方法是用以收集所需證據的方法和技術。證據收集方法有很多種， 如案卷研究、面訪、座談會、問卷調查、實地調研、案例研究等。大多數績效評 價都可能使用其中一種或多種。表 5-8列出了不同證據收集方法的優點和缺點， 評價人員可以根據現實情況選擇適合的方法。 選擇證據收集方法還要考慮評價的 經費預算、人力資源和時間等因素。表5-8證據收集方法的優缺點方法優點缺點案卷研究成本低，并且能從現有資料中獲得大量有用證據很難對現有

52、資料中的證據進行核實面訪成本較低且較容易實施，能夠 收集有用且豐富的信息，特別 是利益相關者的觀點、建議、 以及解釋項目成功或失敗的原 因受訪人的主觀偏見使證據的客 觀性受到影響，給評價人員的 分析和判斷帶來困難座談會成本較局，能夠收集更多不同 相關利益者的觀點、判斷、以 及解釋項目成功或失敗的原因座談會上可能會收集到許多績 效評價無關的信息，有時座談 會參與人可能更多地談論他關 注的問題而非評價小組關注的 問題，同時參與人的主觀偏見 也會影響證據的客觀性問卷調查提供大量結構化的證據，覆蓋面廣成本高，有時問卷回收時間過長給后續分析帶來困難實地調研能夠獲得詳細的證據，在項目已有信息缺乏情況卜米用

53、能夠獲得項目的一手證據成本身案例研究提供詳細和深入的證據很難獲得整體的綜合信息通過上述步驟將形成一個完整的項目績效評價框架， 用于指導績效評價工作的開展。5.3完成績效評價實施方案5.3.1 面訪、座談會和實地調研問題設計面訪、座談會和實地調研是收集評價證據的重要方法，績效評價一般都會采 用。為了更好地從面訪、座談會和實地調研中收集到有用的信息，必須設計問題清單。設計問題清單要以績效評價框架為基礎。問題按照其作用可分為4類：（1）用于收集評價指標需要的證據；（2）用于核實案卷研究和其他方法收集的證據 ；(3)用于收集指標實現或沒有實現的原因;(4)用于收集利益相關者的觀點必須強調的是，這里的問題清單是用來收集相關評價證據，而本指南的12個關鍵評價問題是用來評價項目績效，兩者作用不同。開發問題清單應該注意：(1)問題要有針對性，避免設計過多無關的問題；(2)問題要精煉、清晰,避免產生歧義；(3)問題涵蓋的內容要單一，不要將不同內容放在同一個問題中；(4)要預先估計問題是否能夠得到回答，如果不