信息資源共享系統績效評估指標體系的構建張璇/肖希明2013-2-26 14:44:38來源：圖書情報工作(京)2009年19期【英文標題】Constructing Performance Evaluation Index System of InformationResource Sharing System【作者簡介】張璇，女，1983年生，碩士，發表論文6篇。中山大學圖書館廣州510275肖希明，男，1955年生，教授，博士生導師，發表論文110余篇。武漢大學信息管理學院武漢430072【內容提要】 在分析現有的信息資源共享系統績效評估指標體系研究的基礎上，探討信息資源共享系統績效評估的要素、評估指標選取的原則，設計評估指標體系并明確其指標內涵。最后通過對NSTL的實證分析，對評估指標體系的科學性和可行性進行驗證。Based on analyzing the existing research on performance evaluation index system of information resource sharing system, the paper discusses the influencing factors and the principles of selecting indicators of performance evaluation of information resource sharing system, designs the evaluation index system and analyses the connotation of each indicator. By the empirical study on performance evaluation of NSTL, the paper verifies the scientificity and feasibility of the index system. 【關 鍵 詞】信息資源共享系統/績效評估/指標體系Information resource sharing system/Performance evaluation/Index system1 引言信息資源共享系統績效評估即依照一定標準對信息資源共享系統在一段時期的成績和效益進行科學地分析和評價1，其核心問題是評估指標體系的構建。國外學者很早就開始研究信息資源共享績效評估指標體系問題。1982年美國學者William B. Rouse定義了圖書館資源共享網絡的性能指標，提出了可靠性、彈性、可獲得性、可用性、可接受性、效率、效力及質量控制8個評價指標2。近年來，有的國外學者進行了網絡服務績效評估研究，確定績效評估指標包括用戶、成本、網絡流量、使用、服務和支持6個方面3；國外一些專業機構，如ARL(Association of Research Libraries)統計和評價委員會，對圖書館的電子資源、服務質量和網絡對服務的影響等進行專門的評價，制定了一系列相關的評價指標體系，有效地推動了對信息資源共享系統運行、信息資源保障能力、信息資源利用情況以及用戶滿意度等要素的績效評估4。在我國，有學者對信息資源共享過程中的效率和效益進行分析，提出以資源本身結構、信息資源傳輸和用戶可視化為要素的信息資源共享效度評價模式5；有的把信息資源共享率、信息輸出、輸入率和信息資源貢獻率作為評價和改進資源共享工作的主要評價指標6；有的從地區需求滿足狀況、技術條件和標準化評估、管理運行評估、政策法規建設評估4個方面構建了以地區需求為導向的信息資源共享系統評估指標體系7。這些研究，從不同角度對信息資源共享的績效評估進行了有益的探索。但從整體上看，研究文獻數量還不多，且主要側重于對共享系統某一方面進行評估，整體性、綜合性比較薄弱。本文試圖從多層次對我國信息資源共享系統的績效評估問題進行綜合研究，并嘗試構建一個既符合數字環境下信息資源共享規律、又切實可行的績效評估體系。2 信息資源共享系統績效評估的要素目前國內外建立起來的信息資源共享系統盡管有不同的運行模式，但其評估都會涉及如下要素：2.1 資源因素資源因素涉及：數量因素，主要是指資源的規模效應8。衡量資源的數量，除了絕對數量之外，還有類型、品種、學科、語種等結構數量布局。資源數量越豐富，越能促進用戶對資源的利用。質量因素，包括所收錄資源的學術性、權威價值；對資源內容的揭示深度和組織程度；資源內容的時效性和資源更新周期等。從資源利用的角度分析，資源質量涉及資源的可知曉性、可獲取性、獲取便利性3個方面，其中有關資源本身的因素包括資源的結構分布、資源的組織和揭示、資源的存儲格式等。2.2 服務因素服務是連接資源和用戶的紐帶，也是制約績效的重要因素，它包括：量的因素，主要體現在服務覆蓋的范圍、服務的數量、服務響應時間等方面。一般來說，服務覆蓋范圍廣，服務量大，服務響應時間快，則績效越好。質的因素，主要體現在服務的內容和形式、網絡服務系統的質量、服務滿意度等方面。對服務的內容和形式而言，各種不同服務形式投入不盡相同，帶來的績效也有所不同。服務滿意度作為服務效果的直接反饋無疑是衡量共享系統績效的重要因子，在整個共享系統中都有著較高的關注度。2.3 人力因素人力因素主要是指服務人員和用戶人員兩者的專業能力和信息素質。共享系統的服務人員，他們對共享系統資源的了解程度和信息服務能力直接影響著共享系統能否發揮和在多大程度上發揮其應有的效用，他們對本專業領域的知識水平決定其在提供服務的過程中能否向用戶提供最準確的信息。共享系統所服務的對象即最終用戶，他們的信息檢索和利用能力以及閱讀外文資料的水平和利用計算機的能力等都影響著對共享系統的利用程度。2.4 成本因素信息資源共享系統運行中的成本主要分為資源采集成本、系統運行成本、人力成本和用戶等待時間成本。由于信息資源共享系統的構建和運作目標主要是避免和節省資源建設的重復投入，使資源配置達到最優化，因此，在對信息資源共享系統進行績效評估時，不僅要考慮成本投入，更重要的是評估其成本節省程度。由于信息資源共享系統通常是由多個圖書情報機構，為達到資源互補和共享的目的而形成的責任共擔的合作活動和項目，因此，不僅要對系統自身進行效益評價，還應對利用系統資源提供增值服務的機構或個人所提供的服務及其效益進行評價，包括成員單位直接利用系統資源提供服務產生的效益；成員單位和其他機構由于系統的資源或服務的支持，維持同等保障水平時減少投入帶來的效益；成員單位和其他機構利用系統的資源、服務、技術所開發衍生的資源或延伸服務所產生的新的效益等9。3 信息資源共享系統績效評估指標選擇的原則3.1 操作性原則在選擇評估指標時，一方面應注意指標的實用性、操作方式的簡潔性和工作速度的高效性，另一方面要確保與指標對應的數據易于收集，其準確性、可靠性易于保證，避免過于復雜的計算10。3.2 定性與定量指標相結合原則在進行指標設定時，選擇適當的定量評價指標，可以保證評價結果的科學準確。當然，針對不可量化和難以量化的因素進行評價，也需要設定部分定性指標。在進行定性指標評價時，可以選擇適當的評價方法將反映基本特點的定性指標定量化、規范化?？紤]到信息資源共享系統績效形式的多樣性，在設計指標體系時，應采用定性與定量相結合的評估方法。3.3 籌兼顧原則原則上應將與共享系統自身、成員單位、用戶等相關的指標都納入進來，以保證評估的全面性和可信度。但是，也要避免指標體系過于龐雜，并統籌整體與個體、定性與定量的關系，最終統一到追求共享系統運作效率最優化上。3.4 開放性原則隨著國家信息化建設的迅速發展，對信息需求的不斷變化，加之信息載體的轉變、科學技術的發展等，信息資源共享系統的功能定位、發展目標都將產生一定的變化，因而共享系統的績效評估指標也會隨之不斷發展。同時，不同的共享系統其運作方式和目標也不盡相同，因此評估指標體系的確定應考慮到指標選擇的可變通性和靈活性。4 各項評估指標及其內涵遵循評估指標選擇的原則，選取有意義的績效評估要素，分層解析，即可構建出一個層次清晰的三級評估指標體系，如表1所示。第一層由資源建設和資源利用效率、直接服務效益和延伸服務效益、減負效益和社會效益6個一級指標組成。第二層由18個二級指標組成。第三層由40個三級指標組成。4.1 A1資源建設4.1.1 B1資源保障率即從數量角度分析共享系統的資源對用戶信息需求的滿足能力。可用兩個指標來評價：C1資源覆蓋率，即共享系統所收錄的文獻資源數量占該領域文獻總數的比例；C2全文保障率，即共享系統所收錄的全文文獻占所有資源數量的比例。一般而言，用戶對資源的利用多傾向于全文文獻，資源總量中全文文獻比例越高，越能滿足用戶的資源利用需求。4.1.2 B2資源結構和布局具體可以從C3學科分布、C4類型分布、C5語種分布、C6年代分布等方面來評價，分別指共享系統收錄的資源覆蓋的學科范圍、資源類型范圍、語種范圍和年代范圍。對學科分布進行評估，通常以現有的學科劃分為標準，也可以共享系統本身所規定的資源建設政策為標準；資源類型如學術期刊、會議論文、學位論文、專利技術、科技成果等；語種和年代也是反映資源結構和布局的指標。4.1.3 B3資源質量即從資源內容的權威性、學術性等角度來反映資源的建設情況。可用3個指標來評價：C7資料來源，指所收錄資源是否出自知名出版機構或權威網站，或者資源的提供者是否是同際或國內知名機構；C8學術性，指從所收錄資源的影響因子或者被引用和轉載的情況等角度來判斷資源的質量；C9同行評議，指某種資源被相關專業領域專家的評價情況，通常而言，同行專家評議較高的信息資源具有較高的權威性和質量11。4.1.4 B4資源組織、檢索和存取對資源進行多種形式的分類和揭示，便于用戶查找和檢索，是資源有效利用的保證，也是反映資源建設質量的重要指標。它包括4個指標：C10分類與揭示。對資源進行多層次分類，對其內容進行標準規范的揭示，有利于用戶分類瀏覽和查找所需的資源。C11檢索功能。向用戶提供檢索平臺，運用多途徑和多形式的檢索方法，滿足不同用戶的資源檢索需求。對這一指標進行評價，主要考察其檢索平臺的友好性、易用性、智能性等方面。C12檢索效果。它反映了檢索系統的能力，主要從查全率和查準率這兩個數據來評價檢索效果。通常查全率與查準率是不可能達到100%的，兩者存在著一種互逆關系12。一般來說，對檢索效果采用定性評價，這兩個數據在用戶可接受范圍內就可以認為檢索效果不錯。C13易存取性。反映數據資源系統輸出的方便性，即提供文獻資源的格式，如純文本或超文本格式、PDF格式或使用專用閱讀器。純文本或超文本格式一般由電腦系統自帶，比較方便；PDF格式符合國際標準，可閱讀各種數據庫提供的資源；而需要專用閱讀器讀取的數據格式對用戶利用會造成一定的不便。4.1.5 B5時效性任何資源都有時效性，雖然資源的質量不完全由其新穎程度決定，但通常來說，資源更新越快，越能保證其質量。可用C14更新頻率來衡量，即系統中資源的更新速度，如果所收錄的資源都是最新、最及時的資源，其數據質量會不斷提高，資源利用率也會相應增加。4.2 A2資源利用效率4.2.1 B6資源利用情況指一定時間段內用戶對資源利用的實際數據，這是一個定量指標。可從3個方面來評價：C15登錄次數、C16查詢檢索次數、C17全文下載次數，分別為用戶在一定時間段內登錄資源共享系統、查詢和檢索以及下載資源的次數，它們在一定程度上反映了共享系統被關注程度和利用程度。4.2.2 B7資源輔助程度指共享系統自身的資源對其成員單位和用戶單位起到多大的輔助和補充作用。包括C18對成員單位的資源輔助程度、C19對用戶單位的資源輔助程度兩個指標。成員單位和用戶單位既是資源的利用者，也是提供資源的服務者，因此，利用共享系統的資源提供服務也體現了共享系統的資源利用效率。特別是對成員單位而言，得到共享系統的資源采集支持，不僅保障了部分直接需求資源的獲取，而且降低了資源建設的成本投入。4.3 A3直接服務效益指共享系統利用自身資源向用戶，包括成員單位、注冊用戶單位、個人用戶等提供各種信息服務的效益?？蓮?個方面的指標進行評價。4.3.1 B8服務范圍服務覆蓋的地理范圍反映了共享系統發揮效益的范圍，是衡量其效益的重要方面。它包括C20成員單位、鏡像站、服務站的覆蓋范圍和C21用戶群地理覆蓋范圍。兩者是服務提供者和實際享受服務者地理覆蓋的反映。4.3.2 B9服務內容指共享系統直接提供服務的形式，其評價指標為C22直接服務形式和內容。常見形式有文獻協調采購服務、聯機聯合編目、文獻檢索、館際互借和文獻傳遞服務、參考咨詢服務、電子資源導航、門戶信息服務等。評價其服務形式即考察對象是否提供了多種形式的服務，更好地滿足用戶的信息需求。4.3.3 B10直接服務量即共享系統在時間段內直接提供服務的數量，包括C23文獻傳遞服務量、C24參考咨詢服務量。對這兩個指標進行定量分析，可以從共享系統提供的文獻傳遞服務和參考咨詢服務數量分別占用戶單位所有文獻傳遞數量和參考咨詢問題數量的比例來進行考察。4.3.4 B11服務響應時間指從提出服務請求到獲得服務所經歷的時間，包括C25文獻傳遞服務從申請到獲得文獻時間、C26參考咨詢服務從咨詢到回復時間、C27檢索系統響應時間。服務響應時間本質上是用戶所服務的時間成本，時間越短，服務效率越高，對用戶越有利。4.3.5 B12服務滿意率這里設計了三個滿意度指標：C28文獻傳遞服務滿意度，包括對文獻傳遞服務時間、價格、服務態度、服務效果的綜合滿意度；C29參考咨詢服務滿意度，包括對參考咨詢服務時間、服務態度、服務效果的綜合滿意度；C30檢索系統滿意度，包括對檢索系統的響應時間、檢索功能和效果的綜合滿意度。4.4 A4延伸服務效益指借助共享系統的資源、技術和服務等優勢提高成員單位和其他單位的服務能力或拓展服務內容而產生的效益。4.4.1 B13延伸服務形式指成員單位和其他單位借助共享系統的資源優勢，自主開展服務的形式。通過C31成員單位利用共享系統的資源而延伸提供的服務形式這個指標來衡量。常見的服務形式有原文傳遞、代查代檢、決策咨詢等。4.4.2 B14延伸服務效果即成員單位和其他單位提供延伸服務的實際狀態?？捎肅32服務次數、C33服務滿意度來評價。這兩個指標將定量和定性評價相結合。4.5 A5減負效益指通過成本和投入的節省來衡量共享系統運行所帶來的實惠，即從經濟角度分析共享系統的運作效率。4.5.1 B15采購成本降低率即資源建設費用的節省程度。從成員單位和用戶單位兩個角度分析，可分為：C34聯合采購對成員單位經費降低率，是指共享系統對成員單位的資源采集經費支持率；C35資源輔助對其他單位經費降低率，指由于共享系統的資源輔助，對其他單位這部分資源采集經費的節省程度。4.5.2 B16運營成本降低率主要是指人力運行、管理和技術支撐等方面為成員單位和其他單位費用的節省程度。從兩個指標進行評價：C36技術支持成本，有些單位利用共享系統的服務界面直接（鏈接或嵌入）作為自己的服務系統或在此基礎上開發服務系統而節省的技術方面的成本；C37人力成本，指有些單位在人力資源和管理等方面節省的成本。4.6 A6社會效益即從人文角度衡量共享系統對社會信息化發展的影響程度。這是很難定量評估的，因此主要采用定性指標來衡量。4.6.1 B17社會活動考核共享系統開展了哪些社會活動，分為兩個指標：C38與其他機構合作活動，C39培訓活動。合作和培訓等活動可以體現共享系統在社會上的活動能力和影響力，主要從是否開展這些活動、是否定期開展等方面進行評價。4.6.2 B18社會影響即共享系統所產生的長久的社會公眾反響，可用C40對資源共享人文環境的影響來衡量。表現為國際和國內社會、公眾對共享系統的認可程度以及共享系統通過制定、支持相關的信息政策和信息活動而營造和改善的信息共享環境等。由于不同的指標對共享系統績效的影響是不一樣的，因此，一套科學和有效的評估指標體系必須對所選指標進行權重分析，并得出權重集。筆者采用層次分析法（AHP方法），通過專家調查法向專業學者、各界圖書館工作者以及在校博士生等收集數據，用定量與定性相結合的方法對指標進行打分，運用統計學的方法得出評價結果，最終確立了信息資源共享系統績效評估指標體系表。5 實證研究以NSTL為例為驗證指標體系的科學性和可行性，筆者選擇了國家科技圖書文獻中心(NSTL)進行驗證性的評估。NSTL是一個基于網絡環境的、公益性的、面向全國的科技文獻信息服務機構，是目前正在運行的一個重要的信息資源共享系統。筆者首先針對40個三級指標設定詳細的評分規則和標準，確立指標分值計算方法。為收集NSTL績效評估所需要的數據，筆者通過實地走訪、與專家交談、電話采訪和發放成員單位調查問卷等多種形式，最終得到40個指標中28個指標的實際得分。由于種種原因，有些數據無法得到，但根據已得到的部分指標的得分情況，可以大體反映出NSTL的績效狀況。NSTL的優勢主要體現在3個方面：資源組織。NSTL對資源的分類、揭示做得很好，揭示層次達到文摘級，且著錄詳細、規范，對數字資源建設起到了示范作用。對成員單位的支持力度。七個成員單位的資源采集絕大部分來自于NSTL的經費支持，對各成員單位的館藏發展起到了關鍵性作用。文獻傳遞服務。NSTL的外文科技文獻資源優勢明顯，為用戶提供的文獻傳遞服務主要以外文科技期刊為主，且服務量逐年增加。然而，從績效得分中也可以看出NSTL目前所存在的一些不足：資源總量和布局。NSTL的資源建設目標是建立外文文獻的全面保障，雖然NSTL外文科技期刊、會議錄、科技報告等資源的訂購數均已占國內訂購品種數的60%以上，但相對于國外文獻資源龐大的基數，其覆蓋率還是較低；在布局方面，有些學科的資源比較薄弱，訂購率較低，語種方面也不均衡。NSTL的資源影響力。雖然NSTL目前的鏡像站、服務站覆蓋多個地方，注冊用戶也遍布全國各地，但是由于NSTL成員單位集中在北京，是一種中心模式的共享系統，其資源影響力分布不均；并且由于NSTL主要依靠自己的網站提供服務，對終極個人用戶而言，其影響力遠不及本機構圖書館的門戶網站?！緟⒖嘉墨I】 1劉彥麗，梁南燕.服務績效評估促進信息資源共建共享的可持續發展.圖書情報工作.2008,52(