1、無領導小組討論的多側面Rasch 模型應用摘要：無領導小組討論 (LeaderlessGroup Discussion ，LGD)是組織招聘使用頻率較高的測評方法。 據統計 ,無領導小組討論在國外的評價中心技術中使用率為 59%,而在國內的使用率則達到 85%。其評分偏差易受維度、 測題、評分標準、統計信效度、評委因素等設計與實施的影響。針對如何準確衡量測評組織者的測評有效性這個問題，本研究對某大學 77 名被試進行了 LGD測評，測評結果用編號 1-77 表示。評委由 6人組成 , 其中評委 A、B、C 經評分培訓 ( 培訓包括了各種評分誤差現象的授課說明及試評 ), 而評委 D、E、F 未

2、培訓。所有評委與被試互不相識 , 評委組織被試參加測評 , 并根據被試表現對語言表達能力、分析歸納能力、組織協調能力、應變與壓力承受能力、行為表現及風度五維度實行10點量表評分。采用項目反應理論 (IRT) 的多側面 Rasch模型 (MFRM),分析評價中心技術中無領導小組討論 (LGD)的測評結果 , 探討被試能力水平、評委評分寬嚴度、評分內部一致性、維度難度和評定等級等問題 , 進而討論各種偏差。通過 MFRM分析人事測評結果 , 可深入了解被試能力的真實差異、甄別維度難度、探查測評誤差源 , 從而完善測評試題編制、 評估或診斷評委合格性、 提高測評維度與測評目的匹配性 , 為拓展項目反

3、應理論在人事測評中的應用提供獨特視角。關鍵詞： 無領導小組討論；多側面Rasch 模型；項目反應理論；人事測評一、研究背景及意義由于無領導小組討論的評分偏差受多方面因素的影響，且以往大量關于 LGD 測評的實證研究側重使用 CTT方法 , 到目前為止還較少有研究應用 MFRM分析 LGD實證的偏差問題 , 因此本研究將 MFRM引入 LGD測評分析 , 一方面拓寬 LGD測評統計研究的局限性 , 進一步檢驗 MFRM的合理性 , 另一方面為深化評價中心技術的多種測評研究提供更廣泛的參考價值。二、研究方法本研究對某大學 77名被試進行了 LGD測評，測評結果用編號 1-77 表示。所有被試隨機分

4、為 11組, 每組 7人, 評委由 6人組成 , 其中評委 A、B、C 經評分培訓 ( 培訓包括了各種評分誤差現象的授課說明及試評 ), 而評委 D、E、F未培訓。所有評委與被試互不相識 , 評委組織被試參加測評 , 并根據被試表現對語言表達能力、 分析歸納能力、 組織協調能力、 應變與壓力承受能力、 行為表現及風度五維度實行10點量表評分。采用 MFRM的計算機統計程序 FACETS軟件 , 該軟件由 Linacre編制 ,版本為。研究建構被試、評委和評分維度三個側面。每個輸出側面(Facets)結果包括觀測平均值 (Obsvd Average) 、符合度統計量 (Fit Statistic

5、s)等統計指標 ,其中符合度統計量分為加權擬合統計量(Infit)和未加權擬合統計量(Outfit) 。通過這些指標考察被試能力值、評委評分寬嚴度、評分內部一致性、維度難度和評定等級 , 并具體探討各種偏差。三、結果分析1、被試能力的結果分析有研究認為 Infit 在0.51.5(Linacre, 2012) 為可接受范圍 , 但更精確的 Infit 值域為 0.8-1.2 。可接受范圍越窄越能體現測評的規則性和權威度 , 并增強測評者對各側面的監控力度。當 Infit 大于 1.2 為非擬合 , 評委評分明顯大于模型預測值 , 評分一致性差；相反 ,Infit 小于 0.8 為過度擬合 ,

6、即評委評分明顯小于模型預測值 , 評分過于一致 , 并未區分不同的評分等級。經 MFRM分析 ,77 名被試的能力值范圍是 2.72 Logits至4.58 Logits,平均能力為0.46 Logits 。被試能力的 Infit 值高于 1.2 的有 21名, 占總被試的 27%,表明不同評委對這 21 名被試評分各有差異 , 評分有偏差； Infit 值低于 0.5 的有 34 名, 占總被試的 44%,表明這些評委對其評分過于一致 , 需要校正某些異常分數。分隔指數為 7.46, 分隔信度為 0.98, 表明被試能力水平存在顯著差異。2、評委寬嚴度和評分內部一致性結果分析寬嚴度數值越高

7、, 代表評委評分嚴格 ; 反之 , 評委評分寬松。 6位評委的寬嚴度跨度為 1.57Logits, 其中評委 C最嚴格 , 寬嚴度為 0.65Logits; 評委 E最寬松 , 寬嚴度為 -0.92 Logits; 評委 D的寬嚴度低于 0, 說明其評分也偏寬松。 其中培訓組的評委 A、 B、 C之間的寬嚴度跨度為 0.22Logits, 而未培訓組的評委 D、 E、 F之間的寬嚴度跨度為 1.08 Logits 。評分差距較未培訓組評委評分差距小 , 這在一定程度上反映培訓組評委評分較為一致 , 表明培訓作用顯著。評委 C 的Infit值小于 0.8, 該評委對各被試的評分小于模型預期數值,

8、 說明該評委采取保守策略 , 不輕易評定高分 , 呈現過度一致性；而評委F的Infit值為1.60, 該評委評分超過模型預期的變化幅度, 其內部一致性較低。而其他的評委Infit值為 0.840.99, 表明內部一致性較好，即他們對自身寬嚴度標準掌握較好。3、各維度評分結果分析維度評分結果表明被試維度難度。組織協調能力難度最大 , 行為表現及風度難度最小。 Infit 值顯示所有維度大致吻合模型期望 , 只有語言表達能力略低于 0.8, 仍在可接受范圍。對維度難度進行卡方檢驗 , 結果表明 , 2(4)=324.0, p<0.01, 即不同維度難度存在顯著差異。4、評定等級分析評委們并未

9、使用第 10 等級 , 同時大多數評委過分使用第 48 等級。其中評分為第 6 等級的次數最多 , 第 5 等級次之 , 可見評委評分呈現一定的集中趨勢。 能力值隨評定等級增加而提高說明 6 位評委評分大致給予與被試能力相符的分數 , 評分準確度較高。由評定等級變化概率曲線圖可知，等級2和3沒有明顯劃分的獨立峰值, 且等級 13 與等級 47 峰值接近。5、偏差分析5.1 評委與被試的偏差分析經匯總 , 評委與被試偏差顯著次數為 79次, 約占 462個交互作用組合的 17%, 其中正負向的偏差各占 50%。統計結果表明各評委都發生評分偏差 , 其中評委 F發生評分顯著偏差次數最多 , 共發生

10、了 21 次顯著偏差 , 占所有偏差總數的 26.6%。5.2 評委與維度的偏差分析評委與維度的顯著次數為 9次, 約占 30個交互，作用組合的 30%。評委 C對維度評分沒有發生顯著偏差 , 評委 E評價組織協調能力和行為表現及風度維度顯著偏寬 , 培訓組 A、B、C評委發生偏差的次數僅占 2/9 。偏差次數最多的維度是組織協調能力 , 說明評委在此維度容易出現評分偏差。5.3 評委、被試與維度的偏差分析異常分數只出現于對個別被試個別維度的評定 , 可見評分總體上較合理。其中異常分數較多出現在對被試組織協調能力、 應變與壓力承受能力、 行為表現及風度的判斷。所有被試中 , 評委對 51號被試

11、評分異常分數最多。 另外 , 統計所有評委評分異常分數發現評委 F評分異常次數最多 , 而培訓組評委 A、B、C 異常分數少甚至沒有。四、討論本研究運用 MFRM模型分析無領導小組討論數據 , 利用 FACETS軟件將被試、評委、維度三個側面置于共同的 Logits 量尺上 , 在分離各側面之間的相互作用情況下單獨獲得被試的能力、評委寬嚴度、評分內部一致性和維度難度的估算值 , 使被試能力值獨立于評委各種偏差和維度難度 , 更接近真實能力。1、同一能力水平的被試 , 會因評委界定評分標準的特異性而獲得差異懸殊的分數。2、評委因素影響評分 , 評委在不同的環境會表現各種偏差； 評委寬嚴度在一定程

12、度影響被試得分 , 評委越嚴厲 , 被試獲得高分的可能性則越低； 評分內部一致性是衡量同一評委對所有被試評分穩定性的指標；結果還發現培訓組的評委寬嚴度比未培訓組評委寬嚴度集中, 表明了培訓的有效性。3、組織協調能力估計的難度最大, 行為表現及風度維度估計難度最小。不同維度難度差異顯著說明維度難度設置能較好地區分被試的能力, 展示不同被試的行為和能力差異。五、結論目前大多數評價中心測評的理論和實踐研究多基于經典測量理論 , 本研究應用項目反應理論的多側面 Rasch模型 , 對無領導小組討論測評中被試能力值的真實水平、評委寬嚴度和評分內部一致性、 測評維度的難度與評定等級等特征進入更深入、細致的

13、分析 , 探討被試能力水平值差異、 評委有效性、 測評維度差異及各種偏差情況 , 并提出相應的應對措施。 研究結果表明項目反應理論在研究評價中心的主觀性測評具有優勢 , 本研究可推廣到評價中心技術其他測評形式研究和應用。參考文獻：1 邊文霞 . 人力資源管理 . 人事測評技術 20142 卞冉 , 高欽 , 車宏生 . 評價中心的構想效度謎題 : 測量維度還是活動 ? 心理科學進展 , (2013). 21(2), 3583713 何廣陵 , 袁翎 .(1998). 選拔人才的一種有效方法“無領導小組討論” .中國公務員 , (2), 334 郭朝暉 . (2011). 無領導小組討論 , 如

14、何檢驗評委可信度 .中國人才 , (5), 55 57.出師表兩漢：諸葛亮先帝創業未半而中道崩殂， 今天下三分， 益州疲弊， 此誠危急存亡之秋也。然侍衛之臣不懈于內，忠志之士忘身于外者，蓋追先帝之殊遇，欲報之于陛下也。誠宜開張圣聽，以光先帝遺德，恢弘志士之氣，不宜妄自菲薄，引喻失義，以塞忠諫之路也。宮中府中，俱為一體；陟罰臧否，不宜異同。若有作奸犯科及為忠善者，宜付有司論其刑賞，以昭陛下平明之理；不宜偏私，使內外異法也。侍中、侍郎郭攸之、費祎、董允等，此皆良實，志慮忠純，是以先帝簡拔以遺陛下：愚以為宮中之事，事無大小，悉以咨之，然后施行，必能裨補闕漏，有所廣益。將軍向寵，性行淑均，曉暢軍事，試用于昔日，先帝稱之曰愚以為營中之事，悉以咨之，必能使行陣和睦，優劣得所。“能 ”，是以眾議舉寵為督：親賢臣， 遠小人， 此先漢所以興隆也； 親小人， 遠賢臣， 此后漢所以傾頹也。 先帝在時，每與臣論此事， 未嘗不嘆息痛恨于桓、 靈也。 侍中、尚書、 長史、 參軍，此悉貞良死節之臣，愿陛下親之、信之，則漢室之隆，可計日而待也。臣本布衣，躬耕于南陽，茍全性命于亂世，不求聞達于諸侯。先帝不以臣卑鄙，猥自枉屈，三顧臣于草廬之中，咨臣以當世之事，由是感激，遂許先帝以驅馳。后值傾覆，受任于敗軍之際，奉命于危難之間，爾來二十有一年矣