心理測量理論與技術的新發展第1頁，共73頁，2023年，2月20日，星期四概化理論第一節項目反應理論第二節第2頁，共73頁，2023年，2月20日，星期四

概化理論簡介第一節第3頁，共73頁，2023年，2月20日，星期四一、概化理論的發展（一）概化理論的發展思路概化理論（GeneralizabilityTheory，GT）是經典理論宏觀發展，重在研究誤差控制、研究測驗整體設計。第4頁，共73頁，2023年，2月20日，星期四（一）概化理論的發展思路1、測驗分數方差的測量學意義測驗分數方差有目標分數方差和誤差分數方差之區別。如：被試真正能力水平間的分數方差是目標分數方差。同一被試不同次測驗分數間的方差是誤差方差。同一作品多個評分間的方差也是誤差方差。第5頁，共73頁，2023年，2月20日，星期四（一）概化理論的發展思路２、誤差來源的多樣性與總分方差結構的復雜性測量誤差的原因多方面，誤差方差的種類多種。總分方差結構復雜：不同來源的誤差方差與目標分數方差共存。第6頁，共73頁，2023年，2月20日，星期四（一）概化理論的發展思路3、經典測驗理論處理分數方差的辦法假定X=T+E，然后有：再定義信度為：

第7頁，共73頁，2023年，2月20日，星期四（一）概化理論的發展思路3、經典測驗理論處理分數方差的辦法優點：定義了隨機誤差，可設法估計其大小。缺點：沒有能告訴我們誤差由哪些原因造成，各種原因造成的誤差各有多大。第8頁，共73頁，2023年，2月20日，星期四（一）概化理論的發展思路

4、概化理論的研究目的探清總分方差結構、區分誤差原因，明確各種誤差大小，找到最優設計方案。第9頁，共73頁，2023年，2月20日，星期四（二）概化理論發展的理論與技術基礎1、經典測驗理論概化理論與經典測驗理論相比，不同之處多于相同之處。2、方差分量分析依靠方差分量分析將總分方差分解、定性。第10頁，共73頁，2023年，2月20日，星期四（三）概化理論發展史用方差分量分析研究測量誤差的歷史可以追溯到20世紀上半葉。公認的GT正式誕生的標志物是克朗巴赫等的專著《行為測量的可靠性》的正式出版。第11頁，共73頁，2023年，2月20日，星期四二、概化理論基本框架（一）概化理論的測驗情境關系說為了探清測驗誤差的來源、類型、大小，必須建立一個理論模型。第12頁，共73頁，2023年，2月20日，星期四二、概化理論基本框架（一）概化理論的測驗情境關系說（續）概化理論模型的建立依賴于對測驗情境關系的詳細調查。測驗情境關系是指測量目標與各測量側面所組成的一種關系結構。

第13頁，共73頁，2023年，2月20日，星期四（一）概化理論的測驗情境關系說1、測量目標測量目標：測量者希望通過測量用測量值描繪的心理品質。確定測量目標的方法：問“測誰”和“測什么”。一般一場測量目標只能一個研究同一測量問題測量目標一經確定不能改變。第14頁，共73頁，2023年，2月20日，星期四（一）概化理論的測驗情境關系說2、測量側面測量側面：測量的條件。測量側面水平：測量條件的不同水平。測量側面類型：隨機側面固定側面第15頁，共73頁，2023年，2月20日，星期四（一）概化理論的測驗情境關系說2、測量側面（續）固定側面的優點：測量的誤差會減小，測量的信度會提高。固定側面的缺點：固定側面成目標的一部分，測量結果拓廣受限。第16頁，共73頁，2023年，2月20日，星期四（一）概化理論的測驗情境關系說3、概化理論下的真分數概念經典測驗理論認為個體真分數只能有一個。概化理論認為在不同測量條件下會有不同的真分數。第17頁，共73頁，2023年，2月20日，星期四（一）概化理論的測驗情境關系說測驗情境關系說結論：情境關系中的測量目標、測量側面、側面的水平變化，會引起測驗誤差的來源，誤差的大小、真分數的種類以及測驗信度的變化，進而引起測驗分數的解釋范圍發生變化。第18頁，共73頁，2023年，2月20日，星期四（二）測驗設計的模型與種類 測驗設計的任務（兩個方面）：（1）界定測量目標和測量側面的個數及名稱、意義，確定各側面的水平數。（2）設計數據采集方法。第19頁，共73頁，2023年，2月20日，星期四（二）測驗設計的模型與種類數據采集方法類型：以側面數分：

單側面設計、雙側面設計、多側面設計第20頁，共73頁，2023年，2月20日，星期四（二）測驗設計的模型與種類數據采集方法類型（續）：以數據結構分：交叉設計：測量目標在所有側面的各個水平上被測量。如p×I、p×i×r

第21頁，共73頁，2023年，2月20日，星期四（二）測驗設計的模型與種類數據采集方法類型（續）：嵌套設計：測量目標在一個或多個側面的部分水平以下被測量。如p:r、p:r:s混合設計：既有交叉，又有嵌套的測驗設計。如i×（p:r）

第22頁，共73頁，2023年，2月20日，星期四（二）測驗設計的模型與種類數據采集設計原則：數據充分體現測量目標與各個測量側面及各側面相互之間關系側面數、水平數的設置要符合客觀的測驗情境；能獲得充分的數據信息；簡化模型、節約投入。施測時要控制設計之外的各種無關變量。第23頁，共73頁，2023年，2月20日，星期四（三）G研究

G研究目的：用方差分量分析，定量估計觀察領域中測量目標方差和各個測量側面方差，以及其間的交互作用的方差。第24頁，共73頁，2023年，2月20日，星期四方差分量分析（二步）：1、分解總體方差為測量目標主效應方差、各測量側面主效應方差和各種交互效應方差。2、應用樣本方差估計各種效應的期望均方差。第25頁，共73頁，2023年，2月20日，星期四（三）G研究各種期望均方差性質：測量目標效應期望均方差：測量目標個體差異的描寫量；各測量側面效應期望均方差：各側面對目標干擾程度描寫量，就是誤差；各交互效應期望均方差：各側面對目標的交互干擾程度描寫量，也是誤差。第26頁，共73頁，2023年，2月20日，星期四二、概化理論基本框架（四）D研究D研究的目的：在G研究的基礎上，在原設計的測驗情境關系范圍之內，分析比較各種可能的測驗方案，由研究者結合實際，優選實施方案。第27頁，共73頁，2023年，2月20日，星期四（四）D研究D研究調整原方案獲取新方案的方法：1、固定原測驗情境關系中的某一個或某幾個側面。2、改變原測驗情境關系中的一個或某幾個測量側面的水平數。3、改變原測驗情境關系中某些測量側面的結構關系。第28頁，共73頁，2023年，2月20日，星期四（四）D研究D研究的統計分析步驟（兩步）1、估計拓廣領域（新測驗方案）下各種效應期望方差。2、估計新方案下測驗誤差的總體指標和測驗質量指標，以提供比較依據。第29頁，共73頁，2023年，2月20日，星期四（四）D研究測驗誤差指標：1、相對誤差指標：所有與測量目標有關的交互效應方差之和，2、絕對誤差指標：除目標主效應方差之外的所有效應方差之和。第30頁，共73頁，2023年，2月20日，星期四（四）D研究測驗質量綜合指標：1、概化系數G；目標效應方差與目標效應方差加相對誤差方差之和的比。2、相依系數：目標效應方差與目標效應方差加絕對誤差方差之和的比。第31頁，共73頁，2023年，2月20日，星期四（四）D研究D研究的最后工作：根據綜合指標，找出最優測驗設計方案。第32頁，共73頁，2023年，2月20日，星期四概化理論分析常用軟件：GENOVA或mGENOVA。第33頁，共73頁，2023年，2月20日，星期四三、概化理論評價優點：1、概化理論是一套全新的測驗誤差分析方法，而且非常精細。2、概化理論引進了測驗設計的思想和方法。3、概化理論具有嚴謹的科學理論體系。第34頁，共73頁，2023年，2月20日，星期四三、概化理論評價缺點：1、概化理論本質上還是抽樣，研究本身會有誤差。2、計算方法相對復雜，給應用帶來一定困難。第35頁，共73頁，2023年，2月20日，星期四項目反應理論簡介第二節第36頁，共73頁，2023年，2月20日，星期四一、經典測驗理論回顧巨大貢獻、重要地位、繼續發揮作用歷史原因、先天不足、四個方面局限第37頁，共73頁，2023年，2月20日，星期四一、經典測驗理論回顧（一）測驗對被試的評價依賴于測驗項目的具體組合和項目數量評價指標：測驗原始總分局限：分數的解釋依賴于測驗的具體內容。對被試的比較被迫限制在同一份試卷上第38頁，共73頁，2023年，2月20日，星期四一、經典測驗理論回顧（二）測驗性能指標的估計依賴于被試樣本項目難度估計值會隨被試水平的變化而變化。區分度、信度和效度，本質上是相關系數，也都依賴于被試樣本。同一測驗在不同被試樣本上施測所估性能指標不一樣。第39頁，共73頁，2023年，2月20日，星期四一、經典測驗理論回顧（三）被試能力與項目難度兩指標的不一致性測驗總分的參照系是測驗項目全體。項目難度的參照系是被試全體例。兩個指標的參照系不相同，被試能力分數與項目難度兩指標不匹配。第40頁，共73頁，2023年，2月20日，星期四一、經典測驗理論回顧（四）測驗誤差估計的不精確性經典理論中測驗的信度估值是不精確的、籠統的。信度不是按定義公式求取而是借助于“平行測驗”假設估計得到的。經典理論以同一誤差估計值評價所有被試測值非常籠統，很不精確。第41頁，共73頁，2023年，2月20日，星期四一、經典測驗理論回顧結論：經典測量理論的這些局限性限制了測量在實踐中的應用。項目反應理論（IRT）是在這背景上發展起來的一種全新的現代測驗理論。第42頁，共73頁，2023年，2月20日，星期四二、項目反應理論基礎（一）潛在特質理論（LatentTraitTheory）潛在特質:制約行為的心理特質，沒有明確其物理與生理屬性測量學研究“潛在特質”的目的：探清結構和性質，將其數量化，測量個體特質變量值，預測個體行為。第43頁，共73頁，2023年，2月20日，星期四（一）潛在特質理論

潛在特質空間定義：對于人的某種任務行為起制約作用的若干潛在特質的集合稱為潛在特質空間，相互獨立的潛在特質的個數稱為空間的維度。第44頁，共73頁，2023年，2月20日，星期四（一）潛在特質理論

K維潛在特質空間表示：

其中的每一個稱為一個潛在分量。第45頁，共73頁，2023年，2月20日，星期四（一）潛在特質理論完備的潛在特質空間定義：如果一個K維潛在特質空間包含了制約人某種任務行為的所有潛在特質，稱其為一個完備的潛在特質空間，簡稱全特質空間。第46頁，共73頁，2023年，2月20日，星期四（一）潛在特質理論測量單維性定義：如果制約某種任務行為的空間既是一維的，又是完備的，則稱這一任務行為的測量具有單維性。單維IRT模型是最為人們熟悉的。第47頁，共73頁，2023年，2月20日，星期四（二）項目特征曲線（ItemCharacteristicCurve,ICC）項目特征曲線原理：編制質量良好的試題，隨著被試水平的提高，其正確作答的概率會越來越大。第48頁，共73頁，2023年，2月20日，星期四（二）項目特征曲線

經典測量理論項目特征曲線實質：被試正確作答概率對測驗總分的回歸曲線項目反應理論項目特征曲線實質：被試在項目上正確作答概率對被試潛在特質的回歸曲線。第49頁，共73頁，2023年，2月20日，星期四（二）項目特征曲線項目特征曲線在正常情況下與漸變式的S形中心對稱曲線擬合。項目特征曲線的解析式被稱為項目特征函數，也即通常所說模型。第50頁，共73頁，2023年，2月20日，星期四（二）項目特征曲線

圖

項目特征曲線

第51頁，共73頁，2023年，2月20日，星期四（三）項目反應理論的基礎模型1.雙參數正態肩形曲線模型（1952年洛德給出）（NormalOgiveModel）

第52頁，共73頁，2023年，2月20日，星期四1.雙參數正態肩形曲線模型b的意義：將代入模型，即可得:b是對稱曲線的中心與拐點，是曲線的定位參數。IRT難度定義：在項目上恰有0.5正確作答概率的那些個體的能力值b為該項目難度值。第53頁，共73頁，2023年，2月20日，星期四1.雙參數正態肩形曲線模型a的意義：將模型對求導，將代入，可得。a是曲線拐點（難度點）的斜率。曲線越陡峭，難度點附近不同被試正確作答概率的差異越大

a定義為區分度

第54頁，共73頁，2023年，2月20日，星期四1、雙參數項目特征曲線

1

1/2

0

b

圖雙參數模型的項目特征曲線

第55頁，共73頁，2023年，2月20日，星期四（三）項目反應理論的基礎模型（續）2.Rasch模型丹麥學者拉希建Rasch模型Rasch模型的最大特點是它的項目參數只有難度。第56頁，共73頁，2023年，2月20日，星期四（三）項目反應理論的基礎模型（續）3.Logistic模型伯恩鮑姆（Birnbaum，1958）雙參數Logistic模型：

其中D一般取1.7令a=1，成單參數Logistic模型。第57頁，共73頁，2023年，2月20日，星期四（三）項目反應理論的基礎模型（續）增加一個參數c成為三參數Logistic模型：

參數c是S曲線的下漸近線，稱為“偽機遇參數”

第58頁，共73頁，2023年，2月20日，星期四三參數項目特征曲線

P()1(1+c)/2

c

三參數模型的項目特征曲線第59頁，共73頁，2023年，2月20日，星期四（四）項目反應理論的優良性質1.被試能力估計獨立于測驗項目的選擇項目反應理論生成獨立于項目內容的被試水平測量。這一優點為發展自適應測驗提供了理論基礎。

第60頁，共73頁，2023年，2月20日，星期四（四）項目反應理論的優良性質2.項目參數估計獨立于被試樣本項目特征曲線的本質：被試作答正確率對能力的回歸。刻畫回歸曲線形態的參數，即a、b、c與被試分布無關。這一性質為建設大型題庫提供了保證。

第61頁，共73頁，2023年，2月20日，星期四（四）項目反應理論的優良性質3.被試能力參數量表與項目難度參數量表的一致性1、可準確預估被試的正確作答概率。2、可針對被試能力選擇試題，是進行自適應測驗的技術保證。

第62頁，共73頁，2023年，2月20日，星期四（四）項目反應理論的優良性質4.可以精確估計每一測試項目以及測驗針對每一個被試施測的測量誤差項目信息函數：

測驗信息函數：

第63頁，共73頁，2023年，2月20日，星期四（四）項目反應理論的優良性質4.可以精確估計每一測試項目以及測驗針對每一個被試施測的測量誤差（續）針對每一個被試施測的測量標準誤：第64頁，共73頁，2023年，2月20日，星期四二、項目反應理論基礎（續）（五）項目反應理論模型的參數估計和模型—數據資料擬合檢驗1、根據測試數據估計出所有的參數應用軟件如：BILOG、PASCAL、MULTILOG，ANOTE2、通過模型—數據資料擬合檢驗，證明模型可用商業軟件中同時提供擬合檢驗程序。

第65頁，共73頁，2023年，2月20日，星期四三、項目反應理論的部分特色應用簡介（一）用信息函數評價項目和測驗質量第66頁，共73頁，2023年，2月20日，星期四（一）用信息函數評價項目和測驗質量

項目信息函數是項目質量綜合指標。

某項目信息函數圖（a=1.0064b=-1.6972c=0.2526）這是一個中上質量項目第67頁，共73頁，2023年，2月20日，星