教育測量與評價四川民族學院教育科學系

田澤森第三章教育測量與評價的質量特性第一節教育測量與評價的信度第二節教育測量與評價的效度第三節教育測量與評價的難度第四節教育測量與評價的區分度衡量教育測量的質量，可采用四個指標：信度主要對整個測量而言。效度

分度主要對測量的項目（題目）而言。難度區第一節教育測量與評價的信度一、什么是信度信度是指測量結果的穩定性或可靠性程度。即：用同一量表測量同一特質對象，多次測量間的一致性程度。一般地說，一個好的測量必須具有較高的信度，也就是說，一個好的測量工具，只要遵守操作規則，其結果就不應隨工具的使用者或使用時間等方面的變化而發生較大的變化。必須從以下兩個方面去理解測量的信度：信度指實測值（X）和真值（T）相差的程度；信度指兩次重復測量或等值測量之間的關聯程度。二、信度的統計定義X=T+E誤差E的平均數為零，且與真分數T之間是相互獨立的，及相關系數是零。公式推導、兩邊求方差。方差、相關系數信度的三種統計定義：1、真分數方差與觀察分數方差之比：測驗的信度一般在0和1之間取值（？），信度越接近1，考試的信度越高。2、被試團體的真分數與觀察分數的相關系數的平方。3、被試團體在測驗X（A卷）的觀察分數與在測驗X的任意一個“平行測驗”X’（B卷）上的觀察分數的相關系數。第一、第二種定義為理論定義，不具有實際操作意義，第三種可以實際操作。因為真分數很難確定，不可得。三、信度的估計方法（一）重測信度指的是同一個量表對同一組被試施測兩次所得結果的一致性程度。其大小等于同一組被試在兩次測驗上所得分數的相關系數，一般采用皮爾遜積差相關的公式來計算。例一用一個算術四則的速度測驗12個小學生，得分記為X，為了考察測量結果的可靠性，于3個月后再測一次，得分記為Y，問測驗結果是否可靠？學生序號123456789101112X202021222323232425262627Y202121202323252526262729在使用重測法計算穩定性系數時，應注意以下問題：1、信度的取值范圍為[0，1]，當信度值較大時，說明前后兩次測量結果比較一致；2、兩次測驗之間的時間間隔要適宜。應由測驗的性質、測題類型、測題數量和被試特點所決定；3、重測法適用于速度測驗而不適用于難度測驗；4、適用于運動技能的測驗，如跑、跳，較少受重復測量的影響。（二）復本信度指的是兩個平等的測驗測量同一批被試所得結果的一致性程度。其大小等于同一批被試在兩個復本測驗上所得分數的相關系數。所謂復本測驗（也稱平行測驗）是指在性質、內容、題型、題數、難度等方面都一致（或相等）的兩份或多份測驗。但試題不相同。實施復本測驗的兩種方式：P49復本測驗不僅適用于難度測驗，也是估計速度測驗信度的好方法。在作追蹤研究或探討某些影響測驗因素成績的因素時，大多使用復本測驗，分析復本信度。例二以A、B兩型英語復本測驗對初中三年級10個學生施測，為避免由測驗施測順序所造成的誤差，其中5個學生先做A型測驗，休息15分鐘后，再做B型測驗；而另5個學生先做B型測驗，休息15分鐘后，再做A型測驗。10個學生A型測驗結果記為X，B型測驗結果記為Y，其測驗的復本信度如何？學生序號12345678910X19191817161515141312Y20171818171513151212復本信度的優缺點表現：優點：1、測驗的兩個復本，如果在不同的時間使用，其信度既可以反映在不同時間的穩定性，又可以反映對于不同測題的一致性；2、兩個復本在同時使用時，可以避免再測信息的一些缺點，如首測時再測在記憶、練習、效果的影響，間隔期間獲得新知識的影響，兩次施測的環境不同和被試主觀狀態不同的影響，以及為了應付測驗所作訓練的影響等。缺點：1、編制兩個完全相等的測驗是很困難的，如果兩個復本過分相似，則變成再測形式，而過分不相似，又使等值的條件不存在；2、兩個復本測驗有可能在某種程度上測量了不同的性質，這就會低估測驗的信度；3、被試同時接受性質相似的兩個測驗，可能減少完成測驗的積極性；4、雖然兩個復本測驗的題目材料不同，但被試一旦掌握了解題的某一模式，就能觸類旁通，有可能失去復本的意義。3、折半信度（分半信度）就是將測驗分半，再求被試在每一半測驗上所得分數的相關系數。首先根據內容、形式、題數、平均數、標準差、難度、測題間相關以及分布形態相等的原則，將試題分成兩半，或者將從易到難排列的測題，按照測題序號，奇數測題為一組，偶數測題為一組，分成兩半；然后計算每個被試在兩個分半測驗分數的積差相關系數，再用斯皮爾曼—布朗公式加以校正。斯皮爾曼—布朗公式為4、標準參照測驗的信度分析百分比一致性指標5、測量標準誤測驗信度的一個重要應用，反應測量結果精確性和可靠性的一個指標，正確解釋測驗分數的科學依據。6、評分者信度含義：多個評分者給同一批人的答卷進行評分的一致性程度。（主觀題）計算方法：（1）兩個人時，兩個人所給分數的相關系數。（2）多人評分是，肯德爾和諧系數例三對初中一年級學生進行地理成績測驗，每答對1題得1分，答錯1題得0分，其測驗結果如下表，試估計該測驗的折半信度？學生序號題序

12345611000002000100310100041100105100100611101171111018110110901100110111111作業1、用某量表測驗10名學生，得分記為X，為了考察結果的可靠性，于15天后用原量表對這10個學生重測一次，得分記為Y，問測驗結果是否可靠？學生序號12345678910X810961075794Y91010610848942、對10名應試者先進行某種測驗X，隔適當時間后（半年），再進行內容、范圍、難度類似的第二次測驗Y，試求測驗的復本信度？應試者12345678910X9101061084894Y49794353243、有一個由100題構成的量表施行于10個高三學生（分數見下表）。測驗一次后，學生即畢業離校，現怎樣評價測驗結果的信度？學生序號12345678910奇X38373841403638394035偶Y37373639393438393936（三）提高信度的方法1、影響測量信度的主要因素（1）被試方面（2）主試方面（3）施測情境方面（4）測量工具方面（5）兩次施測的間隔時間方面2、提高測量信度的常用方法（1）適當增加測驗的長度（2）測驗的難度要適中（3）測驗的內容應盡量同質（4）測驗的程序應統一（5）測驗的時間要充分（6）測驗的評分要盡量做到客觀化，減少評分誤差二、效度的概念（一）什么是效度效度是指測量結果的準確性和有效性的程度。也可以說是測量是否達到了預期的目的。1、效度是一個相對的概念。（1）測量的效度是相對一定的測量目的而言的(鑒別，選拔或診斷)（2）測量的效度是相對測量的結果而言的2、一種測量的效度只是高或低的問題測量結果總是有一定效度的，只是效度高低不同罷了。（二）效度的估計效度估計就是多方尋找證據來證明一個測驗的有效性程度的過程。1、內容效度就是指測驗內容對所要測量的內容的代表性程度。也就是說，測驗的內容范圍、材料與所要測量的內容范圍、教育目標是否相符合；測驗中測題所引起的行為是否是所要測量的屬性的明確反應；測驗的結果是否是一個有代表性的行為樣本。為了使測驗的內容具有有效性，成為所欲測量內容的一個具有代表性的行為樣本，在編制測驗時，就要考慮建立內容效度的問題。內容效度：教學目標、教材要求——測驗試題樣本適用于：教育測量（學業成就測驗）用于選拔和分類的職業測驗。不適用于：心理測驗，如智力、創造性、人格等。2、內容效度的估計（1）邏輯分析法其工作思路是請有關專家對測驗題目與原定內容范圍的吻合程度作出判斷。（命題雙向分類表——題目雙向分類表）（2）統計分析法從同一個教學內容總體中抽取兩套獨立的平行測驗，用這兩個測驗來測同一批被試，求其相關。若相關高，表明測驗內容效度較高；若相關低，表示測驗的內容效度較低。例一在《社會發展史》某一單元教學之前，對學生進行有關這一單元內容的測驗。教學之后，再以復本測驗施測，兩次測驗分數如下，試檢定測驗的內容效度？學生序號12345678910教學前X34403230313544334236教學后Y52645054586372626250結論教學前后學生在兩個復本測驗上得分的平均數有極顯著性差異，從而可以作出判斷，《社會發展史》中該單元測驗的內容具有有效性，或內容效度較高。內容效度主要應用于成就測驗、學科測驗、選拔和分類職業測驗。內容效度不適合用于能力傾向和人格測驗。2、結構效度是指測驗對于人的心理特性或理論概念測量到的程度。通常用某種操作來定義，并用測驗來測量。例如：人的創造力可以分解為人的思維流暢性、靈活性和創造性三大特性，并根據這三大特性編制測驗，若有足夠的證據來證明該測驗確實可以測到這些特性，則認為該測驗是個結構效度較高的創造力測驗。（1）結構效度的特點結構效度的大小完全取決于事先假定的心理特質理論，一旦人們對同一種心理特質有著不同的定義或假設，則會使得關于特質測驗的結構效度的研究結果無法比較。當實際測量的資料無法證實我們的理論假設時，并不一定就表明該測驗結構效度高。因為還有可能出現理論假設不成立，或者該實驗設計不能對該假設作適當的檢查等情況，這就使得結構效度的獲取更為困難。（2）建立結構效度的步驟A、提出理論假設；B、根據假定結構擬定測題，編制測驗；C、以測驗結果為根據來驗證假設結構中的各種因素是否成立。（3）結構效度的估計1、內容效度；2；作答過程分析；3、測驗的同質性（p61）4、因素分析法其目的是把一些具有錯綜復雜關系的因素歸結為數量較少的幾個綜合因素或稱共同因素，并以此測驗所測之特質對測驗分數作出解釋。考察測驗的實證效度1、差異被試比較法2、先后測試分析法與內容效度不同，結構效度主要用于智力測驗、人格測驗等一些心理測驗方面。3、效標關聯效度是以測驗分數和效標之間的相關系數來表示測驗效度高低的方法。例如：某年全國高考物理學科的測驗效度，可用大學一年級物理學科的測驗分數為效標，然后求同一組學生高考物理得分與大一物理得分之間的相關，此相關系數就是該年高考物理測驗的效標關聯效度系數。當這個相關系數與總體零相關有顯著性差異時，相關系數的值（正值）越大，效度就越高；相關系數的值越小，效度就越低。根據校標資料獲得的時間不同及測驗使用的目的不同，校標關聯效度可分為：（1）同時效度（2）預測效度效標不僅隨測驗的種類不同而不同，而且可能隨時間而改變，現在是一個好的成功的效標，將來就不一定是。所以，為某個測驗選擇一個最有效的效標，這是最重要的事情。教育測驗的效標，可采用各學科成績和教師評定的結果；智力測驗的效標，可采用學科成績、教師評判的結果、學生總成績、受教育年限、年齡以及其他事物；能力傾向測驗的效標，可采用特殊課程或特殊訓練的成績；職業興趣測驗的效標，可采用從業人員實際服務成績或記錄；人格測驗的效標，可采用編制者的主觀標準，或以被試以后行為或臨床資料。效標關聯效度的估計方法（1）相關法由于測驗分數和效標分數這兩個變量的類型不同，二者相關系數的計算方法也就不同。A、積差相關法：適用于兩個變量為連續變量進行顯著性檢驗：自由度df=N-2，檢驗的是兩個變量，都減去2；置信度取0.05，查相關系數界值表，尋找臨界值；結論：r>臨界值，說明顯著相關，效度高；r<臨界值，說明無相關，效度低。例二用一套高中數學成就測驗對某校高一10個學生施測，其測驗分數X如下，并以這些學生的物理學科考試成績為效標，試估計高中數學成就測驗的效標關聯效度系數，且檢驗數學和物理兩成績變量是否相關？效度如何？學生序號12345678910數學X88806860963232646475物理Y94785648703862787082B、等級相關法如找不到效標分數，可用等級分數（即排名的次數）來替代適用于連續變量數據小于30，精確度稍差于積差相關例三高中一年級學生10個學生數學測驗與物理學科成績如下表，試計算數學測驗的效標關聯效度系數？學生序號12345678910

原始分X88806860963232646475數學等級Rx235819.59.56.56.54

原始分Y94785648703862787082

物理等級Ry13.5895.51073.55.52C、點二列相關法當測驗分數和效標分數其中一個變量為連續變量，而另一個為真正的二分變量時，測驗的效標關聯效度系數用點二列相關系數來表示。適用于兩變量：一列變量為連續變量；另一列變量為二分名義變量。例四對16個學生的某一學科進行測驗，所得測驗分數如下，并從中探求學生的這次考試的成績與其預習與不預習的關系如何，也就是試估計學科成績測驗的效標關聯效度？（其中預習用1表示，不預習用0表示）學生12345678910111213141516成績97927568749978807064879654869380預習10101101010101102、顯著差異法（區分法）該方法的思路是：被試接受測驗后，讓他們工作一段時間，再根據工作成績好壞分成兩組，然后再回過頭來分析這兩組被試原先接受測驗的分數差異，若這兩種人的測驗分數差異顯著，則說明該測驗有較高的效度。作業1、用一套高中生物成就測驗對某校高二15個學生施測，其測驗得分如下，并以這些學生校內生物學科的期末成績為效標，試估計高中生物成就測驗的效標關聯效度？學生序號123456789101112131415測驗分數X423850404248394541434636544442校內成績Y7266857078836982727577829084802、小學五年級12個學生閱讀理解能力測驗與平時閱讀作業成績如下，試計算閱讀理解能力測驗的效標關聯效度系數？學生序號123456789101112能力測驗323334343637383940414345平時成績86497113513141210（三）提高測量效度的方法1、影響測量效度的因素測驗的構成（要素）測驗實施方面（過程）被試主觀狀態方面估計效度所依循的效標樣本方面2、提高測量效度的方法控制系統誤差精心編制測驗量表擴充樣本的容量和代表性合理處理效度和信度的關系妥善組織測驗適當增加測驗長度三、難度難度是指試題的難易程度。一道試題，如果大部分被試都能答對，則該題的難度就小；如果大部分被試都不能答對，則該題的難度就大。一個題目的難度大小，除了所測的內容本身的難易程度有關以外，還與測驗的編制技術和被試的知識經驗有關，由于學得不清楚或者因被試沒學過，一個本來容易的題可能變難。這就是說測驗的難度具有相對性，正因為此，必須讓試題通過實踐來對難度作出檢驗。難度的計算（一）基本公式1、客觀題（二值記分）難度的計算(通過率答對答錯之分)P=K/N

K為答對該試題人數，N為參加測驗總人數例1：在100個學生中，答對第一題的30人，答對第二題的60人，求第一、二道題的難度？比較這兩道題誰比誰難？2、主觀題（多值記分）難度的計算某題的平均得分與該題的滿分之比一套試卷的難度計算，平均得分比上試卷滿分。例2：某道論述題滿分12分，所有考生在這道題上的平均得分為3.6分，求該題的難度？例3：語文測驗第五題最高得分為12分，這道題考生的平均得分是8.5分，求該題難度？例4：60人參加考試，某題滿分為12分，正確得分累積是480分，求該題難度？（2）極端分組法步驟：將測驗總分進行高低排序（由高到低）進行高低分組（各取27%），并計算某題的得分率求兩組的平均值公式：P=（PH+PL）/2PH為高分組答對該題的百分比；PL為低分組答對該題的百分比。例5某區域1000人參加考試，試卷第一題高分組180人答對，低分組60人答對，求該題難度？如果該題滿分為10分，高分組得分總數為2100分，低分組得分總數為830分，求該題難度？還有，以全體被試的失分率為難度系數即：q=1-p2、難度的分析與控制（1）難度分析進行難度分析的主要目的是為了篩選題目。A、測驗題目難度水平的確定測驗題目難度水平的適當與否，取決于測驗的目的、性質和題目的形成。當P值接近于0或接近于1時，即被試在該題上全部答對或全部答錯，則該題無法提供個體的信息。而只當P值接近于0.50時，題目才能把被試做最大的程度的區分。但在實際工作中，若每一題的難度值均為0.50，那么此測驗很可能只能區分出好與差兩種極端被試的差異，卻不能對各種被試作更精確的區分。因此，一般各題的難度可在0.50+0.2之間。B、測驗難度對分數分布的影響測驗的難度直接依賴于組成測驗的題目的難度，通過考察測驗分數的分布，可以對測驗的難度做出直觀檢查。由于多數人的心理特性多數呈正態分布，因此當測驗目的在于測量個體差異時，若被試樣本具有代表性，則其結果應呈正態分布。測驗分數背離正態分布有兩種情況：其一是題目難度普遍較大，被試得分普遍較低，使得低分端出現高峰，呈正偏態；其二是題目難度普遍較小，被試的得分普遍較高，使得高分端出現高峰，呈負偏態。2、難度的控制一般說來，影響題目難度的主要因素有：考察知識點的多少；考察能力的復雜程度或層次的高低；考生對題目的熟悉態度；命題的技巧。難度控制：正確估計考生水平；弄清弄懂各知識點；掌握命題技巧。四、區分度（一）區分度的含義指測驗題目對考生實際水平的區分程度或鑒別能力。如一道題，學業水平、實際能力都較高的考生都答對了；而學業水平、實際能力都較低的考生都答錯了，則可認為該題目有好的區分度。區分度分析：尋找客觀標準——外部標準和內部標準。外部標準——外在校標法，分析被試在測驗題目上的得分與外在客觀標準上的表現之間的關系。內部標準——內部一致性發，分析被試在測試題上的得分與在整個測驗總分之間的一致性程度。主要使用后者，即題分與總分的相關程度。區分度（D）的取值范圍介于-1.00—+1.00之間，值越大，區分度的效果越佳。區分度D>0為正區分（積極區分），D<0為負區分（消極區分），D=0為零區分(無區分作用)1、相關法點雙列相關法例8：15個學生在數學測驗中得分記錄如下，計算數學測驗中第一題的區分度？學生123456789101112131415測驗657031498050351081697855779042第一題010110100110110（二）區分度的計算二列相關例9：已知一測驗中某選擇題的通過率為0.5，答對者的測驗總分平均為76分，答錯者的測驗總分平均為63分，全體被試20人總分的標準差為16，求該題的區分度？積差相關系數非二分計分題目：區分度等于得分與測驗總分的積差相關系數。2、高低分組法在測驗分數序列中高分組、低分組被認為是兩個極端校標組。兩個極端極端校標組在特定題目上的反應差別程度可以刻畫該題目的區分度。（1）客觀性試題D=PH-PL例6：有道試題，高分組有70%學生通過，低分組有30%的學生通過；而另一道題，高分組有40%學生通過，低分組有70%學生通過，求兩題的各自區分度？（2）主觀題D=（H-L

）/F

H為高分組在特定題目上的平均分。

L為低分組在特定題目上的平均分。F為該道題的滿分值高分組、低分組取應試總人數的27%。課后14——1、2.D值越高，題目的區分度越好。適用于各類題分情況。常用高低分組法來計算題目的區分度。艾貝爾項目區分度評價標準。（三）提高區分度的方法1、使題目的難度適中，使整個考試難度適中題目的難度適中可使區分度達到最大值，因此，使難度適中是提高區分度的重要方法。2、著重考察復雜的學習結果使高能學生得高分或低能學生得低分，使分數盡量分布在整個分數量尺上。3、掌握區分度的評價標準。第五節教育測量與評價方案的可用性方案的可用性是指方案質量性能可靠穩定，針對性強，對于所有被試與評價的對象是客觀公平的，同時在操作上具有可行性、易用性、經濟性等特點。信度效度難度區分度一、科學性、公平性、可行性1、科學性：即要有較高的信度和效度。標準化學業成績測驗要求信度系數在0.9以上。效度上要從內容效度、結構效度、校標關聯效度三方面考慮，要具有高的效度。2、公平性：測量與評價方案對于任何一位被試測量或被評價的對象而言，有相同的機會獲得好的成績。但常存在測驗偏差，不可能絕對公平。（如魚頭魚尾作文）首先，評價方案的內容要公平。（第一次去公園、估計三層樓的高度等），其次，評價的指標（物理成績物理知識點和實驗操作技能等）、標準、權數和分值要合理。3、可行性：方案的制定符合實際，并能被人們所理解和接受。第一、方案的制定要充分考慮人力、物力、財力、時間、空間、技術等各種因素。第二、應具有易用性，也就是說方案的指標體系不要過于繁瑣，內容不要過多，結果計算要簡便易算。第三、方案具有可直接可測量性或可操作性，沒有歧義。（如思想覺悟——入黨、入團的要求、活動表現等轉化成指標。）二、針對性、區分性和簡潔性1、針對性：主要指效度。方案的內容及指標體系必須充分科學地反應教育目標或測量目標。（按能力分班——智力、學業成就測量就要特別突出，而不是注重人格測驗）2、區分性：主要指區分度、難度。指方案中的每一項內容、每一個指標及其相應的評價標準，必須符合目前實際，能夠區分和鑒別評價對象在該指標方面不同的達到程度。（都達到或都達不到）社會認可效應：被試按社會評價標準作答，而非真實答案。3、簡潔性：方案的表達（文字）質量要高，對問題的表述要清晰、準確、通俗易懂，不會引起被試或評價者對問題的誤解。專業術語要通俗化，應避免多重含義的問題和多重否定的問題。多重含義：多重否定：第四章教育測驗的編制與實施一、教育測驗編制的一般程序（一）確定測驗目標1、什么是測驗目標測驗目標是測驗編制者所編制的測驗所要達到的某種具體的目的。它明確規定測驗所要達到的預期結果或標準。確定測驗目標是編制測驗的首要前提。2、測驗目標與教育目標分類測驗目標的確定是以教育目標分類理論為基礎的。（1）布魯姆的認知目標領域知識：這是最低等級的認知目標。主要指記憶知識。對學過的知識和有關材料的識別和再現。(公式G=mg、ma)理解：這是最低層次的理解。主要是對知識的掌握，其特點是脫離了“死記硬背”。（對地面壓力為500N,問此人大概多重）應用：指的是將學過的材料（知識）應用到新的具體情景中去。（月球上重力加速度為a，問此人的重力）分析：指能將知識進行分解，找出組成要素，并分析其相互關系及組成原理。（推理重力公式）綜合：與分析相反，指把各個元素或部分組成新的整體。（設計一個滑輪組、省力）評價：指根據一定的標準對事物給予價值判斷。（文理分科是否符合馬克思主義的全面發展觀）布氏上述六類目標是有層次、有順序的，知識是最低層次，是最基本的要求。其余依次是理解、應用、分析、綜合、評價。評價為認知領域的最高層次，是前面五種目標的綜合并增加了價值標準。這六類目標，由簡單到復雜，由低級到高級依次排列，組成層次結構。（2）我國認知目標的分類A、五分法知識理解應用分析綜合創造B、四分法識記理解簡單運用綜合運用（二）確定測驗內容測驗內容的確定，實際上也就是內容抽樣的決定和測驗目標的確立相結合而成。這一結合過程必須通過命題雙向細目表來確定。命題雙向細目表由3個要素構成：測驗目標測驗內容測驗目標和測驗內容的比例比例確定標準每一內容范圍的比例應與該內容項目在整個教學領域里的相對重要性相符合，這種相對重要性可由該內容項目的教學課時的多少來體現；每一目標層次所要求的比例應當與測驗編制者認為這個目標對所受測學生的水平所具有的重要性相符。測驗雙向細目表，是編制測驗的藍圖，它詳細說明了測驗的內容、測驗目標，對試題數量、考試時間安排、測驗分數分配等，都起著重要作用，因此，它是編制測驗必不可