地理教育測量與評價 西南大學 地理科學學院 蘇迎春 2011年10月 西南大學 地理科學學院 蘇迎春 2011年10月 第七章 地理測試命題質量分析 第一節 試題質量的初步評價 第二節 試題的信度 第三節 試題的效度 第四節 項目質量評價 第一節 試題質量的初步評價 第二節 試題的信度 第三節 試題的效度 第四節 項目質量評價 第一節 試題質量的初步評價第一節 試題質量的初步評價 一 測驗分數的分布狀態 二 平均分 三 標準差 一 測驗分數的分布狀態 二 平均分 三 標準差 一 測驗分數的分布狀態一 測驗分數的分布狀態 1 表示形式 表示形式 頻數直方圖或頻數多邊圖 頻數是指在某分數段中出現測驗分數的次 數 2 作用 作用 通過對測驗分數分布狀態的描述 可以從一個 側面反映出試題的質量水平 3 頻數直方圖制作步驟 頻數直方圖制作步驟 第一步 求全距第一步 求全距 全距是指要處理的所有測驗分數中最高分與最低分 的差 一般用R來表示 即 R 最高分數 最低分數 全距的作用 反映全部測驗分數的分布范圍 全距的作用 反映全部測驗分數的分布范圍 第二步 定組數第二步 定組數 組數一般根據全距R和測驗分數的個數n來確定 用I 表示 R值越大 測驗分數的個數n越多 組數就會越 多 第三步 定組距第三步 定組距 組距即為全距R與組數I相除后取整 第四步 確定組限第四步 確定組限 根據組距和全距確定每組的上限和下限 通常約定 每組只含下限 不含上限 即每組都是左閉右開區間 第五步 求組中值第五步 求組中值 即求每組的中點值 用M表示 其方法為 M 組實際下限 0 5ZR 第六步 列頻數分布表第六步 列頻數分布表 統計落在每個組中的測驗分數的個數 即每個組的 頻數 將其填入頻數分布表的相應位置 第七步 根據頻數分市表繪制頻數直方圖第七步 根據頻數分市表繪制頻數直方圖 方法 在一個直角坐標系中 以橫坐標表示測驗分 數 從左到右標出各組分數的組中值 用縱坐標表示頻 數 從上到下等距地標出頻數數值 分別以各組的組距 為底邊 以組中值作為底邊的中點 頻數為高 對每組 作矩形 4 頻數多邊形圖 曲線圖 制作 頻數多邊形圖 曲線圖 制作 方法與直方圖類似 5 示例 示例 6 結果分析 結果分析 1 分布曲線的幾種形態及其意義 分布曲線的幾種形態及其意義 正態分布 表明在高分段稠低分 段的人數明顯少于中間分數段的 人 說明試題設計比較合理 試 題難度 區分度分布正常 正偏態分布 低分段出現 的人數明顯偏多 說明難 度偏高的題目多 試題難 度過高 呈負偏態分布 高分段出 現的人數偏多 說明難度 偏低的題較多 試題難度 偏低 呈高峰形的正態分布 中間段 分數出現的人數特別集中 學生之間的差距沒有拉開 說明中等難度的題目比例過 高 試題區分度較差 平峰形的正態分布 各分 數段出現人數的差異較 小 說明試題中不同難度 題目的比例比較接近 雙峰形分布 高分段和低分段出現 的人數多 而中間分數段的人數 偏少 說明難度過高和過低的題 目偏多 而中等難度的題目偏 少 試題難度梯度大 6 結果分析 結果分析 2 示例的結果分析 示例的結果分析 學生測驗分數的頻數直方圖和頻數多邊圖來看 基本上呈 一種負偏態分布狀態 如果不考慮其他因素對學生測驗分數的 影響 這次測驗試題的總體難度是偏低的 中等程度的學生和 程度較高的學生沒有拉開距離 二 平均分二 平均分 1 算術平均分 算術平均分 一組測驗分數的總和與分數個數相除所得的 商 2 加權平均分 加權平均分 在同一次 地理測驗中 如果已經知道 各個被試組測 驗分數的算術 平均分 要求 計算所有考生 的平均分時 則需要用加權 平均分來計 算 三 標準差三 標準差 用于描述測驗分數的離散程度 當一組測驗分數的離散程度比較大時 則對應的平均 分的代表性就比較小 反之則比較大 表示測驗分數離散程度的特征量數 全距 平均差 四分差 方差 標準差等等 比較常用的是標準差 第二節 試題的信度第二節 試題的信度 一 相關系數 二 信度 三 常模對照測驗的信度 四 目標參照測驗的信度 一 相關系數 二 信度 三 常模對照測驗的信度 四 目標參照測驗的信度 一 相關系數一 相關系數 1 概念 概念 相關系數 描述兩個變量之間相關程度的量 2 計算模型 計算模型 3 示例及結果分析 示例及結果分析 分析 分析 在以主觀性試題為主的地理測驗題和以客觀性試題為主地理測驗 題的考試中所取得的成績是呈高度正相關 在不考慮其他因素影響的前 提下 表明主觀性試題和客觀性試題這兩種題型都能比較好地考查學生 對有關地理知識掌握的情況 即主觀分高 客觀分也高 二 信度二 信度 1 概念 概念 信度也稱 可靠性 或 測驗分數的穩定性 是指測量的一致性程 度 即同一個測驗在不同時間上聽得結果的一致性 2 常用指標及意義 常用指標及意義 相關系數作為數據指標來衡量測驗的一致性程度 也稱為信度 系數 信度系數的取值范圍 0 1 意義 意義 值越大 測驗的可信程度越高 試題的 可靠性 也就越 好 即它在多大程度上能準確地反映學生學習的真實水平 3 試題質量對信度系數的影響 試題質量對信度系數的影響 一是題目的數量 一是題目的數量 如果題目很少 則測驗所得分數越容易測驗 的信度就會降低 反之 則會提高測驗的信度 二是題目的難度二是題目的難度 題目的難度會影響到測驗分數的分布范圍 從而影響測驗結果的信度 如題目難度過大 考生大部分得低分 測驗分數頻數分布曲線形成正偏態分布 分數間的差異較小 三是題目的區分度三是題目的區分度 因為只有當題目有較好的區分度時 才能 正確反應學生的學習效果 并保證測驗結果的 穩定性 和 可靠性 三 常模參照測驗的信度三 常模參照測驗的信度 1 重測法 重測法 重測法是指用同一份試題在不同的時間對同一 學生群體進行兩次測驗 以這兩次測驗分數之間的 相關系數作為信度系數的一種方法 用重測法求得信度系數又叫重測信度重測信度或穩定性 系數 穩定性 系數 它反映的是兩次測驗分數之間的一致性程 度 如果兩次測驗分數的相關性越好 說明測驗的 信度就越高 表明試題的穩定性好 影響因素 影響因素 重測的時間間隔 間隔時間過短 易產生練習效應 過長 知識背景變化 會影響第 二次測驗 2 復本法 復本法 編制一份在內容 形式 難度 區分度 評方 方法 題量 分值 測驗時間等都與原題基本相同 或相似的復本 對同一學生群體進行測驗 用復本法求得信度又叫復本信度復本信度 復本信度系數又稱等值性系數值性系數 影響因素 時間間隔影響 總體上 復本法優于重測法 總體上 復本法優于重測法 3 折半法 折半法 1 基本原理 基本原理 將整份測試卷的全部題目分成對等的兩半 然后依據考 生群體中每位考生在兩半部分題目上的得分 計算積差相關 系數 積差相關 系數 最后用相應的校正公式對積差相關系數加以校正 以 求得測驗或測驗試卷的整體信度系數 2 折半常用方法 折半常用方法 一是完全隨機分半 二是奇偶題目分半 即奇數題組成 一個部分 偶數題則為奇數題的復本 三是測驗試卷分成若 干個內容塊 再將各內容塊的題目奇偶分半 所有奇數題和 所有偶數題各組成一個分測驗 3 指標 指標 用折半法求得的測驗或測驗試卷的整體信度 叫折半信 度 其信度系數叫折半信度系數 4 意義 意義 折半信度主要反映的是測驗或測驗試卷內部所有題目之 間的一致性或同質性程度 四 目標參照測驗的信度四 目標參照測驗的信度 1 分階段比較法1 分階段比較法 1 基本原理 基本原理 分階段比較法是對考生在前后兩個階段的目標參照測 驗結果進行對照 以后一階段的測驗結果來檢驗前一階段 測驗的信度 通過分析 了解測驗內容與實際教學中要求 掌握的肉容之間的一致性程度 測量試題內容的質量 如 果信度高 說明試題內容反映了學要求 試題質量較高 否則 試題質量低 2 具體步驟 具體步驟 第一步 對考生進行第一次測驗第一步 對考生進行第一次測驗 前期目標預測測驗 即 對考生進行一次較低水平的目標參照測驗 確定一個決斷 分數 從測驗中找出高出決斷分數的考生 并認為這些考 生已具備進入下一階段學習所需要的條件 第二步第二步 后期目標檢測測驗后期目標檢測測驗 讓這一部分考生進入下一階 段的學習或訓練 在完成學習或訓練之后 對考生進行第 二次測驗 第三步 分析結果第三步 分析結果 因為這部分考生在第一次測驗之后被 認為已經具備進入下一階段學習的條件 因此在第二次測 驗中能達到目標的可能性應該比較大 如果在第一次測驗 中達到目標的大部分考生在第二次測驗中也能達到所規定 的目標 則認為上一次測驗的信度是高的 如果在第一次 測驗中達到目標的許多考生花第二次測驗中得分很低 沒 有達到所規定的目標 則認為第一次測驗的信度不高 四 目標參照測驗的信度四 目標參照測驗的信度 2 復本法2 復本法 1 基本方法 基本方法 用兩份等值測驗試卷對同一考生群體進行兩次側 驗 事先確定一個決斷分數決斷分數 如果考生的測驗分數低 于決斷分數 則認為不合格 然后統計出兩次測驗中 均合格 兩次測驗都合格 人數 a 和均不合格人數 b 用兩者的總數與參加測驗總人數 n 的百分比 來判斷測驗的信度 即用兩次測驗合格與不合格的一 致性百分比作為測驗的信度 r 2 示例 示例 第三節 試題的效度第三節 試題的效度 一 效度的概念 二 幾種常用效度及估算方法 一 效度的概念 二 幾種常用效度及估算方法 一 效度的概念一 效度的概念 1 效度的概念1 效度的概念 效度也稱 測驗的有效性 是指某次測驗所能 提供的對某一特質所做預測的理想程度 即測驗在 多大程度上測試了所要測的內容 它代表的是測驗 的準確性準確性 2 效度的類型2 效度的類型 根據不同用途 效度通?？梢苑譃閮热菪Ф?效標關聯效度和構想效度 二 內容效度二 內容效度 1 內容效度的含義 內容效度的含義 內容效度是指測驗內容反映出考生掌握相關的教學 內容和實現預期能力提高的程度 即測驗的內容能否反 映所要測試的目的和要求 例 在測驗考生掌握 時差 這一概念程度時 用 北京位 于東八區 東京位于東九區 當北京是2000年11月21日 晚上12點整時 東京是2000年 月 日 點 這一題目 來測試 顯然要比 中國的首都是 日本的首都 是 這種測驗試題更具有 內容代表性 即內容效度 更高 2 影響內容效度的主要因素 影響內容效度的主要因素 教學內容和教學目標是內容效度的兩個重要因素 3 內容效度的評價方法 內容效度的評價方法 內容效度主要是通過比較地理測驗內容與地理課程 標準要求的一致性程度 地理測驗內容與地理課程 標準要求的一致性程度來衡量 常采用雙向細目表 將測驗內容對照雙向細目表進 行邏輯分析和比較的方法 具體方法 1 根據想要測驗的教學內容范圍編制一份雙向細 目表 它包括教學內容和教學目標兩大維度 各維度又 分為若干個小項 列出每一項的相對比例 2 分析測驗試卷的每一個題目 確定它們所涉及 的相關地理知識和技能 列出涉及同一教學內容和教學 目標的題目 并統計它們的分值及在整份測驗試卷中所 占比例 3 把測驗試卷的內容結構與相應的雙向細目表進行 比較分析 計算測驗內容對雙向細目表范圍的覆蓋率 從而獲取衡量內容效度的指標 三 效標關聯效度三 效標關聯效度 1 相關概念 相關概念 效標效標 被測驗的內容即檢驗測驗效度的標準 同時效度同時效度 測驗分數與作為效標的分數獲得的時 間間隔比較短 預測效度預測效度 測驗分數與作為效標的分數獲得的時 間間隔比較長 效標關聯度效標關聯度 指某測驗對考生目前或將來的某種 能力 行為進行測試 預測的有效性 2 效標關聯度評價方法 效標關聯度評價方法 相關法相關法 相關法 是指用統計方法求出被測測驗與效標測 驗兩者所得分數之間的相關系數 作為衡量效標關聯 效度高低的指標 第四節 項目質量評價第四節 項目質量評價 一 平均得分率 二 難度系數 三 極端平均得分率和極端難度系數 一 平均得分率 二 難度系數 三 極端平均得分率和極端難度系數 一 平均得分率 p 一 平均得分率 p p越大 通過率越高 難度越小 反之 越