上海市教委教學研究室上海市教委基礎教育質量監測中心2014年3月4日上海市“綠色指標”評價實踐

操作程序及要點

上海市教委教學研究室上海市“綠色指標”評價實踐

操作程序及上海綠色指標評價改革目標與任務總體目標：一是形成富有時代特色、地方特點、科學多元的中小學教育質量綜合評價體系，推動上海基礎教育轉型發展和素質教育全面落實。二是發揮科學評價的指揮棒作用，以中小學教育質量評價改革實驗推動教育教學諸領域的變革，形成區域改革實驗成果，逐步輻射有效經驗。具體任務：1.形成比較完善的中小學教育質量評價指標體系。2.形成比較科學的中小學教育質量評價辦法。3.形成比較健全的中小學教育質量評價制度。上海綠色指標評價改革目標與任務總體目標：具體任務：上海綠色指標評價改革實踐方案教育質量評價體系評價指標質量標準學科測試背景調查數據分析教育質量數據庫分析報告反饋與改進教育決策教學研究課堂教學系統反思修改、完善評價工具上海綠色指標評價改革實踐方案教育質量評價體系評價指標質量標準綠色指標操作程序及要點評價指標的內容工具研發報告撰寫數據處理結果應用考務工作評價指標的設計依據閱卷評分綠色指標操作程序及要點評價指標的內容工具研發報告撰寫數據處理評價指標的設計1評價指標的設計1評價指標的設計依據1、上海基礎教育發展過程中亟待解決的問題

上海15歲學生參加PISA2009、2012測試，在閱讀、數學、科學三個方面均取得了第一名的成績。2009上海學生每周課內外上課時間的總量（34.8小時）位居參與國（地區）第12位。2012上海學生每周作業時間11.8小時。評價指標的設計依據1、上海基礎教育發展過程中亟待解決的問題2、學業質量的上海理解學業水平：考試的結果、達標的程度；學業質量：學業水平+結果的品質；

水平結果+取得水平結果的路徑、代價；

學業質量概念的構成性、關聯性與發展性。評價指標的設計依據2、學業質量的上海理解評價指標的設計依據3、國際大規模測試的關注點

如PISA、TIMSS和NAEP等都采用背景問卷的方式來了解影響學生學業成就的因素。這些因素一般分為學習者、課程教學、學校及教育制度四個維度。學習者層面主要包括性別、家庭社會經濟背景、自我認知、學習動機以及教育期望等；課程教學層面包括教學策略、課堂氣氛、教師支持等。評價指標的設計依據3、國際大規模測試的關注點評價指標的設計依據4、歷年學業質量調查的實證數據基礎

自2006起，一直參與教育部基礎教育課程教材發展中心“建立中小學生學業質量分析、反饋與指導系統”項目，從該項目的調查結果中提煉出與學業成績密切相關的因素，如睡眠時間、作業時間、師生關系、教師教學方式等。評價指標的設計依據4、歷年學業質量調查的實證數據基礎評價指標的設計依據評價指標的內容2評價指標的內容2評價指標的內容學生學業水平指數：標準達成+高層次思維+成績均衡學生學習動力指數：學習自信心+學習動機+學習壓力+對學校認同度指數學生學習負擔指數：負擔綜合指數+負擔分項指數。師生關系指數：尊重學生，平等對待學生，信任學生教師教學方式指數：教師自評指數+學生評價指數校長課程領導力指數：決策計劃+組織實施+管理評價學生社會經濟背景對學業成績的影響指數學生品德行為指數：自尊、尊重、誠信、責任、公德身心健康指數：近視率、肥胖率、身體素質、幸福感跨年度進步指數：學習動力+師生關系+學業負擔變化評價指標的內容學生學業水平指數：標準達成+高層次思維+成績均評價指標的數據獲取方式學科測試卷：學生學業水平指數背景調查問卷：學生品德行為指數學習動力指數學業負擔指數師生關系指數

學生社會經濟背景對學業成績的影響指數教師教學方式指數校長課程領導力指數

學生體質健康測試：身心健康指數評價指標的數據獲取方式學科測試卷：學生學業水平指數評價對象評價對象：學生（小學四年級、初中九年級）、教師、校長調查時間：每年10月份（1）由于調查時間安排在10月份，實際上學科測試的內容為小學3年級和初中8年級的內容。（2）教師：該年級被調查學科的任課教師。評價對象評價對象：學生（小學四年級、初中九年級）、教師、校長工具研發3工具研發3工具研發基本流程組建相關研發團隊（學術基礎、團隊、工作意向）工作程序（1）研發測試框架

（2）試題征集（3）30人試測、6名學生口語報告（6套）（4）300人試測（6套）（5）試題評審（4套）（6）正式測試卷（2套）工具研發基本流程組建相關研發團隊（學術基礎、團隊、工作意向）工具研發學科測試框架學科能力語文積累與運用讀準字音認清字形理解詞義積累和運用常見古詩文閱讀獲取信息整體感知；提取信息；形成解釋合理使用信息并做出評價獲得文學體驗完成任務寫作能根據表達需要，選取恰當作文材料能有條理地安排文章的結構能具體明確、文從字順表達自己意思工具研發學科測試框架學科能力讀準字音認清字形理解詞義積累和運工具研發學科測試框架學科內容能力數學數與代數圖形與幾何統計與概率知識技能；理解概念（小學為數學理解）；運用規則；解決問題英語語音、詞匯、語法話題、語言功能聽、讀、寫科學科學知識生命科學物質科學地球、宇宙和空間科學回憶理解與簡單應用問題解決科學探究對科學探究的理解科學探究能力工具研發學科測試框架學科內容能力數學數與代數知識技能；理解概工具研發學科測試框架框架與樣題各個維度題量比例試題難度分布工具研發學科測試框架框架與樣題工具研發試題征集或開發基于課程標準的基本要求能力導向情境性試題工具研發試題征集或開發基于課程標準的基本要求工具研發300人試測難度區分度每個項目上的作答比例工具研發300人試測難度工具研發試題評審評審專家組對每一道試題進行專業判斷（優、良、中—指出可能存在的問題，提出修改建議）命題專家進行回應與解釋（接受意見進行修改；提出不修改的理由）工具研發試題評審評審專家組對每一道試題進行專業判斷工具研發問卷框架

學生問卷：學生基本情況；學習自信心；學習動機；學習壓力；學生對學校的認同度；學業負擔（睡眠時間、做作業時間、補課時間）；師生關系；對教師教學方式的評價；品德行為（理想信念、公民素質和健全人格）教師問卷：教師基本情況；教師對課程的看法；對學校管理的看法；面臨的困難；教學觀和教師專業發展；教師教學方式（因材施教、互動教學和探究與發展能力）校長問卷：學校基本情況；校長辦學理念和教育觀；校長的學校管理方法；課程領導力（課程決策與計劃、課程組織與實施、課程管理與評價）工具研發問卷框架學生問卷：學生基本情況；學習自信心；工具研發問卷編制概念界定收集資料（公開發表的量表、PISA問卷、TIMSS問卷、NAEP問卷；對學生進行訪談）編寫試題小范圍測試（用學生的視角看試題的陳述）形成問卷大規模測試后，再根據數據進行修改完善。工具研發問卷編制概念界定工具研發問卷實例師生關系哪個學科的老師符合下面的說法（可以多選，也可以不選．）工具研發問卷實例師生關系哪個學科的老師符合下面的說法（可以多工具研發問卷實例睡眠時間工具研發問卷實例睡眠時間考務工作4考務工作4考務工作基礎信息上報1、按照規定的表格上報完整的信息2、學生基礎信息中包含的內容有：區縣名稱、學校名稱、學校類型、學校性質、學籍號、姓名、性別、年級、班級、戶籍。其中學校類型分別為：小學、初中、完中和九年一貫；學校性質分別為：公辦、民辦、隨遷子女民辦學校；戶籍分為本市戶籍和非本市戶籍。考務工作基礎信息上報1、按照規定的表格上報完整的信息調研形式：抽樣調查全體調查抽樣調查：符合教育部相關文件精神；數據處理復雜，需要計算權重和抽樣誤差。全體調查：組織方便；可具體到班級、個體層面做分析抽樣：區縣抽樣、學校抽樣、學生抽樣。考務工作抽樣設計調研形式：抽樣調查全體調查考務工作抽樣設計小學樣本量：年級人數<=50全測50<年級人數<=100抽50人100<年級人數<=200抽75人200<年級人數<=300抽100人300<=年級人數

抽150人抽樣方法：等距抽樣測試安排：每位學生均參加語文、數學學科測試及問卷調查考務工作抽樣設計小學樣本量：考務工作抽樣設計中學樣本量：年級人數<=100全測100<年級人數<=150抽100人150<年級人數<=220抽150人220<=年級人數

抽200人抽樣方法：等距抽樣測試安排：每位學生均參加語文、數學（或外語、科學）學科測試及問卷調查考務工作抽樣設計中學樣本量：考務工作抽樣設計考務工作編排準考證號準考證號用11位數字表示，其中1-2位為區縣代碼；3-5位為學校代碼；6-7位為考場代碼；8-9位為題組代碼；10-11位為座位號。1-2：區縣代碼，事先規定好給區縣。3-5：學校代碼：同一區縣內，小學與中學的學校代碼分開編寫；一貫制學校內中學部和小學部各用一個學校代碼；同一個學校，不同的校區用不同的代碼。同一個區縣內可以按照001、002的順序依次往后編寫。6-7：考場代碼，同一個考點內，考場代碼按照01、02的順序依次編寫。8-9：題組代碼，小學四年級語文、數學代碼為13；中學九年級語文、數學代碼為25，英語、科學代碼為26。10-11：座位號，按照01—25的順序依次編寫。考務工作編排準考證號準考證號用11位數字表示，其中1-2位為考務工作統計測試材料1、統計測試材料數量，與印廠交接考務工作統計測試材料1、統計測試材料數量，與印廠交接考務工作統計測試材料2、編制測試材料區縣下發清單，與區縣交接考務工作統計測試材料2、編制測試材料區縣下發清單，與區縣交接考務工作其他事項1、編寫考務手冊2、召開區縣考務會議3、設計巡考方案，組織巡考4、測試材料清點、回收5、答題卡掃描考務工作其他事項1、編寫考務手冊閱卷工作5閱卷工作5閱卷工作1、制定主觀題評分標準，形成評分手冊2、組織閱卷教師，并對閱卷教師進行評分標準的培訓3、商討題組分工，并確定閱卷評分模式，即是單評還是三評，以及評分誤差的閾值。閱卷工作1、制定主觀題評分標準，形成評分手冊數據處理與分析6數據處理與分析6原始數據數據清理經典測量理論分析項目反應理論分析標準劃分數據入庫報告模板數據挖掘專題報告報告生成學校報告區縣報告市級報告成績差異分析報告數據處理原始數據數據清理經典測量理論分析項目反應理論分析標準劃分數據數據處理等值設計問題情境：2014年測試、2015年（2016年）測試，學生的學業質量是提升了還是降低了？幅度有多大？

試題難了分數低，試題容易分數高，直接比較不科學。方法之一：2012年測試卷等值卷2013年測試卷等值卷等值卷2014年測試卷數據處理等值設計問題情境：2014年測試、2015年（201數據處理等值設計2012年測試卷等值卷2013年測試卷等值卷等值卷2014年測試卷等值卷：又稱為鉚卷，與測試卷的結構、題型相同。

通過等值卷作為橋梁，找到不同年度測試卷之間的關系。不能公開；每年選擇有代表性的學生群體進行測試。數據處理等值設計2012年測試卷等值卷2013年測試卷等值卷數據處理分數計算原始分數：根據命題人員制定的賦分規則，匯總統計的分數。標準分數：通過對原始分數進行轉化后得到的分數。量尺分數：利用試題的難度、區分度等參數，對學生的作答進行統計處理得到的分數，不同年度間可以比較。主要依據IRT理論進行分析。通常采用的是Rasch模型，使用CONQUEST軟件進行處理。

軟件處理后得到的結果有每個學生的分數、每道試題的難度、特征曲線等數據。數據處理分數計算原始分數：根據命題人員制定的賦分規則，匯總統數據處理等級劃分？？？不合格合格良好優秀目前國際上普遍采用的是修訂Angoff法和書簽法（Bookmark

procedures）將學生的學業成就表現劃分為不同的等級。

數據處理等級劃分？？？不合格合格良好優秀目前數據處理能力表現描述主要回答在語文（數學、英語、科學）學科上“優秀”、“良好”、“合格”的學生具有什么樣的能力，能解決哪些問題，“不合格”的學生不具備什么樣的能力。數據處理能力表現描述主要回答在語文（數學、英語、科數據處理問卷計分例：你對以下問題的看法如何？

我很愿意參加集體活動不同意

不太同意

不確定

比較同意

同意

方式一：按照“同意計5分，不同意計1分”的原則進行計分。

如果學生選擇“不同意”，則該生在這道試題上得1分，選擇“比較同意”，則得4分。最后將學生在同一個維度的項目得分進行加總，就得到學生在這個維度上的總得分。數據處理問卷計分例：你對以下問題的看法如何？數據處理問卷計分例：你對以下問題的看法如何？

我很愿意參加集體活動不同意

不太同意

不確定

比較同意

同意

方式二：按照“比較同意”、“同意”計1分，其他記為0分，最后統計學生在各個維度的總分。根據這個總分將學生劃分為“對學校認同度較高”、“對學校認同度較低”。

數據處理問卷計分例：你對以下問題的看法如何？數據分析測試工具質量學科測試卷、背景問卷：

信度、效度信度分析可以采用spss統計軟件進行分析，效度分析可以采用Mplus、Lisrel、Amos等軟件進行分析。數據分析測試工具質量學科測試卷、背景問卷：數據分析分析類型現狀描述影響因素數據統計采用spss17.0軟件，作圖使用Excel。數據分析分析類型現狀描述數據分析現狀描述現狀描述

分指標（學業水平、學習動機、師生關系……)

總體

群體（不同區域、不同區縣、不同類型學校、不同性別、……)統計指標：百分比例數據分析現狀描述現狀描述數據分析現狀描述分析方法變量的特征分析類差異分析相關分析變量綜合分析時間序列分析學科分析數據分析現狀描述分析方法數據分析現狀描述總體分析（以“學習自信心”為例）學習自信心較強的學生所占人數比例數據分析現狀描述總體分析（以“學習自信心”為例）學習自信心較數據分析現狀描述群體分析-（不同區縣）四年級學習自信心較強的學生所占人數比例數據分析現狀描述群體分析-（不同區縣）四年級學習自信心較強的數據分析現狀描述群體分析-（新優質）學習自信心較強的學生所占人數比例數據分析現狀描述群體分析-（新優質）學習自信心較強的學生所占數據分析現狀描述群體分析-（公辦、民辦）學習自信心較強的學生所占人數比例數據分析現狀描述群體分析-（公辦、民辦）學習自信心較強的學生數據分析現狀描述群體分析-（男、女）學習自信心較強的學生所占人數比例數據分析現狀描述群體分析-（男、女）學習自信心較強的學生所占數據分析現狀描述群體分析-（本市、非本市）學習自信心較強的學生所占人數比例數據分析現狀描述群體分析-（本市、非本市）學習自信心較強的學數據分析影響因素回歸分析數據分析影響因素回歸分析數據分析影響因素相關分析數據分析影響因素相關分析

上海市四年級學生主要指標指數數據分析：雷達圖

綠色指標的測試結果上海市四年級學生主要指標指數數據分析：雷達圖綠色指標的測報告撰寫7報告撰寫7報告撰寫報告類型基礎數據報告（主要是詳細呈現各個指標的統計數據）結果解讀報告（分學科呈現主要調查結果、分析原因、提出教學改進建議）政策分析報告（就行政關注點呈現主要數據，并做出判斷。通常是將結論作為小標題）報告撰寫報告類型基礎數據報告報告撰寫報告層次市級報告（可以提供三種類型的報告）區縣報告（基礎數據報告）學校報告（基礎數據報告）市級報告人工撰寫、區縣、學校報告根據市級報告框架，通過計算機程序自動生成。報告撰寫報告層次市級報告市級報告人工撰寫、區縣結果應用與工作推進8結果應用與工作推進8結果應用行政推動召開多種形式的反饋會（區長沙龍、結果反饋報告會、全市中小幼校園長培訓會議、區縣校長培訓會議)

促進教育質量觀的轉變；

分析全市的數據，指出存在的問題；

提出改進要求。結果應用行政推動召開多種形式的反饋會（區長沙龍、結果反饋報告結果應用行政推動政策文件中對綠色指標進行關注與回應結果應用行政推動政策文件中對綠色指標進行關注與回應結果應用行政推動結果應用行政推動結果應用行政推動結果應用行政推動結果應用行政推動結果應用行政推動結果應用行政推動結果應用行政推動結果應用行政推動結果應用行政推動結果應用行政推動結果應用行政推動結果應用問題診斷原因分析

在市級提供基礎數據報告的基礎上，各區縣撰寫本區縣的深度分析報告，著重在原因分析。改進措施

結果應用問題診斷原因分析視角之1：本區縣在這些指標上表現出什么樣的特點？視角之1：本區縣在這些指標上表現出什么樣的特點？視角之2：本區縣和全市有否差距？在哪些指標上可能存在差異？高于全市平均水平視角之2：本區縣和全市有否差距？在哪些指標上可能存在差異？高視角之2：本區縣和全市有否差距？在哪些指標上可能存在差異？低于全市平均水平視角之2：本區縣和全市有否差距？在哪些指標上可能存在差異？低視角之3：本區縣不同群體、不同年級間是否表現出不同的特點？視角之3：本區縣不同群體、不同年級間是否表現出不同的特點？視角之3：本區縣不同群體、不同年級間是否表現出不同的特點？同樣都是對教師教學方式的評價，9年級高于全市平均，而4年級卻低于全市平均？視角之3：本區縣不同群體、不同年級間是否表現出不同的特點？同視角之3：本區縣不同群體、不同年級間是否表現出不同的特點？四年級學生對教師教學方式的評價—“互動教學”上，回答“總是”的百分比例視角之3：本區縣不同群體、不同年級間是否表現出不同的特點？四視角之3：本區縣不同群體、不同年級間是否表現出不同的特點？同樣都是學生家庭經濟背景對學業成績的影響，為何4年級影響的程度小于全市平均，而9年級影響的程度大于全市平均？視角之3：本區縣不同群體、不同年級間是否表現出不同的特點？同結果應用相關支持經費支持成立區縣基礎教育質量監測中心、開展項目研究、試點學校專業人員培訓解讀報告、分析數據、撰寫報告區縣試點研究工具編制、數據分析、報告撰寫結果應用相關支持經費支持結果應用區縣行動區縣實踐項目：長寧區：“三個指數”閘北區：初中教學質量綜向發展性評價楊浦區：中小學生學業中創新素養發展性評價松江區：高層次思維評價研究虹口區：學生學習動力指數結果應用區縣行動區縣實踐項目：結果應用學校試點

鼓勵學校在“綠色指標”評價框架下，根據學校特點，有針對性地選擇試點研究指標，探索以校為本的質量評價體系。六師二附小基于網絡平臺的校本化“五項指標”結果應用學校試點鼓勵學校在“綠色指標”評價框架下，根謝謝！謝謝！上海市教委教學研究室上海市教委基礎教育質量監測中心2014年3月4日上海市“綠色指標”評價實踐

操作程序及要點

上海市教委教學研究室上海市“綠色指標”評價實踐

操作程序及上海綠色指標評價改革目標與任務總體目標：一是形成富有時代特色、地方特點、科學多元的中小學教育質量綜合評價體系，推動上海基礎教育轉型發展和素質教育全面落實。二是發揮科學評價的指揮棒作用，以中小學教育質量評價改革實驗推動教育教學諸領域的變革，形成區域改革實驗成果，逐步輻射有效經驗。具體任務：1.形成比較完善的中小學教育質量評價指標體系。2.形成比較科學的中小學教育質量評價辦法。3.形成比較健全的中小學教育質量評價制度。上海綠色指標評價改革目標與任務總體目標：具體任務：上海綠色指標評價改革實踐方案教育質量評價體系評價指標質量標準學科測試背景調查數據分析教育質量數據庫分析報告反饋與改進教育決策教學研究課堂教學系統反思修改、完善評價工具上海綠色指標評價改革實踐方案教育質量評價體系評價指標質量標準綠色指標操作程序及要點評價指標的內容工具研發報告撰寫數據處理結果應用考務工作評價指標的設計依據閱卷評分綠色指標操作程序及要點評價指標的內容工具研發報告撰寫數據處理評價指標的設計1評價指標的設計1評價指標的設計依據1、上海基礎教育發展過程中亟待解決的問題

上海15歲學生參加PISA2009、2012測試，在閱讀、數學、科學三個方面均取得了第一名的成績。2009上海學生每周課內外上課時間的總量（34.8小時）位居參與國（地區）第12位。2012上海學生每周作業時間11.8小時。評價指標的設計依據1、上海基礎教育發展過程中亟待解決的問題2、學業質量的上海理解學業水平：考試的結果、達標的程度；學業質量：學業水平+結果的品質；

水平結果+取得水平結果的路徑、代價；

學業質量概念的構成性、關聯性與發展性。評價指標的設計依據2、學業質量的上海理解評價指標的設計依據3、國際大規模測試的關注點

如PISA、TIMSS和NAEP等都采用背景問卷的方式來了解影響學生學業成就的因素。這些因素一般分為學習者、課程教學、學校及教育制度四個維度。學習者層面主要包括性別、家庭社會經濟背景、自我認知、學習動機以及教育期望等；課程教學層面包括教學策略、課堂氣氛、教師支持等。評價指標的設計依據3、國際大規模測試的關注點評價指標的設計依據4、歷年學業質量調查的實證數據基礎

自2006起，一直參與教育部基礎教育課程教材發展中心“建立中小學生學業質量分析、反饋與指導系統”項目，從該項目的調查結果中提煉出與學業成績密切相關的因素，如睡眠時間、作業時間、師生關系、教師教學方式等。評價指標的設計依據4、歷年學業質量調查的實證數據基礎評價指標的設計依據評價指標的內容2評價指標的內容2評價指標的內容學生學業水平指數：標準達成+高層次思維+成績均衡學生學習動力指數：學習自信心+學習動機+學習壓力+對學校認同度指數學生學習負擔指數：負擔綜合指數+負擔分項指數。師生關系指數：尊重學生，平等對待學生，信任學生教師教學方式指數：教師自評指數+學生評價指數校長課程領導力指數：決策計劃+組織實施+管理評價學生社會經濟背景對學業成績的影響指數學生品德行為指數：自尊、尊重、誠信、責任、公德身心健康指數：近視率、肥胖率、身體素質、幸福感跨年度進步指數：學習動力+師生關系+學業負擔變化評價指標的內容學生學業水平指數：標準達成+高層次思維+成績均評價指標的數據獲取方式學科測試卷：學生學業水平指數背景調查問卷：學生品德行為指數學習動力指數學業負擔指數師生關系指數

學生社會經濟背景對學業成績的影響指數教師教學方式指數校長課程領導力指數

學生體質健康測試：身心健康指數評價指標的數據獲取方式學科測試卷：學生學業水平指數評價對象評價對象：學生（小學四年級、初中九年級）、教師、校長調查時間：每年10月份（1）由于調查時間安排在10月份，實際上學科測試的內容為小學3年級和初中8年級的內容。（2）教師：該年級被調查學科的任課教師。評價對象評價對象：學生（小學四年級、初中九年級）、教師、校長工具研發3工具研發3工具研發基本流程組建相關研發團隊（學術基礎、團隊、工作意向）工作程序（1）研發測試框架

（2）試題征集（3）30人試測、6名學生口語報告（6套）（4）300人試測（6套）（5）試題評審（4套）（6）正式測試卷（2套）工具研發基本流程組建相關研發團隊（學術基礎、團隊、工作意向）工具研發學科測試框架學科能力語文積累與運用讀準字音認清字形理解詞義積累和運用常見古詩文閱讀獲取信息整體感知；提取信息；形成解釋合理使用信息并做出評價獲得文學體驗完成任務寫作能根據表達需要，選取恰當作文材料能有條理地安排文章的結構能具體明確、文從字順表達自己意思工具研發學科測試框架學科能力讀準字音認清字形理解詞義積累和運工具研發學科測試框架學科內容能力數學數與代數圖形與幾何統計與概率知識技能；理解概念（小學為數學理解）；運用規則；解決問題英語語音、詞匯、語法話題、語言功能聽、讀、寫科學科學知識生命科學物質科學地球、宇宙和空間科學回憶理解與簡單應用問題解決科學探究對科學探究的理解科學探究能力工具研發學科測試框架學科內容能力數學數與代數知識技能；理解概工具研發學科測試框架框架與樣題各個維度題量比例試題難度分布工具研發學科測試框架框架與樣題工具研發試題征集或開發基于課程標準的基本要求能力導向情境性試題工具研發試題征集或開發基于課程標準的基本要求工具研發300人試測難度區分度每個項目上的作答比例工具研發300人試測難度工具研發試題評審評審專家組對每一道試題進行專業判斷（優、良、中—指出可能存在的問題，提出修改建議）命題專家進行回應與解釋（接受意見進行修改；提出不修改的理由）工具研發試題評審評審專家組對每一道試題進行專業判斷工具研發問卷框架

學生問卷：學生基本情況；學習自信心；學習動機；學習壓力；學生對學校的認同度；學業負擔（睡眠時間、做作業時間、補課時間）；師生關系；對教師教學方式的評價；品德行為（理想信念、公民素質和健全人格）教師問卷：教師基本情況；教師對課程的看法；對學校管理的看法；面臨的困難；教學觀和教師專業發展；教師教學方式（因材施教、互動教學和探究與發展能力）校長問卷：學校基本情況；校長辦學理念和教育觀；校長的學校管理方法；課程領導力（課程決策與計劃、課程組織與實施、課程管理與評價）工具研發問卷框架學生問卷：學生基本情況；學習自信心；工具研發問卷編制概念界定收集資料（公開發表的量表、PISA問卷、TIMSS問卷、NAEP問卷；對學生進行訪談）編寫試題小范圍測試（用學生的視角看試題的陳述）形成問卷大規模測試后，再根據數據進行修改完善。工具研發問卷編制概念界定工具研發問卷實例師生關系哪個學科的老師符合下面的說法（可以多選，也可以不選．）工具研發問卷實例師生關系哪個學科的老師符合下面的說法（可以多工具研發問卷實例睡眠時間工具研發問卷實例睡眠時間考務工作4考務工作4考務工作基礎信息上報1、按照規定的表格上報完整的信息2、學生基礎信息中包含的內容有：區縣名稱、學校名稱、學校類型、學校性質、學籍號、姓名、性別、年級、班級、戶籍。其中學校類型分別為：小學、初中、完中和九年一貫；學校性質分別為：公辦、民辦、隨遷子女民辦學校；戶籍分為本市戶籍和非本市戶籍。考務工作基礎信息上報1、按照規定的表格上報完整的信息調研形式：抽樣調查全體調查抽樣調查：符合教育部相關文件精神；數據處理復雜，需要計算權重和抽樣誤差。全體調查：組織方便；可具體到班級、個體層面做分析抽樣：區縣抽樣、學校抽樣、學生抽樣。考務工作抽樣設計調研形式：抽樣調查全體調查考務工作抽樣設計小學樣本量：年級人數<=50全測50<年級人數<=100抽50人100<年級人數<=200抽75人200<年級人數<=300抽100人300<=年級人數

抽150人抽樣方法：等距抽樣測試安排：每位學生均參加語文、數學學科測試及問卷調查考務工作抽樣設計小學樣本量：考務工作抽樣設計中學樣本量：年級人數<=100全測100<年級人數<=150抽100人150<年級人數<=220抽150人220<=年級人數

抽200人抽樣方法：等距抽樣測試安排：每位學生均參加語文、數學（或外語、科學）學科測試及問卷調查考務工作抽樣設計中學樣本量：考務工作抽樣設計考務工作編排準考證號準考證號用11位數字表示，其中1-2位為區縣代碼；3-5位為學校代碼；6-7位為考場代碼；8-9位為題組代碼；10-11位為座位號。1-2：區縣代碼，事先規定好給區縣。3-5：學校代碼：同一區縣內，小學與中學的學校代碼分開編寫；一貫制學校內中學部和小學部各用一個學校代碼；同一個學校，不同的校區用不同的代碼。同一個區縣內可以按照001、002的順序依次往后編寫。6-7：考場代碼，同一個考點內，考場代碼按照01、02的順序依次編寫。8-9：題組代碼，小學四年級語文、數學代碼為13；中學九年級語文、數學代碼為25，英語、科學代碼為26。10-11：座位號，按照01—25的順序依次編寫。考務工作編排準考證號準考證號用11位數字表示，其中1-2位為考務工作統計測試材料1、統計測試材料數量，與印廠交接考務工作統計測試材料1、統計測試材料數量，與印廠交接考務工作統計測試材料2、編制測試材料區縣下發清單，與區縣交接考務工作統計測試材料2、編制測試材料區縣下發清單，與區縣交接考務工作其他事項1、編寫考務手冊2、召開區縣考務會議3、設計巡考方案，組織巡考4、測試材料清點、回收5、答題卡掃描考務工作其他事項1、編寫考務手冊閱卷工作5閱卷工作5閱卷工作1、制定主觀題評分標準，形成評分手冊2、組織閱卷教師，并對閱卷教師進行評分標準的培訓3、商討題組分工，并確定閱卷評分模式，即是單評還是三評，以及評分誤差的閾值。閱卷工作1、制定主觀題評分標準，形成評分手冊數據處理與分析6數據處理與分析6原始數據數據清理經典測量理論分析項目反應理論分析標準劃分數據入庫報告模板數據挖掘專題報告報告生成學校報告區縣報告市級報告成績差異分析報告數據處理原始數據數據清理經典測量理論分析項目反應理論分析標準劃分數據數據處理等值設計問題情境：2014年測試、2015年（2016年）測試，學生的學業質量是提升了還是降低了？幅度有多大？

試題難了分數低，試題容易分數高，直接比較不科學。方法之一：2012年測試卷等值卷2013年測試卷等值卷等值卷2014年測試卷數據處理等值設計問題情境：2014年測試、2015年（201數據處理等值設計2012年測試卷等值卷2013年測試卷等值卷等值卷2014年測試卷等值卷：又稱為鉚卷，與測試卷的結構、題型相同。

通過等值卷作為橋梁，找到不同年度測試卷之間的關系。不能公開；每年選擇有代表性的學生群體進行測試。數據處理等值設計2012年測試卷等值卷2013年測試卷等值卷數據處理分數計算原始分數：根據命題人員制定的賦分規則，匯總統計的分數。標準分數：通過對原始分數進行轉化后得到的分數。量尺分數：利用試題的難度、區分度等參數，對學生的作答進行統計處理得到的分數，不同年度間可以比較。主要依據IRT理論進行分析。通常采用的是Rasch模型，使用CONQUEST軟件進行處理。

軟件處理后得到的結果有每個學生的分數、每道試題的難度、特征曲線等數據。數據處理分數計算原始分數：根據命題人員制定的賦分規則，匯總統數據處理等級劃分？？？不合格合格良好優秀目前國際上普遍采用的是修訂Angoff法和書簽法（Bookmark

procedures）將學生的學業成就表現劃分為不同的等級。

數據處理等級劃分？？？不合格合格良好優秀目前數據處理能力表現描述主要回答在語文（數學、英語、科學）學科上“優秀”、“良好”、“合格”的學生具有什么樣的能力，能解決哪些問題，“不合格”的學生不具備什么樣的能力。數據處理能力表現描述主要回答在語文（數學、英語、科數據處理問卷計分例：你對以下問題的看法如何？

我很愿意參加集體活動不同意

不太同意

不確定

比較同意

同意

方式一：按照“同意計5分，不同意計1分”的原則進行計分。

如果學生選擇“不同意”，則該生在這道試題上得1分，選擇“比較同意”，則得4分。最后將學生在同一個維度的項目得分進行加總，就得到學生在這個維度上的總得分。數據處理問卷計分例：你對以下問題的看法如何？數據處理問卷計分例：你對以下問題的看法如何？

我很愿意參加集體活動不同意

不太同意

不確定

比較同意

同意

方式二：按照“比較同意”、“同意”計1分，其他記為0分，最后統計學生在各個維度的總分。根據這個總分將學生劃分為“對學校認同度較高”、“對學校認同度較低”。

數據處理問卷計分例：你對以下問題的看法如何？數據分析測試工具質量學科測試卷、背景問卷：

信度、效度信度分析可以采用spss統計軟件進行分析，效度分析可以采用Mplus、Lisrel、Amos等軟件進行分析。數據分析測試工具質量學科測試卷、背景問卷：數據分析分析類型現狀描述影響因素數據統計采用spss17.0軟件，作圖使用Excel。數據分析分析類型現狀描述數據分析現狀描述現狀描述

分指標（學業水平、學習動機、師生關系……)

總體

群體（不同區域、不同區縣、不同類型學校、不同性別、……)統計指標：百分比例數據分析現狀描述現狀描述數據分析現狀描述分析方法變量的特征分析類差異分析相關分析變量綜合分析時間序列分析學科分析數據分析現狀描述分析方法數據分析現狀描述總體分析（以“學習自信心”為例）學習自信心較強的學生所占人數比例數據分析現狀描述總體分析（以“學習自信心”為例）學習自信心較數據分析現狀描述群體分析-（不同區縣）四年級學習自信心較強的學生所占人數比例數據分析現狀描述群體分析-（不同區縣）四年級學習自信心較強的數據分析現狀描述群體分析-（新優質）學習自信心較強的學生所占人數比例數據分析現狀描述群體分析-（新優質）學習自信心較強的學生所占數據分析現狀描述群體分析-（公辦、民辦）學習自信心較強的學生所占人數比例數據分析現狀描述群體分析-（公辦、民辦）學習自信心較強的學生數據分析現狀描述群體分析-（男、女）學習自信心較強的學生所占人數比例數據分析現狀描述群體分析-（男、女）學習自信心較強的學生所占數據分析現狀描述群體分析-（本市、非本市）學習自信心較強的學生所占人數比例數據分析現狀描述群體分析-