1、    如何評(píng)價(jià)大學(xué)教育質(zhì)量美國大學(xué)校際學(xué)生學(xué)習(xí)成果評(píng)估項(xiàng)目解析    摘要：在美國教育評(píng)估專業(yè)機(jī)構(gòu)進(jìn)入群雄奮起的時(shí)代，“大學(xué)校際學(xué)生學(xué)習(xí)成果評(píng)估”項(xiàng)目獨(dú)樹一幟，為如何評(píng)價(jià)大學(xué)教育質(zhì)量提供了新的視野。其主要特征在于：注重學(xué)生能力增值的比較性評(píng)估；關(guān)注學(xué)生批判性思維能力的學(xué)業(yè)表現(xiàn)評(píng)估；強(qiáng)調(diào)教師在評(píng)估和教學(xué)質(zhì)量提升中的重要作用；充分利用計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的在線評(píng)估。“大學(xué)校際學(xué)生學(xué)習(xí)成果評(píng)估”項(xiàng)目的理念、方法與經(jīng)驗(yàn)對(duì)于我國高等教育關(guān)注學(xué)生學(xué)習(xí)成果、科學(xué)評(píng)價(jià)大學(xué)教育質(zhì)量、提升人才培養(yǎng)質(zhì)量具有積極的借鑒意義。關(guān)鍵詞：美國，高等教育評(píng)估，批判性思維能力，學(xué)業(yè)表現(xiàn)評(píng)估

2、，增值評(píng)估20世紀(jì)80年代，為了回應(yīng)社會(huì)各界對(duì)教育質(zhì)量下滑的廣泛問責(zé)，美國開展了聲勢(shì)浩大的“評(píng)估運(yùn)動(dòng)”，政府、學(xué)校、社會(huì)團(tuán)體紛紛投身于各種評(píng)估項(xiàng)目，促使“學(xué)生學(xué)習(xí)成果評(píng)估”（student learning outcomes assessment）在美國高等教育界得以深度地被重新討論和實(shí)踐推行。進(jìn)入21世紀(jì)，如何科學(xué)評(píng)價(jià)大學(xué)教育質(zhì)量再度成為全美高等教育界討論的焦點(diǎn)問題，諸多專業(yè)教育測(cè)評(píng)機(jī)構(gòu)在喧囂鼎沸的研討聲中革故鼎新、競相發(fā)展，從而進(jìn)入了教育評(píng)估群雄奮起的時(shí)代。其中，教育援助委員會(huì)（council for aid to education，cae）推行的“大學(xué)校際學(xué)習(xí)成果評(píng)估”（collegi

3、ate learning assessment，cla）項(xiàng)目獨(dú)樹一幟，為如何評(píng)價(jià)大學(xué)教育質(zhì)量提供了新的視野。目前，該項(xiàng)目已被600多所高等教育機(jī)構(gòu)采用，國際版的cla也已在經(jīng)合組織成員國中施行。cla項(xiàng)目的理念、方法與經(jīng)驗(yàn)對(duì)于我國高等教育關(guān)注學(xué)生學(xué)習(xí)成果、科學(xué)評(píng)價(jià)大學(xué)教育質(zhì)量、提升人才培養(yǎng)質(zhì)量無疑具有積極的借鑒意義。一、大學(xué)校際學(xué)生學(xué)習(xí)成果評(píng)估項(xiàng)目的發(fā)展歷程在美國歷時(shí)長久、聲勢(shì)浩大的評(píng)估運(yùn)動(dòng)浪潮中，本杰明（roger benjamin）、克萊因（steve klein）和沙沃森（richard j. shavelson）三人開始構(gòu)思一種全新的評(píng)估方式并在皮尤公司資助下著手研發(fā)cla項(xiàng)目。199

4、6年，本杰明任職教育援助委員會(huì)主席后極力推動(dòng)cla的發(fā)展，促使教育援助委員會(huì)于2000年正式采用cla項(xiàng)目。教育援助委員會(huì)希望借此項(xiàng)目評(píng)價(jià)高校在人才培養(yǎng)方面的表現(xiàn)，從而改善高校教師教學(xué)與學(xué)生學(xué)習(xí)的質(zhì)量。經(jīng)過兩年的修訂，教育援助委員會(huì)于2002-2003學(xué)年在14所高等教育機(jī)構(gòu)進(jìn)行了關(guān)于cla測(cè)量和分析方法的可行性研究并獲得成功；2004年，教育 援助委員會(huì)正式發(fā)行cla項(xiàng)目，隨后將紙質(zhì)版本升級(jí)為在線版本；2008年春，測(cè)試評(píng)閱改用計(jì)算機(jī)打分，最終的測(cè)試成績通過計(jì)算效應(yīng)量等統(tǒng)計(jì)方法，可以在不同時(shí)間、不同研究以及不同學(xué)校之間進(jìn)行比較。2009年秋，教育援助委員會(huì)啟動(dòng)了cla教育服務(wù)，為高校教師提供

5、相關(guān)培訓(xùn)，并對(duì)他們創(chuàng)建測(cè)試任務(wù)的能力進(jìn)行認(rèn)證，從而促進(jìn)教師在教學(xué)過程中更好地培養(yǎng)學(xué)生的能力。自此，cla項(xiàng)目日臻完善，包括學(xué)習(xí)測(cè)量（cla testing）、數(shù)據(jù)分析（cla analysis）、評(píng)估培訓(xùn)（cla education）、推進(jìn)研究（cla research）四個(gè)內(nèi)在緊密相聯(lián)的部分。其中學(xué)習(xí)測(cè)量是該項(xiàng)目的核心，也是項(xiàng)目整體運(yùn)行和持續(xù)發(fā)展的基礎(chǔ)。近年來，cla不斷推行國際化發(fā)展戰(zhàn)略。2010年春，教育援助委員會(huì)與經(jīng)合組織的“高等教育學(xué)習(xí)成果評(píng)估”（assessment of higher education learning outcomes，ahelo）項(xiàng)目進(jìn)行合作，為經(jīng)合組織的3

6、1個(gè)成員國創(chuàng)制cla的國際版本。此外，cla評(píng)估項(xiàng)目組已經(jīng)在澳大利亞、加拿大、中國香港、日本等18個(gè)國家或地區(qū)進(jìn)行了預(yù)測(cè)試，正有計(jì)劃地在世界各國推行此項(xiàng)評(píng)估。不斷完善、追求卓越一直是cla項(xiàng)目的團(tuán)隊(duì)精神和價(jià)值訴求。2013年初，為了兌現(xiàn)定期對(duì)評(píng)估項(xiàng)目進(jìn)行改進(jìn)的承諾，教育援助委員會(huì)推出cla的升級(jí)版本cla+（本文中統(tǒng)稱為cla），在評(píng)估內(nèi)容、評(píng)估工具、結(jié)果使用、評(píng)估管理等方面進(jìn)一步完善。擴(kuò)大評(píng)估內(nèi)容的范圍、推行跨文化評(píng)估是該項(xiàng)目的下一個(gè)發(fā)展目標(biāo)，項(xiàng)目研究團(tuán)隊(duì)希望通過不懈的努力，未來將領(lǐng)導(dǎo)力、團(tuán)隊(duì)協(xié)作能力、道德決策能力等納入評(píng)估范圍，以適應(yīng)新時(shí)代對(duì)人力資源的需求。1二、大學(xué)校際學(xué)生學(xué)習(xí)成果評(píng)估項(xiàng)

7、目的運(yùn)行機(jī)制（一）評(píng)估內(nèi)容cla的測(cè)量內(nèi)容整體聚焦于大學(xué)生的批判性思維能力和寫作交流能力，具體包括科學(xué)和定量推理能力（scientific and quantitative reasoning）；分析與解決問題能力（analysis and problem solving）、寫作成效（writing effectiveness）、寫作技巧（writing mechanics）、批判閱讀和評(píng)價(jià)（critical reading and evaluation）和駁論能力（recognization of logical fallacies in arguments）。認(rèn)知結(jié)構(gòu)理論的發(fā)展是cla測(cè)量

8、內(nèi)容的重要思想源泉，新近學(xué)習(xí)理論對(duì)知識(shí)的重新定義直接影響著cla測(cè)量內(nèi)容的設(shè)定。cla團(tuán)隊(duì)通過研究認(rèn)為，學(xué)習(xí)是高度情景化的，具有場合約定性，然而，個(gè)體從某一學(xué)科中習(xí)得的知識(shí)在其他學(xué)科領(lǐng)域?qū)τ谔岣呓鉀Q問題能力、決策能力的表現(xiàn)則一般。在認(rèn)知結(jié)構(gòu)中，可以遷移的高階能力應(yīng)和相關(guān)的專業(yè)技能有聯(lián)系。因此，cla并不測(cè)量一般推理能力，也不測(cè)量某一學(xué)科領(lǐng)域的專業(yè)技能，而是聚焦于大學(xué)生的高階能力批判性思維能力，這一能力需要通過一系列的專業(yè)學(xué)習(xí)習(xí)得并能加以運(yùn)用。鑒于批判性思維的界定非常寬泛，cla將分析推理能力和問題解決能力作為其操作性定義。2除了批判性思維能力這一核心評(píng)估內(nèi)容以外，cla評(píng)估內(nèi)容的另一個(gè)重要組成

9、部分便是學(xué)生的寫作交流技能，主要包括語言組織能力、語言說服力和準(zhǔn)確使用語法能力。3因?yàn)閏la項(xiàng)目組認(rèn)識(shí)到，在許多專業(yè)領(lǐng)域，有效地交流思想、清晰地表述問題解決的過程是一項(xiàng)非常重要的技能，培養(yǎng)學(xué)生具有一流的讀寫能力是許多大學(xué)教學(xué)目標(biāo)的重要內(nèi)容。（二）評(píng)估方法和評(píng)估工具cla的評(píng)估方法與傳統(tǒng)的學(xué)習(xí)評(píng)估不同，它結(jié)合理性主義和社會(huì)歷史哲學(xué)，認(rèn)同認(rèn)知建構(gòu)主義并立足于具體情景，使用源于“現(xiàn)實(shí)世界”的學(xué)業(yè)表現(xiàn)任務(wù)對(duì)學(xué)生的批判性思維能力和寫作交流能力進(jìn)行測(cè)量，利用合適的數(shù)理統(tǒng)計(jì)模式估算教師或?qū)W校對(duì)學(xué)生能力增值的具體影響程度，對(duì)學(xué)校層面的學(xué)生能力增值進(jìn)行多維度的比較以反映某一高校與同類高校相比在教育質(zhì)量提升方面所

10、取得的成效。cla項(xiàng)目提供橫向采樣測(cè)試（cross-sectional sampling）和縱向采樣測(cè)試（longitudinal sampling）。橫向采樣測(cè)試是指同時(shí)抽取入學(xué)新生和畢業(yè)年級(jí)學(xué)生作為兩組不同的樣本進(jìn)行測(cè)試和比較；縱向采樣測(cè)試指在入學(xué)新生中隨機(jī)抽取一部分學(xué)生作為固定的樣本，在剛?cè)雽W(xué)、2年級(jí)、3年級(jí)、畢業(yè)的 時(shí)候分別進(jìn)行一次測(cè)試，將數(shù)次跟蹤測(cè)試的結(jié)果進(jìn)行縱向比較。總體而言，由于前者在操作和管理方面相對(duì)簡單、速度更快、成本更低，因此多數(shù)高校會(huì)選擇橫向采樣測(cè)試。被試抽樣采用隨機(jī)抽樣或者按照不同專業(yè)分層抽樣，每個(gè)樣本組一般為100人左右。cla的評(píng)估工具為自編試卷，測(cè)試題目包括兩種題

11、型：一個(gè)學(xué)業(yè)表現(xiàn)任務(wù)（performance task）和25道選擇題。基于“整體優(yōu)于部分之和，解決復(fù)雜的任務(wù)需要整合各種能力”這一基本假設(shè)，cla采用效標(biāo)抽樣（criterion sampling）的方法設(shè)定學(xué)業(yè)表現(xiàn)任務(wù)，這種抽樣源于一個(gè)簡單的原理：“如果你想知道一個(gè)人知曉什么、能做什么，那么你就從這個(gè)人的行為中進(jìn)行取樣，觀察他/她的表現(xiàn)從而推斷他/她的能力和學(xué)識(shí)。”4因而，cla試卷給出的學(xué)業(yè)表現(xiàn)任務(wù)通常為學(xué)生展示一個(gè)真實(shí)的生活場景，并提供一個(gè)文件庫，包括新聞、信件、備忘錄、研究報(bào)告、地圖、照片、圖表等相關(guān)資料。學(xué)生必須在60分鐘內(nèi)提交一份研究報(bào)告，解決生活場景中的實(shí)際問題。選擇題部分共有

12、2-3個(gè)材料，如博客、政治演說或者社論等，每一個(gè)材料配有5-10道選擇題。在25道選擇題中，10道題評(píng)估學(xué)生科學(xué)和定量推理能力，10道題反映學(xué)生批判閱讀和信息評(píng)估能力，其余5道題評(píng)估學(xué)生的駁論能力。學(xué)生必須在30分鐘的時(shí)間里分析信息，每題選擇1個(gè)最佳答案。cla試卷的試題抽樣采用矩陣取樣（matrix-sampling）的設(shè)計(jì)，即按照一個(gè)學(xué)業(yè)表現(xiàn)任務(wù)加上25道選擇題為一套試卷的標(biāo)準(zhǔn)，將題庫中的試題組合成若干套試卷，而在同一次測(cè)試中，學(xué)生做的試題并不相同。這既防止了考試作弊，也因?qū)W生之間無法直接比較，從而減輕了學(xué)生參加測(cè)試的壓力。2008年春學(xué)期以后，cla評(píng)分全部由計(jì)算機(jī)完成。學(xué)業(yè)表現(xiàn)任務(wù)的評(píng)

13、分包括單項(xiàng)評(píng)分和整體評(píng)分兩個(gè)部分。單項(xiàng)部分分為“對(duì)文件庫材料的評(píng)估、有用材料的分析和整合、得出結(jié)論以及評(píng)價(jià)對(duì)方觀點(diǎn)”四個(gè)方面，每一個(gè)方面又包括5個(gè)左右的細(xì)分條目。5如果學(xué)生在正確使用信息的基礎(chǔ)上達(dá)到了一個(gè)小條目的要求，則加1分。對(duì)于學(xué)生的整體表現(xiàn)，計(jì)算機(jī)打分系統(tǒng)根據(jù)好、中、差三類參考范文給出的具體觀測(cè)點(diǎn)對(duì)學(xué)生選用信息狀況、批判思考整體能力和寫作能力給出一個(gè)總分。整體分?jǐn)?shù)和單項(xiàng)分?jǐn)?shù)相加之后，通過計(jì)算加權(quán)平方和得出學(xué)業(yè)表現(xiàn)任務(wù)部分的測(cè)試總分。選擇題部分得分計(jì)算加權(quán)平方和之后與學(xué)業(yè)表現(xiàn)任務(wù)分?jǐn)?shù)相加就是最后的總分。測(cè)量的信度和效度一直是cla項(xiàng)目組研究工作所關(guān)心的重點(diǎn)內(nèi)容之一，也是外界對(duì)cla質(zhì)疑的焦

14、點(diǎn)所在。cla通過大量且富有成效的研究，不斷提高測(cè)試項(xiàng)目的信度和效度。比如，根據(jù)克萊因等2007年的研究結(jié)果，如果將高校整體的評(píng)估表現(xiàn)作為分析單元的話，其信度接近0.90；6斯蒂德爾（j.t. steedle）2011年的研究證明高校cla增值成績得分的信度接近0.75。7教育援助委員會(huì)研究人員和一些獨(dú)立第三方的研究結(jié)果表明，cla項(xiàng)目在表面效度、同時(shí)效度和預(yù)測(cè)效度等方面均有良好的表現(xiàn)。（三）評(píng)估組織與評(píng)估實(shí)施參與cla項(xiàng)目的高校是評(píng)估活動(dòng)的具體實(shí)施者。意欲參與此評(píng)估的高校首先需要在教育援助委員會(huì)網(wǎng)站上進(jìn)行注冊(cè)，填寫機(jī)構(gòu)概況、測(cè)試對(duì)象的年級(jí)和數(shù)量等基本信息。注冊(cè)成功之后，cla項(xiàng)目工作人員會(huì)主

15、動(dòng)聯(lián)系注冊(cè)高校，就測(cè)試的具體問題進(jìn)行更加細(xì)致的交流和準(zhǔn)備，雙方合作事項(xiàng)達(dá)成一致意見后，教育援助委員會(huì)便將測(cè)試所需的操作指導(dǎo)手冊(cè)等相關(guān)資料發(fā)送給各高校，高校在cla項(xiàng)目代表的督導(dǎo)下，根據(jù)要求選擇樣本，自行實(shí)施測(cè)試過程。整個(gè)測(cè)試通過計(jì)算機(jī)在線完成。學(xué)生通過網(wǎng)絡(luò)登錄進(jìn)入測(cè)試系統(tǒng)，填寫個(gè)人基本信息（必需填上自己的sat/act分?jǐn)?shù)或者已經(jīng)完成的學(xué)術(shù)水平考試成績用于比較）。學(xué)生正式答題時(shí)，計(jì)算機(jī)的界面為兩個(gè)分屏，左邊是任務(wù)介紹和答題區(qū)域，右邊則是文件庫。學(xué)生在90分鐘內(nèi)在對(duì)所有信息進(jìn)行選擇、處理后給出問題解決方案并進(jìn)行分析和論述。測(cè)試完成之后，高校將原始結(jié)果發(fā)給 cla項(xiàng)目組，其研究人員進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析

16、和解釋之后將結(jié)果反饋給對(duì)應(yīng)的高校和學(xué)生。（四）評(píng)估結(jié)果及其功用cla的測(cè)試數(shù)據(jù)經(jīng)過計(jì)算機(jī)處理后形成最終的測(cè)試成績，項(xiàng)目組專業(yè)人員通過不同維度的比較對(duì)測(cè)試成績進(jìn)行解釋和分析，并形成最終的評(píng)估結(jié)果報(bào)告。高校層面的結(jié)果報(bào)告包括：所有參評(píng)高校的平均表現(xiàn)、每一所高校的整體成績、各個(gè)年級(jí)的總體表現(xiàn)、6個(gè)單項(xiàng)能力的表現(xiàn)、高校增值分?jǐn)?shù)及其與同類學(xué)校比較的結(jié)果、評(píng)估結(jié)果使用建議。學(xué)生層面的結(jié)果報(bào)告包括：cla總分、學(xué)業(yè)表現(xiàn)任務(wù)得分和選擇題得分、各個(gè)單項(xiàng)能力上的得分、對(duì)比較結(jié)果的解釋和分析。對(duì)于高校來說，首先，可以根據(jù)評(píng)估結(jié)果判斷自身對(duì)學(xué)生能力提升是否有所貢獻(xiàn)，增值成績?cè)谕悓W(xué)校中的位置，借以評(píng)價(jià)其在人才培養(yǎng)方面的努力程度；其次，高校可以進(jìn)一步分析測(cè)試結(jié)果，深入探究其成因，并有針對(duì)性地調(diào)整課程結(jié)構(gòu)和教學(xué)方法以改善教與學(xué)的質(zhì)量；再次，測(cè)試結(jié)果為教師和管理人員在進(jìn)行分班教學(xué)、獎(jiǎng)學(xué)金發(fā)放審核、評(píng)獎(jiǎng)評(píng)優(yōu)、招生等方面的管理決策提供參考數(shù)據(jù)；其四，參評(píng)高校之間的經(jīng)驗(yàn)交流可以幫助各高校相互學(xué)習(xí)、取長補(bǔ)短。此外，一些高校使用cla的測(cè)評(píng)成績作為回應(yīng)社會(huì)問責(zé)的有力證據(jù)。對(duì)于參與評(píng)估的學(xué)生來說，測(cè)試結(jié)束之后的