1、如何更加客觀合理地給學(xué)生作文評分解放軍外國語學(xué)院英語系 李志雪*李志雪（1968-），解放軍外國語學(xué)院英語系副教授，在讀博士；研究方向：心理語言學(xué)和寫作教學(xué)與研究；聯(lián)系地址：河南洛陽036信箱30號, 郵編：471003；聯(lián)系電話：03794542595；4542023E-mail: zhixueli.摘 要：目前國內(nèi)對英語作文的評分往往受閱卷人主觀因素的影響而導(dǎo)致其信度大大降低。為了能夠客觀合理地給學(xué)生作文打分，需要借助計算機(jī)和語料庫的最新發(fā)展成果，在語言層面保證評分的準(zhǔn)確性和客觀性，同時由多個評閱人對作文的篇章結(jié)構(gòu)和內(nèi)容綜合打分。關(guān)鍵詞：作文 閱卷人 評分 計算機(jī)

2、 語料庫1. 引 言目前國內(nèi)對學(xué)生英語作文的測試評分缺乏一個客觀、系統(tǒng)的體系。由于受到閱卷人的生理、心理穩(wěn)定性、語言能力和水平等不自覺因素的影響，對應(yīng)考者的書面表達(dá)能力的判斷與測量往往過于主觀，從而導(dǎo)致評分出現(xiàn)偏差，使寫作測試分?jǐn)?shù)的信度大大地降低。(溫晉方，2003: 84) 這樣學(xué)生無法準(zhǔn)確了解自己寫作能力的真實情況，往往會喪失對寫作的興趣和信心。作者認(rèn)為，建立一個客觀、系統(tǒng)的作文評分系統(tǒng)對解決目前評分中存在的問題具有重要意義。2. 國外對二語寫作評估的研究出現(xiàn)于二十世紀(jì)中期的語篇語言學(xué)奠定了當(dāng)代寫作評估的基礎(chǔ)。語篇語言學(xué)家們認(rèn)為要準(zhǔn)確地評判一篇文章的優(yōu)劣，對書面語篇、相關(guān)體裁和銜接模式的分

3、析不容忽視。de Beaugrade and Dressler認(rèn)為語篇作為一種“交際活動”，必須符合七項標(biāo)準(zhǔn)銜接、連貫、意圖性、可接受性、信息性、情境性和互文性。（de Beaugrande & Dressler, 1981: 3）寫作測試專家們正是根據(jù)語篇所應(yīng)具備的特征制定了寫作評估的標(biāo)準(zhǔn)。國外對二語寫作評估的研究有幾十年的歷史。對非母語者寫作能力的直接測試最權(quán)威的機(jī)構(gòu)是美國的教育測試服務(wù)中心（ETS）所設(shè)立的托福（TOEFL）寫作測試。托?？荚嚨膶懽鞒煽兪遣扇】傮w打分的，包括修辭組織、句法結(jié)構(gòu)準(zhǔn)確性、句法多樣性、詳細(xì)的修辭支持和銜接、形態(tài)曲折的準(zhǔn)確性（詞形）、恰當(dāng)使用詞匯措詞、以及

4、總體使用語言的能力。但是ETS設(shè)定的二語寫作評估參數(shù)并沒有顯示出學(xué)習(xí)者應(yīng)該展示在寫作方面應(yīng)該具備哪些具體的話語和詞匯語法特征。(Hinkel, 2002:24)此外，密執(zhí)安英語語言評估測試對作文的評估標(biāo)準(zhǔn)與ETS公布的標(biāo)準(zhǔn)基本相近，包括篇章、句法和詞匯方面。Hamp-Lyons認(rèn)為密執(zhí)安英語語言評估測試比教育測試服務(wù)中心制定的評分標(biāo)準(zhǔn)更為嚴(yán)格，除了篇章結(jié)構(gòu)和詞匯語法之外，在評估作文時要綜合考慮主題展開、語篇銜接、連貫、具有明顯的結(jié)構(gòu)和構(gòu)思跡象、熟練使用交際思想、流暢、廣泛、恰當(dāng)?shù)厥褂迷~匯以及準(zhǔn)確地使用標(biāo)點符號。(同上，25)目前在國外對二語作文的評估中，主要是用直接評估法，包括整體評分（hol

5、istic scoring）和分項評分（analytic scoring）兩種形式，由評閱人（rater）直接給學(xué)生的作文打分。Vaughan對二語寫作的總體評分的標(biāo)準(zhǔn)作了調(diào)查，發(fā)現(xiàn)盡管不同學(xué)校對寫作的評估手段略有差異，但是一般會考慮篇章組織、語法（時態(tài)和動詞錯誤）、形態(tài)和詞形、句型結(jié)構(gòu)（句子的復(fù)雜程度和出現(xiàn)句子碎片或逗號謬誤的頻率）、使用地道的語言、詞匯范圍以及拼寫和標(biāo)點。但是以上評分標(biāo)準(zhǔn)普遍存在的問題是比較主觀、抽象，缺乏詳細(xì)具體的規(guī)定。Hamp-Lyons認(rèn)為西方的第四代寫作評估方法雖然沒有完全成形，但是已經(jīng)嶄露頭角。第四代寫作評估與前面三代相比內(nèi)容更豐富，且思維方式有所改變，尤其會在技

6、術(shù)方面有所突破。以前人們認(rèn)為引入技術(shù)手段造價很高，程序很復(fù)雜，與人有隔閡。但是最近幾年人們嘗試?yán)眉夹g(shù)的新突破，特別是與語篇語言學(xué)有關(guān)的檢索（concordancing）、語料庫語言學(xué)、計算語言學(xué)等手段來改進(jìn)寫作評估，并取得了很大進(jìn)展?？萍夹峦黄七\用到寫作評估中，機(jī)器參與閱卷與以往的人工評估手段相比具有明顯優(yōu)勢：可以重復(fù)操作而不感到疲倦，有很好的適應(yīng)性、靈活性，而且不存在任何偏見。(Hamp-Lyons, 2001:117121)在過去幾年中，測試專家們充分利用新技術(shù)編制出一些高效度的測試評分軟件，其中比較有代表性的當(dāng)推Intelligent Essay Assessor和RightWrite

7、r。Intelligent Essay Assessor是由科羅拉多大學(xué)設(shè)計的基于網(wǎng)絡(luò)的評估打分軟件，可以自動對以電子文本形式提交的短文評分。該軟件是建立在潛伏語義分析（Latent Semantic Analysis）理論基礎(chǔ)上的。潛伏語義分析使用了奇異值分解的線性代數(shù)的方法說明減少維數(shù)有助于揭示語義的潛伏關(guān)系，可以用來比較不同語篇的語義相似性。該軟件的準(zhǔn)確程度已經(jīng)接近人工評分的水平。(詳見桂詩春，2003:83)RightWriter是一個常用的寫作檢查系統(tǒng)，能兼容多種英文文字處理系統(tǒng)，可在極短的時間內(nèi)從以英語為母語的人所關(guān)心的十個方面共97條標(biāo)準(zhǔn)來分析評價一篇文章，并能提供詳盡的分析報告

8、和數(shù)據(jù)。這些工作是評卷人所無法應(yīng)付的。其按部就班的分析程序也具備了評卷人所不具備的客觀性、準(zhǔn)確性和穩(wěn)定性。(溫晉方，2003:86)盡管這些軟件在短時期內(nèi)還無法完全取代人工打分，但是它們的研制和使用使寫作評分正向著客觀、系統(tǒng)的方向發(fā)展。3. 國內(nèi)對英語作文評分研究的現(xiàn)狀及存在的問題在國內(nèi)的各種英語測試中，如何對學(xué)生的英語作文做出比較客觀、準(zhǔn)確的打分也是國內(nèi)從事寫作教學(xué)研究的專家學(xué)者們一直在探索的問題。目前的狀況是在TEM、CET、PETS等大規(guī)模考試中，評閱人往往只能根據(jù)非常籠統(tǒng)、寬泛的評分標(biāo)準(zhǔn)打分，其信度值得商榷。潘瑋在回顧了幾種流行的寫作評分方法后指出，寫作的評分方法仍然處于摸索階段?，F(xiàn)在

9、大范圍語言測試中寫作題的評分標(biāo)準(zhǔn)更多的是走一條半綜合半分解的方法，其主觀因素太多，因而信度難以保證，考試成績的參考價值不大。）隨后她提出了新的評分標(biāo)準(zhǔn)：將學(xué)生的書面交際能力從四個方面加以考察。分別評估其內(nèi)容關(guān)聯(lián)度(R)，篇章銜接度(C)，語法詞匯豐富正確度(G)，以及社會適宜度(A)，然后加上一個總體印象分(I)。(潘瑋, 2004: 30) 但是她沒有指出如何評估以上幾個緯度。 陳立平、李志雪(1999: 68)設(shè)計了一張積分表，評分內(nèi)容分為七項：思想內(nèi)容（20%）、結(jié)構(gòu)形式（15%）、語言表達(dá)（15%）、語篇連貫（15%）、語法（15%）、措辭（10%）、技術(shù)細(xì)節(jié)（10%）。此表雖然分類非

10、常細(xì)致，能夠告訴學(xué)生他們在哪些方面還存在問題，但是過于抽象籠統(tǒng)，閱卷老師只能根據(jù)自己的經(jīng)驗打分，其信度無法保證。曾用強(qiáng)(2002: 27)指出，要對學(xué)生的作文做出客觀的評估，理想的辦法是通過制定科學(xué)的評估量表對學(xué)生的作文進(jìn)行質(zhì)的評估，而不是采用傳統(tǒng)的分?jǐn)?shù)模式。他設(shè)計了評估量表對大學(xué)一年級英語專業(yè)學(xué)生的作文進(jìn)行質(zhì)的評估，包含語言知識、意義表達(dá)和篇章組織能力等，在此基礎(chǔ)上開發(fā)了一套過程化作文評估系統(tǒng)(PWESys 1.00)。這種評分方法雖然不能完全避免人工打分所帶來的信度問題，但是至少對學(xué)生作文語言層面的判斷更加客觀合理了。4. 對建立客觀合理的作文評分方法的建議為了使寫作測試的評分更加客觀合理

11、，必須充分利用語料庫和計算機(jī)發(fā)展的成果，尤其是對作文語言的評估要盡量避免閱卷人的主觀因素所帶來的偏差。在此，筆者建議將語言分為三個緯度來衡量：流利度（fluency）、準(zhǔn)確度（accuracy）和詞匯復(fù)雜度（lexical complexity）?！傲骼取敝缸魑闹小癟單位”（包含一個主句和一個從句）的長度，沒有錯誤的“T單位”的長度和短語的長度；(Wolfe-Qunitero et al,1998:29)“準(zhǔn)確度”指作文中從句總數(shù)與T單位總數(shù)之比；（同上，99）詞匯復(fù)雜度可以根據(jù)作文中使用詞匯的“型次比”（type/token）來統(tǒng)計，也可以統(tǒng)計作文中的詞匯在常見的1000詞、2000詞、3

12、000詞和不常見詞中分別所占的比例。（同上，115）當(dāng)然，在衡量學(xué)生作文的篇章結(jié)構(gòu)和內(nèi)容方面，還需要人工打分，但是可以通過多個評分員共同打分來避免單人打分所帶來的誤差。5. 結(jié) 語筆者認(rèn)為，目前英語作文評分存在一定信度問題，要解決該問題只能借助于計算機(jī)和語料庫的方法，盡量減少人為因素帶來的影響，以保證客觀合理地為學(xué)生打分，使他們更加準(zhǔn)確的了解自己作文中存在的問題，這樣才能有的放矢的解決問題，從而達(dá)到提高作文水平的目的。注釋：二語寫作（Second Language Writing）與外語寫作（Foreign Language Writing）的主要區(qū)別在于學(xué)生學(xué)習(xí)語言的環(huán)境不同。本文不區(qū)分二語

13、和外語的差異，用二語泛指母語之外的語言學(xué)習(xí)和應(yīng)用。參考文獻(xiàn)：1. Beaugrande, R. de, & Dressler, W. 1981. Introduction to Text LinguisticsM. London: Longman. Elbow, Peter. Grading Student Writing: Making It Simpler, Fairer, ClearerC. In Mary Deane Sorcinelli & Peter Elbow (eds.). Writing to Learn: Strategies for Assign

14、ing and Responding to Writing Across the Disciplines. San Francisco: JOSSEY-BASS PUBLISHERS. 1997.2. Faigley, Lester et al. Assessing Writers Knowledge and Processes of Composing M.Norwood, New Jersey: ABLEX PUBLISHING CORPORATION. 1985.3. Foltz, Peter, & Landauer, Thomas. Potential Applications

15、 of Latent Semantic Analysis C. In Thierry Olive & Michael Levy (Eds.). Contemporary Tools and Techniques for Studying Writing. Dordrecht/ Boston/London: KLUWER ACADEMIC PUBLISHERS. 2001.4. Hamp-Lyons, Liz. Fourth Generation Writing Assessment C. In Tony Silva (ed.). On Second Language Writing.

16、Mahwah, New Jersey: LAWRENCE ERLBAUM ASSOCIATES, PUBLISHERS. 2001.5. Hinkel, Eli. Second Language WritersText: Linguistic and Rhetorical FeaturesM. Mahwah, New Jersey: LAWRENCE ERLBAUM ASSOCIATES, PUBLISHERS. 2002.6. Wolfe-Quintero, Kate, Inagaki, shunji, & Kim, Hae-Young. Second Language Development in Writing: Measures of Fluency, Accuracy & ComplexityM. Hawaii: University of Hawaii Press. 1998.7. 陳立平、李志雪. 英語寫作教學(xué)：理論與實踐J. 解放軍外國語學(xué)院學(xué)報(