作文改不完 機器人相救

美國高中生的寫作能力低落，教改團體認為，機器人可能可以成為寫作救星。《路透》報導，他們希望倚靠機器人讀者，也就是配備特殊程式的電腦，掃描學生文章，判別成績。他們所依據的理論是，如果教師不必閱讀每一份作業，就可以給學生更多寫作練習。而寫作練習越多，就會越來越拿手。
對阿克隆大學教育學院院長謝米斯而言，這樣的說法頗具邏輯。「如果你是一名高中老師，給了學生一份寫作作業，你帶回家的會是150份作文。」
文章評分自動化的概念最早在1960年代提出，當時的電腦技術無法承擔這項重責大任。1990年代晚期，隨著科技進步，數間教科書及測驗公司開始投入這個領域。時至今日，電腦自動評分系統已用於南達科達州的學生寫作作業；諸如外籍學生考的托福測驗等高階測驗，也開始使用自動評分系統。不過，美國教師大部分都對於把學生作業交給機器人批改一事興趣缺缺。
休勒特競賽的目的是要改變現狀，向教師們展示電腦批改評分可以做到和教師一樣的水準，只是更為快速，也不需要用紅筆塗改好幾回。謝米斯表示，電腦批改文章是「不帶任何偏見的，而且可以全年無休，如果學生在晚上10點完成作文，他們在10點1分就可以得到批改完的結果。」皮爾森教育公司甚至宣稱該軟體「了解文章內容涵義的程度與真人相仿」。
哈佛大學寫作教師湯馬斯持存疑態度。他認為教導寫作的最佳方式，是幫助學生處理想法和論點，拼字和語法是其次。「試著找出過濾過的想法，」他說：「然後再來檢查，你的逗號是否放錯位置了。」他說，沒有一台電腦能夠做到這種教學方式。更甚者，湯馬斯擔心如果學生知道他們的文章沒有人會讀，只是靠電腦程式掃瞄幾秒，就不會再費心想出漂亮的譬喻或具洞察力的類比了。
就連機器人批改系統的支持者也承認，這種方式有其限制。如果想作弊，只要在文章裡打上許多關鍵詞彙，不論排列是否有意義，大多數評分系統都會給予高分。
電腦在處理實驗性散文時也面臨困難，評分系統較擅長處理一致性而非創意。「電腦恨詩歌。」非營利的教育測試服務資深研究主任威廉森表示。自動評分系統的設計無法判斷藝術成就，它們評斷的是作者是否能有效溝通基礎概念。這是許多美國學生缺乏的技能。
休勒特基金會邀請業餘者提出自己的程式，參賽者需寫出能夠替「我把包包掛在肩上」或「我的傷口在縫合時很痛」之類奇特詞句評分的程式。他們的目標是希望程式給每篇文章的分數與真人評分者所給的分數能夠一致。密西根大學冰河科學家歐萊瑞發現真人評分者通常不會給使用複雜詞彙的學生額外分數。於是他捨棄了要讓電腦掃瞄艱難詞彙的計畫，改讓他的評分機器人計算標點符號。「逗號的數量是分數評定上非常重要的依據。」歐萊瑞表示。「這聽起來有點奇怪。但逗號數量越多，文章就越好。」
隨著參考資料越來越多，歐萊瑞發現一個令人感到挫折的事實：他一直試圖模仿的「真人評分者其實常常前後矛盾。關於一篇指定文章，不同評分者會有不同的評定標準。他們給分數的方式其實相當隨機。的確，研究顯示真人閱讀者常會被一些不相干的因素給左右，比如說學生的字寫的好不好看。」
「事實是，人類對於評分並不擅長。」專研寫作評分技術的范德堡大學教授葛拉罕表示。總有一天評分機器人會全面取而代之。
當成績出現分歧時，歐萊瑞會仔細閱讀文章，找出何以出現差異。「大部分的狀況是，」他說：「我同意電腦所作的決定。」