Writingで23や26というスコアがでるのはなぜですか? その1

2014-01-08

CATEGORIES TOEFL学習全般, Writing対策by.Katsurayama0 Comments

昨年、ウェブトフル受講生の方々から、以下のようなご質問をよくいただきました。

 

Writingが23(または26や19)というスコアになったのですが、なぜでしょうか?


「質問の意味が分からない」という方もいらっしゃるかと思います。

まずは、以下をクリックして、左側のWritingの換算表をご覧ください。

 

TOEFL Writing / Speaking換算表


 

このETS作成による換算表に基づくと、Writingセクションで23や26というスコアはでないということになります。

 

よって、例えば「Writingで23を目指します」「Writingで26獲得を狙いましょう」というような発言は

 

TOEFLの仕組みがよく分かっていない

 

と言えました ...

一昨年までは。


しかし昨年度より、Writingで23や26というスコアが出るようになりました。


最初の頃は「ETSのミスだろう」と私は考えていました。

しかし「Writingでは23や26というスコアがでない」と証明する

 

換算表が昨年初めあたりに、TOEFL公式サイトから消えた


ので、その事実を記録しておくため、またSpeakingとWritingの換算表がなくては不便なので、4月23日に以下の投稿を書きました。

 

TOEFL WritingとSpeakingの換算表(2013年4月23日)


当初は、いくらかしたら換算表はまたTOEFL公式サイトに戻ると思っていたのですが、

 

3-4ヶ月してもTOEFL公式サイトには換算表がないまま
引き続き23, 26というスコアを取ったという報告を受けている


ため、

 

ETSはTOEFL Writingの換算の仕組みを少し変え、結果、26, 23, 19というスコアが出るようになった
(受講生の方々からお知らせいただいているSpeakingのスコアは換算表通りなので、こちらは変えてはいないと判断しています)

 

という結論を下しました。

しかし、Writingのスコア算出方法の変更は発表されておらず、またおそらく発表されないままになるかもしれないので、ETSに尋ねなければなりません。

ということで、回答をもらう可能性が一番高いと思われる筋から質問をし、長らく待った結果、ETSより以下の返答を受け取ることができました。

 

・2005年のTOEFL iBTが開始されたとき、Writingの採点は人間だけによって行われた。

・2008年からe-raterをWritingの採点に採用した。広範囲な調査の結果、人間と自動採点プログラムのコンビネーションの方が人間だけよりも、より信頼性・正当性がある採点ができるようになった。

・更なる調査の後、2013年に受験者のWriting能力をより細かく識別するために、採点方式は少し変更された。その結果、以前は滅多に現れることがなかったスコアが定期的に見られるようになった。


ETSからの報告は、私が直接受け取ったものではなく、またその内容の発表を前提として回答いただたものではないため、原文は掲載いたしません。また、上記は回答をまとめたものになります。

ここでのポイントは

 

1.2013年にWriting採点方式の若干の変更があった
2.その変更の理由はおそらくe-rater絡みである


の2点。

 

e-rater(またはeRater)のことを知らないという方もいらっしゃると思いますので、少し説明しましょう。

皆さんが書くIntegrated, Independent Writingのエッセイに対して、それぞれの2人の採点官がスコアをつけます。
2人の内の1人を担当するのがこの自動採点プログラム e-raterです。
つまり、Integratedのエッセイに対して、人間の採点官とe-raterが、Independentのエッセイに対して人間の採点官とe-raterがスコアをつけ、これら4つのスコアの平均が換算表に基づいて最終的なスコアになります。
(例えば、4 [human rater], 5 [e-rater], 4 [human rater], 4 [e-rater] なら平均4.25 → 27点)

 

e-raterに関してTOEFL公式サイトに以下のように説明されています。

 

Understanding Your TOEFL iBT® Test Scores のページ一番下、Writing Sectionを参照

eRater® automated scoring technology is used with human ratings to score the independent and integrated writing tasks. Using both human judgment for content and meaning with automated scoring for linguistic features ensures consistent, quality scores.


ETSからの回答には明確に述べられてはいませんが、採点方式の変更がe-rater絡みであることは、採点官の変更についてわざわざ書いていることから分かります。

しかし、

 

変更後のスコア換算方法
昨年変更された換算方法を発表していない理由


 

に関しては不明なままです。

ただ、このような短い回答に対してもETSはいくつかの部署に確認を取ったようなので、上記が今のところ(また、もしかしたら将来も)発表できることなのかもしれません。

 

今回の投稿はここまでとさせていただきます。
次回は、変更された換算方法、およびETSが新たな換算方法を公開しない理由に対する「私の個人的な推測」について書きます。


ところで上記では、もともとの換算表にはない26, 23, 19というスコアがでていると書きましたが、同様に

16, 13, 9というスコアをWritingセクションで取ったことがあるという方は、是非お知らせいただけますでしょうか。

このブログのコメント欄、または info@(アットマークを半角のものに変更願います)etestprep.com まで、Integrated, Independentそれぞれの評価(Good, Fair, Limited)とともにお知らせいただけるとより詳細に分析ができるため助かります。
このブログを読んだのが投稿の時期よりもずっと遅いという場合でも結構です。
是非、宜しくお願いいたします。

 

Writingで23や26というスコアがでるのはなぜですか? その2(2014年1月11日)

コメントをどうぞ

Eメールアドレスは公開されません。