Writingで23や26というスコアがでるのはなぜですか? その4「FairとFairで23点だったんだけど」

2018-09-15

CATEGORIES TOEFL学習全般, Writing対策by.Katsurayama2 Comments

今回のブログ記事は、以前の投稿

 

Writingで23や26というスコアがでるのはなぜですか? その3(2014年9月16日)

 

を踏まえた内容。
こちらの記事をまだ読んだことがないという方は、一読されることをお勧めします。

 

先日、受講生の方から「Writingセクションにおいて

 

Integrated:Fair(2.5-3.5)、Independent:Fair(2.5-3.5) で23点

 

だった。その前は、

 

Integrated:Good(4.0-5.0)、Independent:Fair(2.5-3.5) で22点

 

だったのに。評価は下がってスコアが上がることはあるのか?」というご質問をいただきました。

 

前の回での Integrated:評価点 4と4、Independent:評価点 3と3 の評価点平均3.5で22 は、数年前に換算方法が変わったときと同じ。

 

以下、『数年前まで』TOEFL公式サイトで公表されていた換算表:

 

→ TOEFL Writing / Speaking換算表

 

2013年にWritingセクションの換算方式が変更され、結果、以前にはなかった23や26というスコアがつくようになりました。
また、以前は公表されていた換算表はどこにも掲示されなくなりました。
(ちなみに、一緒に公表されていたSpeakingの換算表も非公開になりましたが、こちらはスコアのつき方から換算方法は前と全く変わらないと考えています。)

 

ということで、

 

Integrated:Good(4.0-5.0)、Independent:Fair(2.5-3.5) で22点

 

の方は、特に問題ないのですが

 

Integrated:Fair(2.5-3.5)、Independent:Fair(2.5-3.5) で23点

 

というスコアがなぜ生まれるのかについて、今回は考えます。

 

例えば、Integratedで4と3、Independentで4と3ならそれぞれの評価点の平均は3.5になり、Integrated、IndependentともにFairになります。
しかし数年前に使われていた換算表では、Integrated、Independentそれぞれに対する2者の採点官のスコアの平均が3.5なら22になるんですよね。

 

数年前だったら22のはずが、なぜ23点になったのか?

 

そもそもWritingの換算方式が変わったのは、automated scoring technologyであるeRaterが採点に使われるようになったから。
当初はIntegrated、Independentそれぞれのエッセイに対して人間が2人ずつ採点していました。
それが数年前から、eRaterと人間のペアで採点が行われるようになりました。

 

以下、TOEFL公式サイトの説明です。

 

Understanding Your TOEFL iBT® Test Scores

 

TOELF Writing Scoring

 

 

 

 

 

 

 

 

 

 

 

 

ここで考慮すべきは「なぜ換算方法を変えたのか?」。

 

Writingの採点の半分を人間ではなく、eRaterが担当するようになったのは「採点官の確保が大変だから」「多数の採点官のトレーニング及び管理は手間だから」「人間よりもeRaterの方が安いから」という理由なのは、まあ、明らかですよね。

 

人間とeRaterの採点の質が全く同じなら、つまり人間の代わりにeRaterが使われるようになっても何も変わらないのなら、わざわざ換算表を変える必要はないはず。

 

ETSは人間とeRaterは別の観点で採点するとは説明しているものの、人間とeRaterがつけるスコアが異なる場合、人間がつけたスコアに対してより高く評価することにしたのだと私は推測します。

 

例えば、評価点の平均が3.5であっても

 

人間:4と3、eRater:4と3
人間:3と3、eRater:44

 

なら、以前と変わらず22点

 

しかし、

 

人間:44、eRater:3と3

 

なら23点というように。

 

私はその昔、上で紹介したブログ記事

 

Writingで23や26というスコアがでるのはなぜですか? その3(2014年9月16日)

 

で、23点に対する内訳は

 

4(人), 4(e), 4(e), 3(人)
5(e), 4(人), 3(人), 3(e)
5(人), 5(e), 3(e), 2(人)

 

と予測しましたが、今回の結果を踏まえるとおそらく正確ではないのでしょう。
(4, 4, 3, 3で23になることは予測していませんでした。)

 

Writingの換算方式はブラックボックスなので推測の域を出ませんが、Writingで26点、23点、19点といったスコアを取った人はご自身のエッセイに対する評価を判断する際に参考にしていただければと思います。

 

受講生の方々、このブログを読んでいる皆さん!
26点、23点、19点、16点、13点、9点、6点という昔の換算表には存在しないWritingスコアを取ったときは、今回の「Integrated:Fair、Independent:Fairで23点」のように評価基準を、メール、コメント欄、Twitterで、是非、お知らせください。

 

十分な情報が集まり次第、予測される換算方式をアップデートします。

 

コメント
  1. WH より:

    はじめまして。いつも参考にさせてもらっています。

    不思議な結果が出たので、情報提供いたします。受験日は9/2です。Writingスコアは23点で、評価はどちらもGoodでした。点数だけで考えると、全く合ってこないです。
    スペルミスが多いことの影響などもあるのでしょうか?(「ミスを潰したら5点位上がった」という知り合いもいます。私は今回チェックする時間を十分に取れませんでした。)

    ちなみに、今年5回受験していますが、Writingスコア23点は2回目です。(1回目は、IntegratedがGood、IndependentがFairでした。)

    以上、よろしくお願いいたします。

  2. Katsurayama より:

    WHさん

    情報提供、ありがとうございます!
    こちらに関しては明日ブログ記事で回答します。

    Katsurayama

コメントをどうぞ

Eメールアドレスは公開されません。