Writingで23や26というスコアがでるのはなぜですか? その2

2014-01-11

CATEGORIES TOEFLお役立ち情報, Writing対策by.Katsurayama5 Comments

前回の

 

Writingで23や26というスコアがでるのはなぜですか? その1(2014年1月8日)


の続きです。

ETSからの回答により、

 

1.2013年にWriting採点方式の若干の変更があった

2.その変更の理由はおそらくe-rater絡みである

ということが分かりました。

しかし、ETSからは具体的にどう変わったのかについては教えてもらえませんでした。

まあ、変更点を公開してよいのであれば、何ヶ月も前にTOEFL公式サイトに掲載しているはずなのでしょう。

 

ということで、ここでは昨年度のよりTOEFL Writingで26, 23, 19, 16, 13などのスコアがでるようになった採点方式に対する「私の個人的な推測」を書くことにします。

 

W 16 [Integrated – Fair, Independent – Limited]を取ったというご報告をブログの読者の方からメールでお知らせいただきました。Tさん、わざわざお知らせいただき、ありがとうございます。

またW 13 は 2ヶ月でListening, Reading大幅スコアアップの報告をいただきました(2013年10月17日)のご報告の中にありました。

 

まず皆さんに断っておきたいのは、W 26, 23, 19, 16, 13などの新たなスコアは頻繁に出ていないということ。


例えば、以下の報告をくださったOさんは昨年10回TOEFL iBTを受験しましたが、これらのスコアを取っていません。

 

103獲得とそれまでの取り組みのご報告をいただきました!(2014年12月24日)


ウェブトフルの受講生の方々からいただくスコア報告・相談でも、多い人で10回の受験のうちの2回ほどこれらのスコアがでるくらいでしょうか。

昨年20数回受験しても、これらのWritingスコアを1回も取っていない人もいらっしゃいました。

 

よって、スコア算出方法が修正されたものの、基本的な部分は以前の換算表のままであると推測します。

つまり、4, 4, 4, 4の平均4は25のまま。4, 4, 3, 3の平均3.5は22のままと計算式は変わっていないはずです。

 

ではなぜ26, 23, 19, 16, 13という数値が現れるようになったのか?私は

 

人間の採点官による評価とe-raterの評価の価値を同じものとすることをやめた


と推測しています。具体例で説明しましょう。

 

Integrated W(人: 4, e-rater:4)、Independent W(人:4、e-rater:4) → 25

 

は上で述べたた通り。ところがこのうちの1人の採点官が5をつけた場合

 

Integrated W(人: 4, e-rater:4)、Independent W人:5、e-rater:4) 27


は以前の換算表通りなのですが、5をつけたのがe-raterのときは

 

Integrated W(人: 4, e-rater:4)、Independent W(人:4、e-rater:526


となっているのではと推測しています。これは

 

ETSは「e-raterは人間の採点に比べて若干劣る」という判断を下した


ためであると考えます。

前回紹介したETSからのメール回答では、ETSの担当者は

 

広範囲な調査の結果、人間と自動採点プログラムのコンビネーションの方が人間だけよりも、より信頼性・正当性がある採点ができるようになった。


と書いていました。

この回答で書かれていることは、

 

人間+人間の組み合わせよりも、人間+e-raterの方が、より正確に採点ができる


ということ。

 

しかし、自動採点プログラムであるe-raterが計測できるのは「言語」の部分だけであって「内容」を判断することはできません。


そのe-raterの弱点をついて、IntroductionやConclusionで難しい表現を含んだ長めのまとまりを覚え、そのまま書き、高得点を狙うという方法を実践する人たちがでてきました。(特に中国などで)

丸暗記で書かれたエッセイに対してe-raterが高得点をつけてしまうのをETSが歓迎するわけがありません。

ETSはOfficial Guideの中などで「そのようなエッセイを書くべきではない」「そのようなエッセイは低いスコアになる」と警告してきました。


TOEFL iBT OG 4th Editionでの変更点詳細 その4(2012年10月1日)


しかしそのような再三の警告にも関わらず、丸暗記のスタイルでエッセイを書く人がいつづけたために、e-raterからの評価と人間による評価に差をつけることにしたのでしょう。

この変更はe-raterの弱点を認めることにつながります。

 

ETSは公には

広範囲な調査の結果、人間と自動採点プログラムのコンビネーションの方が人間だけよりも、より信頼性・正当性がある採点ができるようになった。

と発表しています。

 

しかし換算表の修正を公表すると、e-raterの採点が人間の採点よりも劣ると認めることになるので、結局、新たな換算表をアップできずじまいのままになっているのではと推測します。


ただ、このETSの換算表の修正はWritingの実力をより正確に判断するための行いであり、それ自体は非常によいことです。

では、これまでの話の結論として、何が言えるのか。

 

e-raterからの高評価獲得を狙い、Introduction、Conclusionのテンプレート等を丸暗記し、エッセイのトピックとはあまり関係のない内容を書いたり、同じ文でコピペをすることによって語数が稼げても、人間の採点官からネガティブな評価を受ける可能性があるスタイルは取らない方がいいでしょう。

語数が多い方が高評価になりやすいe-raterの評価方式を意識しながらも、人間の採点官からもよい評価がもらえるスタイルでエッセイを書くことをお勧めします。

e-raterの評価よりも人間の評価の方が価値が高いわけですから。


以下、上記の私の推測に基づいて作成した換算表です。
赤字は存在が確認されている新スコア。 青字はまだ未確認だが、存在すると推測されるもの)

 

※ 以下の換算表は 2014年9月16日に変更されました。最新のものは「その3」でご確認ください。

Writingで23や26というスコアがでるのはなぜですか? その3(2014年9月16日)

 

Writing
採点官のスコア 平均 最終スコア
5, 5, 5, 5 5 30
5, 5, 5, 4 4.75 29
5, 5, 4, 4 4.5 28
5(人), 4, 4, 4 4.25 27
5(e), 4, 4, 4 4.25 26
4, 4, 4, 4 4 25
4(人), 4(人), 4(e), 3(e) 3.75 24
4(人), 4(e), 4(e), 3(人) 3.75 23
4, 4, 3, 3 3.5 22
4, 3, 3, 3 3.25 21
3, 3, 3, 3 3 20
3(人), 3(人), 3(e), 2(e) 2.75 19
3(人), 3(e), 3(e), 2(人) 2.75 18
3, 3, 2, 2 2.5 17
3(人), 2, 2, 2 2.25 16
3(e), 2, 2, 2 2.25 15
2, 2, 2, 2 2 14
2(人), 2(人), 2(e), 1(e) 1.75 13
2(人), 2(e), 2(e), 1(人) 1.75 12
2, 2, 1, 1 1.5 11
2(人), 1, 1, 1 1.25 10
2(e), 1, 1, 1 1.25 9
1, 1, 1, 1 1 8
1(人), 1(人), 1(e), 0(e) 0.75 7
1(人), 1(e), 1(e), 0(人) 0.75 6
1, 1, 0, 0 0.5 5
1, 0, 0, 0, 0 0.25 4
コメント
  1. Yamada より:

    葛山さん

    はじめまして、Yamadaと申します。
    Writingの点数についていろいろ考察されているようですので、私の取った点数を報告します。

    W 23 [Integrated: F, Independent: F]

    IntegratedもIndependentもともにF(2.5-3.5)でしたので、採点官のスコアとしては4,3,4,3の平均3.5だったのだと思います。
    ETSのミスでトータル23になったのでなければ、
    4(人),3(e),4(人),3(e)の場合も23になるのかもしれませんね。

    ご参考まで。

  2. Katsurayama より:

    Yamadaさん

    貴重なご報告、ありがとうございます!

    > ETSのミスでトータル23になったのでなければ、
    > 4(人),3(e),4(人),3(e)の場合も23になるのかもしれませんね。

    そのような可能性もあると思われます。
    ただ、まだ同様のご報告はいただいたことがないと思われますので、なんとも言えません。

    ETSの計算や表記上のミスの可能性もあると思われます。
    実際に「この評価でこのスコアは絶対にでないはず」というスコアを取ったというご報告を3件くらいいただいたこともあるので。

    今後、Wスコア23のご報告においては

    > 4(人),3(e),4(人),3(e

    可能性がないか意識することにします。

    わざわざご報告いただき、心より感謝申し上げます。

    Katsurayama

  3. もとやま より:

    葛山先生、

    はじめまして。いつもお世話になっております。

    先日のことですが、writingセクションにおいて23のスコアをとりました。内訳をみるとintegratedがfairでindependentがgoodでした。
    このような組み合わせは、御ブログの内容からするにあり得るのでしょうか?

    知識不足で申し訳ありませんが、ご教授いただきたく、コメントさせていただきました。

  4. Katsurayama より:

    もとやまさん

    > writingセクションにおいて23のスコアをとりました。内訳をみるとintegratedがfairでindependentがgoodでした。

    以下での、Writing 23点に対する私の推測

    http://www.etestprep.com/blog/?p=10417

    23   4(人), 4(e), 4(e), 3(人)
        5(e), 4(人), 3(人), 3(e)

    に基づくと、

    Integrated 4(e), 3(人)
    Independent 4(e), 4(人)

    Integrated 3(e), 3(人)
    Independent 5(e), 4(人)

    ならIntegratedがFairで、IndependentがGoodになります。

    ただ、上記のスコアはあくまで私の推測によるものであり、実際にはもっと複雑な換算が行われているかもしれませんが。

    Katsurayama

  5. もとやま より:

    お忙しいところご回答いただきましてありがとうございます。
    詳しい点の内訳を教えていただき、参考になりました。

    もとやま

コメントをどうぞ

Eメールアドレスは公開されません。