ヒロ前田のTOEIC情報ブログ。TOEICの解答は掲載しません。セミナーや本の紹介はあり。
 最新ページ ほかのページ →  main  << >>
疑問64 1問の価値を再検討
解決しにくい疑問が発生しています。

同一のテストの同一セクションにおいて、あるアイテムと別のアイテムの価値、つまりスコアへの貢献度は同じであるはずです。つまり、同じテストのリーディングセクションでAさんが76問正答し、Bさんが76問正答したのであれば、パートに関係なくスコアは同じです。なぜなら、TOEICの主催者は「正答数」によってスコアが決まることを発表していますし、ボクの過去の実験からも、それを証明できたからです。

ところが、2008年7月実施の、第140回の公開テストで異変が起きました。
以下、項目別正答率(Abilities Maesured)をAMと表記します。

ボクが取得したリーディングのAMを掲載します。
94
100
96
100
100
スコアは475です。


HUMMERさんのリーディングのAMです。
94
100
96
100
100
スコアは485です。
これが証拠画像です。

HUMMERさんが受験したのは、ボクと同じフォームです。
AMが同じ(正答数が同じ)ですがスコアが違う、という現象が起きました。

正答数が異なる可能性はありません。
項目別に割り当てられたアイテム数は25問くらいですから、正答数が1つでも違えばAMにおけるパーセントも確実に異なります。スコアが間違っているとも思えません。

よって、正答したアイテムの1問あたりの価値が違うとしか考えられません。ただし、それに反する証拠はあるものの、サポートする証拠は今回の結果だけです。

理由は知りませんが、第140回のテストでは1問あたりの価値が異なる可能性が高いとは言えそうです。

HUMMERさんとボクの正答数は98です。さらに異なるデータを見てみます。

97問を正答した、morite2さんのリーディングのAMです。
100
100
96
96
96
スコアは465です。
これが証拠画像です。

100問を正答した、神崎正哉さんのリーディングのAMです。
100
100
100
100
100
スコアは495です。
これが証拠画像です。

全員、受験したテストフォームは同じです(4EIC15)。並べてみます。
正答数100 495 :神崎さん
正答数98 485 :HUMMERさん
正答数98 475 :前田
正答数97 465 :morite2さん

470と480に該当する正答数がありません。

ただし、異なるフォームでは、ある人物の正答数が98でスコアが480でした。
正答数100 495 :神崎さん
正答数98 485 :HUMMERさん
正答数98 480 :ある人物さん → フォームが異なる(4EIC16)
正答数98 475 :前田
正答数97 465 :morite2さん

正答数99というサンプルがありませんが、それは485か、490か、495のどれかでしょう。どれ、とは言えません。100問しかないので、異なる正答数でもスコアが同じになる可能性はあるからです。

HUMMERさんとmorite2さんを比べると20も違います。1問の差で。
それより、HUMMERさんとボクの差が10あるのが不思議です。

満点に近ければ、正答数は正確に算出できます。
460以上だった方からのサンプル提供を希望します。よろしければ、フォーム番号と一緒にコメント欄に記入してください(フォーム番号がなければサンプルとして使えません)。以下は記入例です。

フォーム:4EIC15または4EIC16
100
100
96
96
96
スコア:465

状況が変化したら記事を更新します。
この「疑問」は解決されないかも知れませんが・・・。

追記
早くも解決しそうです。ボク自身が知っていた、ある知識を失念していました。この記事の中に、謝った認識に基づいた記述があります。そのせいで、そこから派生している様々な推測が間違っています。


追記2
ボクが犯したミスは「AMが同じなら正答数が同じである」という判断です。以前の実験により、リーディングセクションのいくつかのアイテムは複数の「項目」に影響することを確認したのですが、今回はその事実を忘れていました。メールマガジンの読者の方から指摘を受けて思い出しました。ありがとうございました。

現段階で、最も正しいであろう推測結果をエクセルで作りました。

T140_r_am_comparison
(クリックで拡大)


comments(28) URL 2008.08.30 Saturday └ TOEIC 疑問 スコアTOP
Comment
はじめまして。いつもブログを拝見させていただいております。第140回のTOEICテスト結果ですが、

Reading
フォーム:4EIC15
100
100
96
96
96
スコア:465

ちなみにListeningは、
90
86
100
87
スコア:460

でした。

このスコアで、正解数とどこで落としたか算出可能ですか。ご教授戴ければ幸いです。

Part1でbasketに見えない入れ物の写真が正解かどうかでずーっと考えてしまいその質問を含めてPart1のみで2つか3つ間違えたような記憶はあります。
outrageous2007 | 2008/08/30 8:19 AM
前田さん

Azuriteです。Reading460以上ですので、ご報告いたします。

フォーム:4EIC16
100
100
95
93
96
スコア:465

昨日8/22(金)、てんまさんと(スカイプで)お話していてこの話題になりました。
1問の価値が異なる現象も驚きましたが、正答数が1問ずつずれても、スコアが5点刻みに変化しない、という事実にも、個人的には驚きました。(スコアは5点刻みで変化すると、ずっと思っていたので)
てんまさんと議論し、結局「設問によって配点が違う、ということかなぁ」との推測で、こちらも落ち着きました。
Azurite | 2008/08/30 10:15 AM
すみません、上記コメントで訂正です。
日付:8/29(金)です(1週間、ずれてました!)
Azurite | 2008/08/30 10:19 AM
前田先生!

フォーム:4EIC15
94
100
91
96
100
スコア:465

でした。参考までに。。
今回の配点は厳しい(問題は易しかった)のでしょうか?
kpinkcat | 2008/08/30 1:54 PM
いつも楽しく読ませていただいています。今週のメルマガの記事も、とても参考になりました。
さて「追記欄」を参考に、素人ながら推測させていただきました。
1)実際にはHUMMERさんと前田先生の正解数は同じではなかった。
2)HUMMERさんが落とされた問題は、AMの「1推測」と「3関連づけ」の両方にリンクした問題であった。一方、前田先生が落とされたのは、「1推測」と「3関連づけ」のそれぞれ個別にリンクした、実際には別々の問題であった。
3)言い換えると、AMと各問題の結びつきはそれぞれ異なるため、正解数が異なっていても、AMの値がたまたま一致した。
※これからの記事も楽しみにしています。
laidback | 2008/08/31 12:54 AM
あれですかね、採点の対象にならない問題があるんでかね?
前田さんが正答してHUMMERさんが間違えた問題が採点の対象からはずされていたら、つじつまが合いますよね。
神崎正哉 | 2008/08/31 1:07 AM
outrageous2007さん、
情報提供ありがとうございました。正答数は97で間違いないはずです。AMの数字だけを見ると98の可能性もあるんですが、このテストでは97です。3番目のアイテムは、Part 7(両文書参照型か、NOTを含む消去法タイプ、またはSP)です。もしPart 6なら正答数が98になるはずですから間違いありません。語彙についてはPart 5 6の可能性が高いです。Part 7の同義語問題かも知れませんが。文法はPart 5 6のどこか、です。
リスニングは8問誤答のはずです。Part 1 2 の2問と、Part 3 4 の中の6問だと思われます。
前田 | 2008/08/31 1:28 AM
Azuriteさん、
ありがとうございました。3問か4問の誤答ですね、おそらく。
フォーム16は情報が少なくて、あまり使えませんでした。ほかに似たスコアの情報が増えると分析できます。
スコアは5点刻みとは限りません。人数が少なければ少ないほど「刻み」は大きくなるはずです。なので「存在しないスコア」が存在する場合があります。今回なら、480と470は存在しないでしょうね、きっと。
前田 | 2008/08/31 1:37 AM
kpinkcatさん、
情報ありがとうございました。97問正解のようですから、大躍進ですね。配点が厳しかったかどうか、は簡単には判断できません。この領域(正答数が高いエリア)においては、そういう気もしますが、もしかすると正答数80前後(平均よりは高い)のエリアには普段より多くの人がいるかも知れませんし。「やさしい」「難しい」というのは「ある1人」にとっての相対的な判断でしかありません。普段800前後のAさんが難しいと感じるなら「普段より正答数が少ない」からでしょうが、もともと500点のBさんにとっては、同じテストを「普段より簡単だ」と感じるかも知れません。Aさんにとっての難問は、すべてBさんにとっても難問であり、Aさんにとっての楽勝問題がBさんが正解すべき問題だからです。Aさんは「楽勝問題」が増えても感情には影響しませんが、Bさんにとっては「普段より多く解けた」と感じるでしょう。ま、これは机上の空論ですから、実際はどうなっているか分かりません。いずれにしろ、1人が判断できることではなく、多くのデータを集めてやっと言えることだとボクは思っています。「誰にとって」という視点を入れると判断が変わります(そういえば、赤信号にも似たことを書きました)。

なんか長くなりましたが、ご協力ありがとうございました。
前田 | 2008/08/31 1:53 AM
laidbackさん、
いつも【ダッシュで奪取】をお読みくださり、ありがとうございます。
追記2をアップロードした後でlaidbackさんのコメントを読みました。まさに、ご記入いただいたことが起きたのだと思います。自分でかつて実験して把握していた考え方のはずなのに忘れていました。ありがとうございました。
前田 | 2008/08/31 1:56 AM
神崎さん、
コメントありがとうございました。「採点対象外」の可能性を考慮するのを忘れていました。確かにそのケースにおいては正答数やAMを見るだけでは正しい計算ができないですね。ま、実際にどう処理されるのかも知りませんが。
そういえば、blitz blogで「前田さんの実験」という記事がありましたよね。あれを思い出しました。
あ、これです。
http://toeicblog.blog22.fc2.com/blog-entry-234.html
あ、そういえば、9月1日ってTBBの誕生日なんですね。ボクのメルマガも同じなんです。偶然。
前田 | 2008/08/31 2:05 AM
前田先生、こんばんは!僕が受験時に確実に落とした認識がある問題数は1問です。PART7でinternetを答えて間違えました(ホテルの従業員はこの後なんの話し合いをするか、という、確かダブル・パッセージの問題です)。
HUMMER | 2008/08/31 2:07 AM
HUMMERさん、
ありがとうございます。それなら、なお納得できます。「推測」と「関連付け」が同時に試されていますので2つの項目に影響しますね。それ以外を間違えなかったということですから、HUMMERさんは99問を正答したんです。


ボクの負け。
前田 | 2008/08/31 2:23 AM
すごい分析ですね。前田さんの熱意に脱帽です。私は4EIC15でしたが、100/100で495でした。今回は1問間違えると満点ではない可能性が高かったということですね。拝見して冷汗が出ました。6月(4EIC12)は、100・93・97・100で満点だったのに、回によってずいぶん違いますね。9月も気を引き締めないと。では、今後も楽しみにしています。
TEX加藤 | 2008/08/31 8:43 AM
結論は出ているようですが、データは多い方が良いので私のも書いておきます。

4EIC15
94
100
100
96
96
スコア: 465

97問正解で465、という推測の補強にはなりそうですね。
ご隠居 | 2008/08/31 3:53 PM
前田さん、

調査中お忙しい中、正解数および間違ったパートの予測を教えていただきありがとうございました。

設問先読みをしなかったとはいえ、リスニングで8問も間違えているとは自分の未熟さのよい証明だと思います。やはり、TOEICはよくできた試験ですね。

Public Radio InternationalのThis American LifeをiPodで聴くことを習慣にしていますが、同時に他のことはまだできません。本を読んだりするのはおろか、少しでも何か他の作業(缶ジュースを買うとか)するとかなり聴き落してしまいます。まだ並列処理などは夢の夢ですね。

今後とも記事を楽しみにしています。
outrageous2007 | 2008/08/31 9:28 PM
神崎さんがコメントされた“祭典対象にならない問題の存在”を私も一瞬考えたんですが、1問が一つだけの項目に反映するという前提で考えてました。前提が違ったんですね。

1問が複数の項目に反映するというのはReadingだけでしょうか? Listeningでは複数の項目には反映される問題はなさそうですが、これって検証なさってますか?
てんま | 2008/09/01 4:49 AM
“祭典対象”って。。。↑
“採点対象”です。すみません。
てんま | 2008/09/01 4:50 AM
なるほど。
複数の項目に影響する問題が鍵だったんですね。
貴重な情報、ありがとうございます。

メルマガanniversary、おめでとうございます。
神崎正哉 | 2008/09/01 9:14 AM
TEX加藤さん、
ご訪問ありがとうございます。100問正解とはスゴイ実力ですね。感心いたしました。ボクは時間的な余裕のあったPart 7でミスしたようですので、まだまだ読書を増やさなければならないと感じています。また、ご訪問くださいませ。

ご隠居さん、
いつも情報提供ありがとうございます。次は990のレポートを待っています。

outrageous2007さん、
コメントありがとうございました。お互いに、学び続けていきましょう。
前田 | 2008/09/01 1:55 PM
てんまさん、
1問が複数項目に反映されるのはリーディングセクションだけです。リスニングセクションで検証作業をしたことがあります(検証方法は忘れましたが)。

神崎さん、
ボクのメルマガは2周年ですが、今後もお互いに続けていきましょう。
前田 | 2008/09/01 2:01 PM
この間はありがとうございました

ある知り合いの方のリーディングのAMを紹介しますね

もしかしたら前田さんのブログのある方と同一人物かもしれませんが

フォームは16

94
100
100
97
100

計480点

しかしすばらしい分析ですね
感動してしまいました
Morite2 | 2008/09/01 2:33 PM
前田さん、
ご回答、有難うございます。Abilities Measured も奥が深いですね。
てんま | 2008/09/01 2:37 PM
Morite2さん、
情報ありがとうございました。おかげさまで、Azuriteさんの情報と合わせてフォーム16も分析できます。

フォーム:4EIC16
ある方さん
94 推測
100
100
97
100
スコア:480 正答数:98
【理由】「推測」と「語彙」を同時に試すアイテムはないはず。誤答は2つ。

Azuriteさん
100
100
95 関連付け
93 語彙
96
スコア:465 正答数:96
【解説】ミスした「語彙」2問のうち1つが「関連付け」に影響している可能性もある。ただし、その場合は正答数97(スコア465)なので「ある方さん」が480(正答数98)であることを考えるとスコア差15となり不自然。よって、Azuriteさんが落とした語彙問題は両方とも1項目にのみ影響していると推測。かつ、「関連付け」に関してはPart 7の「両文書参照型」か「NOT型」を落としたと推測可能(Part 6の文脈依存型の語彙ではない)。正答数96が正しい。

4EIC16
正答数99 スコア485か490だろう
正答数98 スコア480
正答数97 スコア470か475だろう
正答数96 スコア465

4EIC15
正答数99 スコア485
正答数98 スコア475
正答数97 スコア465
正答数96 スコア460か455だろう

フォーム16で470か475のサンプルがあれば、より正確に立証できます。または、Azuriteさんが落としたアイテムタイプが判明すれば。

正答数を推測しやすい、満点に近いエリアでしかこのような検証は難しいですが、このエリアにいる人は満点取得を意識する人が多いはず。なので、ほんの少しのアイテムに対する「勘」が結果を大きく左右しますね(もちろん実際の正答数の中にも「勘で正解」が含まれているでしょうが、このエリアにいる人は、もともと勘に頼る数が少ないはず)。

続報があれば更新します。
前田 | 2008/09/01 7:10 PM
2008 DF福岡参加者です。DFに参加させていただきありがとうございました。
ブログもメルマガもいつも拝見してます。
すっかりタイミングを失した感もありますが,第140回のTOEICテスト結果を報告します。

フォーム:4EIC15
Reading
100
100
100
93
100
スコア:475

ちなみに,Listening
90
100
95
92
スコア:490

でした。

リーディングについては,語彙力が不足しているとの結果は,自分の実感とも一致しています。
98問正解とはとても考えにくいのですが,でも,結果から見てそうだったんでしょうね。
確率的には(勘ボックスを考慮すれば),
98問実力で正解+勘は2問中0問正解
or
97問実力で正解+勘は3問中1問正解
or
96問実力で正解+勘は4問中2問正解
or
...
ということになるのですが,
実感としては,
80問実力で正解+勘は20問中18問正解
つまり,(自分の実力に関し)確信のもてないいい加減な知識が多い,と感じています。
GGD00532 | 2008/09/01 9:53 PM
GGD00532さん、
詳細な情報をいただき、ありがとうございます。また、DF福岡にご参加くださり感謝いたします。確率を考えると「勘は20問中18問正解」は不可能に近いです。「96問実力で正解、勘は4問中2問正解」くらいが正しいのではないでしょうか。低く見ても。確認の持てない解答が多いと感じることは、今後の学習理由になりますから、ぜひ学び続けていってください。
ちなみに、ボクは100問を確信を持って解答しました。なのに2問をミスしたので、そっちの方が問題です。(苦笑)
前田 | 2008/09/03 4:44 PM
前田先生

エクセルの表を拝見させていただきました。私もHUMMERさんが間違えた問題を間違えました。(ジムが正解のところをレストランの料金と解答しました)ですから、確実に2つの項目に影響する問題を落としています。
先生の研究・洞察に恐れ入ります。
kpinkcat | 2008/09/08 1:19 AM
kpinkcatさん、
情報ありがとうございました。これで、正答数が97問だったことが判明しましたね。余談ですが、あのアイテムは消去法でのみ解くことができるタイプだったと思います。正解の根拠は「ほかが不正解だから」でしたね。勉強になります。本には収録できないタイプですが。
前田 | 2008/09/09 5:50 PM









後でコメントを修正するには今のうちにコピーしておいてください。

ブログ運営者

更新状況とメルマガ

掲載されている疑問数 87


admin

カテゴリーを選択

ヒロ前田のセミナー

TOEIC対策セミナー、TOEIC指導者向け講習など。
セミナー一覧
各セミナーの報告

コメント

アイテム紹介

CD付 TOEIC(R)テスト 新形式問題やり込みドリル
CD付 TOEIC(R)テスト 新形式問題やり込みドリル (JUGEMレビュー »)
ヒロ 前田,ロス タロック
2016年5月以降の新形式に特化した本。321問を収録。意図問題だけで105問を収録している本は他にないはず。本書の裏話と詳細あり。

アイテム紹介

EPSON プロジェクター EB-1771W 3,000lm WXGA 1.7kg
EPSON プロジェクター EB-1771W 3,000lm WXGA 1.7kg (JUGEMレビュー »)

世界で最も薄いらしいです。セミナー用に購入しました。

アイテム紹介

TOEIC(R)テスト 非公式問題集 至高の400問
TOEIC(R)テスト 非公式問題集 至高の400問 (JUGEMレビュー »)
ヒロ 前田,テッド 寺倉,ロス・タロック
公式ではなく非公式。非公式だからこそ、公式には書かれていないことが満載。

アイテム紹介

CD付 改訂版 5日で攻略 TOEIC(R)テスト730点! (残り日数逆算シリーズ)
CD付 改訂版 5日で攻略 TOEIC(R)テスト730点! (残り日数逆算シリーズ) (JUGEMレビュー »)
ヒロ前田
ボクが最も好きな自著の1つです。2008年に発売されたシリーズの改訂版です。小さい改訂なので、オリジナル版を持っている人は買うべきではありません。

アイテム紹介

TOEICテストパート1、2 出るのはこれ! (講談社パワー・イングリッシュ)
TOEICテストパート1、2 出るのはこれ! (講談社パワー・イングリッシュ) (JUGEMレビュー »)
ヒロ 前田
ビジュアルの工夫をたくさん入れた問題集です。パート1の復習コーナーに、以前から実現したくて実現できていなかったユニークな練習法を取り入れました。

アイテム紹介

TOEICテストパート3、4 出るのはこれ! (講談社パワー・イングリッシュ)
TOEICテストパート3、4 出るのはこれ! (講談社パワー・イングリッシュ) (JUGEMレビュー »)
ヒロ 前田
実際のテスト3回分のコンテンツが入っている問題集です。

アイテム紹介

DL付 TOEICテスト究極のゼミPART 5語彙・語法【超上級編】
DL付 TOEICテスト究極のゼミPART 5語彙・語法【超上級編】 (JUGEMレビュー »)
ヒロ前田,ロス・タロック
練習問題の約半分は、TOEICに出題されない形式で作られています。その方が力を伸ばすのに役立つと信じているからです。読者向け特典があります。

アイテム紹介

新TOEIC TEST ドリーム特急 全パート実戦対策
新TOEIC TEST ドリーム特急 全パート実戦対策 (JUGEMレビュー »)
森田鉄也,花田徹也,神崎正哉,ヒロ前田,加藤 優,濱崎潤之輔,TEX加藤,Daniel Warriner
パート4を担当しました。

アイテム紹介

TOEICテスト900点。それでも英語が話せない人、話せる人(DL特典付)
TOEICテスト900点。それでも英語が話せない人、話せる人(DL特典付) (JUGEMレビュー »)
ヒロ 前田
「笑いと涙をこらえきれず、部屋を飛び出しました」「すごくおもしろかったです。おもしろいだけじゃなく本当に役立つ1冊」

アイテム紹介

音声DL付 TOEIC(R) テスト 基本例文700選 (TTTスーパー講師シリーズ)
音声DL付 TOEIC(R) テスト 基本例文700選 (TTTスーパー講師シリーズ) (JUGEMレビュー »)
基本例文700選制作委員会
これは「暗記」するための本ではなく、読み物です。聞くための音声コンテンツも死ぬほどたくさんあります。説明を書きました。

アイテム紹介

不思議の国のグプタ―飛行機は、今日も遅れる
不思議の国のグプタ―飛行機は、今日も遅れる (JUGEMレビュー »)
ヒロ前田,清涼院流水
TOEICに関わる、すべての人に想いを込めて捧げます。中学生も楽しめる本です。特設ページもあります。

アイテム紹介

TOEIC(R) テスト いきなり600点!
TOEIC(R) テスト いきなり600点! (JUGEMレビュー »)
横川綾子,渋谷奈津子
ボクが“プロデュース”した最初の作品です。FBページもあります。

アイテム紹介

TOEIC(R)テスト究極のゼミPart 5 & 6
TOEIC(R)テスト究極のゼミPart 5 & 6 (JUGEMレビュー »)
ヒロ前田
特典として「演習専用マークシート」があります。「トレーニング」のコーナーが工夫されています。

アイテム紹介

TOEIC(R)テスト究極のゼミPart 7
TOEIC(R)テスト究極のゼミPart 7 (JUGEMレビュー »)
ヒロ前田
文書すべてを録音した音声などの無料特典があります。これは
プレスリリースです。

アイテム紹介

アイテム紹介

新TOEICテストBEYOND990超上級問題+プロの極意
新TOEICテストBEYOND990超上級問題+プロの極意 (JUGEMレビュー »)
ヒロ前田
1200点を目指すための本。詳細な情報は専用カテゴリーにあり。プレスリリースもあり。

アイテム紹介

新TOEIC TEST 時短特急 ミニ模試×5回
新TOEIC TEST 時短特急 ミニ模試×5回 (JUGEMレビュー »)
ヒロ前田,Ross Tulloch
ミニサイズの模試です。Test 1〜3は28問、Test 4〜5は30問です。特典もあります。

アイテム紹介

眠った英語を呼び覚ます―DLS英語学習法のすすめ
眠った英語を呼び覚ます―DLS英語学習法のすすめ (JUGEMレビュー »)
新崎 隆子,高橋 百合子
この本に登場する「英文の覚え方」は衝撃的。スピーキングとリスニングを鍛える方法を記した本。新崎先生と高橋先生が開発したトレーニング法を学べます。事情により、この本を書店で入手するのは困難ですが、アマゾンで買えるようです。英語力を高めたい人に推薦します。詳しい説明を書きました。

アイテム紹介

新TOEICテスト 直前の技術?スコアが上がりやすい順に学ぶ
新TOEICテスト 直前の技術?スコアが上がりやすい順に学ぶ (JUGEMレビュー »)
ロバート ヒルキ,ポール ワーデン,ヒロ前田
パート2から始まりパート4で終わる本。誇りに思っているのはパート3です。上級者にも役立つはず。
増刷状況

アイテム紹介

新TOEICテスト「直前」模試3回分
新TOEICテスト「直前」模試3回分 (JUGEMレビュー »)
ロバート・ヒルキ / ポール・ワーデン / ヒロ前田
詳しい紹介と実績報告、誤植レポートがあります。特典の音声セミナーもあり。

最近のトピック

リンク

RSS Feed

RSSとは?
  • RSS1.0
  • Atom0.3
  • Others

    無料ブログ作成サービス JUGEM