疑問87 採点除外とAM除外
TOEICのスコアは正答数に応じて計算されます。各セクション100問ずつ出題されますので、基本的には100問のうち正答した数が計算のベースになります。
ただし、リスニングセクションの「項目別正答率」は、なぜか知りませんが100問を対象にしていないと思われます。だいたい15問程度が項目別正答率からは除外されているようです。
また、「出題」されたあるアイテム(問題)が「採点」から除外されることもたまにあります。
ですので、スコアシートを見て、合計スコアが990点だとしても、そして、項目別正答率が全部100パーセントだとしても、全問正答だったとは言えないケースがありますし、項目別正答率が全部100パーセントだとしても、各セクションが495点にならないケースもあり得ます。
これは第200回の公開テスト(2015年5月実施)の項目別正答率です。ボクのものではなく、Nさんから借りた画像です。
全部100パーセントですが、実際はリスニングセクションで少なくとも1問をミスしていました。よって、そのアイテムが項目別正答率の計算から除外されていたと想像できます。
リーディングセクションでも、パート7で1問をミスしていました。ところが、すべての項目が100パーセントになっています。よって、採点から除外されていたと言えそうです。
Nさんがパート7で1問をミスしていたと言える理由は、そのアイテム(あるNOT問題)について、たまたまボクはNさんを含む数人と話をしていたからです。そして、ある選択肢をボクもNさんも選んでいたのですが、どうやら正解は別の選択肢だったことが判明したので、ボクもNさんも判断ミスをしていたことが分かりました。
ところが、実際はそのNOT問題が採点対象外になりました。より正確に言えば、もともとは採点対象だったはずですが、実際に採点された後で「除外する」とETSが決めたということです。出題した時点で採点除外を決めていたわけではありません。
こちらはボクの項目別正答率です。
Nさんと同様に、パート7に出題されていた、そのNOT問題をボクはミスしていましたが、上から3番目の項目が100パーセントになっていますので、採点から除外されていたことが分かります。(4番目の項目が93パーセントとなっている理由は、ボクがパート7の同義語問題を2問ともマークしなかったからです。同義語問題をミスすることで、どの項目に影響があるか調べました)
ただし、リスニングセクションの「項目別正答率」は、なぜか知りませんが100問を対象にしていないと思われます。だいたい15問程度が項目別正答率からは除外されているようです。
また、「出題」されたあるアイテム(問題)が「採点」から除外されることもたまにあります。
ですので、スコアシートを見て、合計スコアが990点だとしても、そして、項目別正答率が全部100パーセントだとしても、全問正答だったとは言えないケースがありますし、項目別正答率が全部100パーセントだとしても、各セクションが495点にならないケースもあり得ます。
これは第200回の公開テスト(2015年5月実施)の項目別正答率です。ボクのものではなく、Nさんから借りた画像です。
全部100パーセントですが、実際はリスニングセクションで少なくとも1問をミスしていました。よって、そのアイテムが項目別正答率の計算から除外されていたと想像できます。
リーディングセクションでも、パート7で1問をミスしていました。ところが、すべての項目が100パーセントになっています。よって、採点から除外されていたと言えそうです。
Nさんがパート7で1問をミスしていたと言える理由は、そのアイテム(あるNOT問題)について、たまたまボクはNさんを含む数人と話をしていたからです。そして、ある選択肢をボクもNさんも選んでいたのですが、どうやら正解は別の選択肢だったことが判明したので、ボクもNさんも判断ミスをしていたことが分かりました。
ところが、実際はそのNOT問題が採点対象外になりました。より正確に言えば、もともとは採点対象だったはずですが、実際に採点された後で「除外する」とETSが決めたということです。出題した時点で採点除外を決めていたわけではありません。
こちらはボクの項目別正答率です。
Nさんと同様に、パート7に出題されていた、そのNOT問題をボクはミスしていましたが、上から3番目の項目が100パーセントになっていますので、採点から除外されていたことが分かります。(4番目の項目が93パーセントとなっている理由は、ボクがパート7の同義語問題を2問ともマークしなかったからです。同義語問題をミスすることで、どの項目に影響があるか調べました)
疑問71 「語彙が理解できる」の母数
第147回TOEIC公開テスト(2009年6月)の項目別正答率から判明したことです。
まず、パート6で正解したのは、接続副詞です。Thereforeを選ぶには空所の前と後を理解する必要があり、かつ、選択肢に並ぶ語の意味を知っている必要があります。この1問が項目別正答率の3番目と4番目に影響を与えることが証明されました。
次に、3番目と4番目のパーセンテージが5と3ですので母数を想像できます。過去の実験から判明していたことではありますが、3番目の「情報を関連付ける」の母数は約20です。もし、小数点第1位で四捨五入されているなら母数は19か20か21か22のどれかになります。
4番目の「語彙が理解できる」のパーセンテージが3ですから母数は29から40のどれかです。母数が大きい方が、割り算したときに数値の差が細かくなるからそうなります。
理解しやすいよう表にすると、こうなります。
項目別分母と「1問あたりのパーセンテージ」の関係
41 2.44% 2%
40 2.50% 3% 語彙など
39 2.56% 3% 語彙など
38 2.63% 3% 語彙など
37 2.70% 3% 語彙など
36 2.78% 3% 語彙など
35 2.86% 3% 語彙など
34 2.94% 3% 語彙など
33 3.03% 3% 語彙など
32 3.13% 3% 語彙など
31 3.23% 3% 語彙など
30 3.33% 3% 語彙など
29 3.45% 3% 語彙など
28 3.57% 4%
27 3.70% 4%
26 3.85% 4%
25 4.00% 4%
24 4.17% 4%
23 4.35% 4%
22 4.55% 5% 関連付けなど
21 4.76% 5% 関連付けなど
20 5.00% 5% 関連付けなど
19 5.26% 5% 関連付けなど
18 5.56% 6%
17 5.88% 6%
16 6.25% 6%
15 6.67% 7%
14 7.14% 7%
13 7.69% 8%
12 8.33% 8%
11 9.09% 9%
10 10.00% 10%
理論的には「語彙が理解できる」が40問ある可能性はありますが、実際はそんなに多くありません。過去に行った別の実験から判断すれば25問程度です。しかしながら、上に掲載した表から判断すると最低でも29問あったことになります。パーセンテージが4ではなく3なので、小数点第1位で四捨五入されているなら、必然的にそう言えます。
第147回のTOEIC公開テストでは、パート5とパート6で語彙を試すアイテムが特別に多いとは思いませんでしたが、パート7の同義語問題が4問ありました。ということは、パート5とパート6を足して25問だとして、パート7の同義語問題を加えると29になりますので、結果的に1問あたりのパーセンテージが4ではなくギリギリ3になったと推測可能です。
ほかのサンプルと比較すれば、より正確に母数を計算することができます。ミスした数が1問ではなく2問以上だと理想的です。例えば、語彙問題を1問ミスした場合には、母数が29の場合と32の場合、パーセンテージは96.55と96.88ですから、両方97として表示されてしまいます。しかし、2問ミスならパーセンテージは93.10と93.75なので四捨五入すると93と94になり差が出ます。
「語彙が理解できる」の母数が29以上であることは確実で、経験的に判断して32以下のはずです。よって、以下のどれかが正しいでしょう。
母数32の場合 母数31の場合 母数30の場合 母数29の場合
32 100.0%
31 96.88% 31 100.0%
30 93.75% 30 96.77% 30 100.0%
29 90.63% 29 93.55% 29 96.67% 29 100.0%
28 87.50% 28 90.32% 28 93.33% 28 96.55%
27 84.38% 27 87.10% 27 90.00% 27 93.10%
26 81.25% 26 83.87% 26 86.67% 26 89.66%
25 78.13% 25 80.65% 25 83.33% 25 86.21%
24 75.00% 24 77.42% 24 80.00% 24 82.76%
23 71.88% 23 74.19% 23 76.67% 23 79.31%
22 68.75% 22 70.97% 22 73.33% 22 75.86%
21 65.63% 21 67.74% 21 70.00% 21 72.41%
正答数が判明していなくても、70パーセント台の数値サンプルがあれば母数を特定できる可能性が高いです。もし79パーセントというサンプルがあれば母数は29に決まりますし、73パーセントというサンプルがあれば母数30に決まります。
フォームは、4FIC12でした。「語彙が理解できる」が90パーセント未満のサンプルがあればコメント欄にご記入くださるとうれしいです。
正答数とスコア
リスニングセクション:1問(パート1)
リーディングセクション:1問(パート6)
スコア
リスニングセクション:10
リーディングセクション:10
項目別正答率
リスニングセクション:5 0 0 0
リーディングセクション:0 0 5 3 0
まず、パート6で正解したのは、接続副詞です。Thereforeを選ぶには空所の前と後を理解する必要があり、かつ、選択肢に並ぶ語の意味を知っている必要があります。この1問が項目別正答率の3番目と4番目に影響を与えることが証明されました。
次に、3番目と4番目のパーセンテージが5と3ですので母数を想像できます。過去の実験から判明していたことではありますが、3番目の「情報を関連付ける」の母数は約20です。もし、小数点第1位で四捨五入されているなら母数は19か20か21か22のどれかになります。
4番目の「語彙が理解できる」のパーセンテージが3ですから母数は29から40のどれかです。母数が大きい方が、割り算したときに数値の差が細かくなるからそうなります。
理解しやすいよう表にすると、こうなります。
項目別分母と「1問あたりのパーセンテージ」の関係
41 2.44% 2%
40 2.50% 3% 語彙など
39 2.56% 3% 語彙など
38 2.63% 3% 語彙など
37 2.70% 3% 語彙など
36 2.78% 3% 語彙など
35 2.86% 3% 語彙など
34 2.94% 3% 語彙など
33 3.03% 3% 語彙など
32 3.13% 3% 語彙など
31 3.23% 3% 語彙など
30 3.33% 3% 語彙など
29 3.45% 3% 語彙など
28 3.57% 4%
27 3.70% 4%
26 3.85% 4%
25 4.00% 4%
24 4.17% 4%
23 4.35% 4%
22 4.55% 5% 関連付けなど
21 4.76% 5% 関連付けなど
20 5.00% 5% 関連付けなど
19 5.26% 5% 関連付けなど
18 5.56% 6%
17 5.88% 6%
16 6.25% 6%
15 6.67% 7%
14 7.14% 7%
13 7.69% 8%
12 8.33% 8%
11 9.09% 9%
10 10.00% 10%
理論的には「語彙が理解できる」が40問ある可能性はありますが、実際はそんなに多くありません。過去に行った別の実験から判断すれば25問程度です。しかしながら、上に掲載した表から判断すると最低でも29問あったことになります。パーセンテージが4ではなく3なので、小数点第1位で四捨五入されているなら、必然的にそう言えます。
第147回のTOEIC公開テストでは、パート5とパート6で語彙を試すアイテムが特別に多いとは思いませんでしたが、パート7の同義語問題が4問ありました。ということは、パート5とパート6を足して25問だとして、パート7の同義語問題を加えると29になりますので、結果的に1問あたりのパーセンテージが4ではなくギリギリ3になったと推測可能です。
ほかのサンプルと比較すれば、より正確に母数を計算することができます。ミスした数が1問ではなく2問以上だと理想的です。例えば、語彙問題を1問ミスした場合には、母数が29の場合と32の場合、パーセンテージは96.55と96.88ですから、両方97として表示されてしまいます。しかし、2問ミスならパーセンテージは93.10と93.75なので四捨五入すると93と94になり差が出ます。
「語彙が理解できる」の母数が29以上であることは確実で、経験的に判断して32以下のはずです。よって、以下のどれかが正しいでしょう。
母数32の場合 母数31の場合 母数30の場合 母数29の場合
32 100.0%
31 96.88% 31 100.0%
30 93.75% 30 96.77% 30 100.0%
29 90.63% 29 93.55% 29 96.67% 29 100.0%
28 87.50% 28 90.32% 28 93.33% 28 96.55%
27 84.38% 27 87.10% 27 90.00% 27 93.10%
26 81.25% 26 83.87% 26 86.67% 26 89.66%
25 78.13% 25 80.65% 25 83.33% 25 86.21%
24 75.00% 24 77.42% 24 80.00% 24 82.76%
23 71.88% 23 74.19% 23 76.67% 23 79.31%
22 68.75% 22 70.97% 22 73.33% 22 75.86%
21 65.63% 21 67.74% 21 70.00% 21 72.41%
正答数が判明していなくても、70パーセント台の数値サンプルがあれば母数を特定できる可能性が高いです。もし79パーセントというサンプルがあれば母数は29に決まりますし、73パーセントというサンプルがあれば母数30に決まります。
フォームは、4FIC12でした。「語彙が理解できる」が90パーセント未満のサンプルがあればコメント欄にご記入くださるとうれしいです。
疑問66 リーディング 情報の関連付け
これまでに多くの受験者の「項目別正答率」を見てきました。
リーディングセクションでは、3番目の「ひとつまたは複数の文書に散りばめられた情報を関連付けることができる」が低い人が多いです。どういうアイテムが該当するかは判明しています。
例として、2007年9月のTOEIC公開テストで調査したことを取り上げます。
ボクはパート7の48問中、ダブルパッセージの中で「両文書参照型」のアイテム4問だけを解答し、ほかの問題は捨てました。「両文書参照型」とは、上下の文書を読まなければ正答できないタイプです。ヒントが複数あるとも言えます。
調査の目的は、項目別正答率(Abilities Measured)の3番目にある「ひとつの文書の中で、または複数の文書間で散りばめられた情報を関連付けることができる」に該当するアイテム数を調べることです。「両文書参照型」は、間違いなく該当します。
結果は次のようになりました。リーディングセクションです。
48問中のうち解答したのは4問ですが、たくさん正答したように見えます。その理由は1つしかありません。複数の項目に反映されるアイテムがあるからです。ボクが解答した4問は、3番目の項目に該当すると同時に、多くは1番目にも2番目にも影響したことが証明されたと言えます。
また、3番目は18パーセントだったことから、その正答数は、22問のうちの4でしょう。分母が22です。それらは以下の4パターンに分類可能です。
リーディングセクションの項目別正答率の3番目(情報を関連付けることができる)に該当する4タイプ
1.ダブルパッセージにある「両文書参照型」
2.パート6にある「文脈依存型」の語彙問題
3.シングルパッセージにある「ヒントが複数ある」設問
4.NOTを含む消去法タイプ
それぞれ検証したことがあります。
どれかターゲットを決め、1問だけ正答すれば検証できます。3つ目については、どれが該当するか判断しにくいので失敗したことがありますが存在することは確かです。
リーディングセクションでは、3番目の「ひとつまたは複数の文書に散りばめられた情報を関連付けることができる」が低い人が多いです。どういうアイテムが該当するかは判明しています。
例として、2007年9月のTOEIC公開テストで調査したことを取り上げます。
ボクはパート7の48問中、ダブルパッセージの中で「両文書参照型」のアイテム4問だけを解答し、ほかの問題は捨てました。「両文書参照型」とは、上下の文書を読まなければ正答できないタイプです。ヒントが複数あるとも言えます。
調査の目的は、項目別正答率(Abilities Measured)の3番目にある「ひとつの文書の中で、または複数の文書間で散りばめられた情報を関連付けることができる」に該当するアイテム数を調べることです。「両文書参照型」は、間違いなく該当します。
結果は次のようになりました。リーディングセクションです。
「文章の中の情報をもとに推測できる」:21パーセント
「表や文章の中の具体的な情報を見つけて理解できる」:4パーセント
「散りばめられた情報を関連付けることができる」:18パーセント
48問中のうち解答したのは4問ですが、たくさん正答したように見えます。その理由は1つしかありません。複数の項目に反映されるアイテムがあるからです。ボクが解答した4問は、3番目の項目に該当すると同時に、多くは1番目にも2番目にも影響したことが証明されたと言えます。
なお、第140回の公開テストでも検証できました。1番目と3番目の項目に影響したアイテムがありました。具体例は「疑問64」のコメント欄にあります。
また、3番目は18パーセントだったことから、その正答数は、22問のうちの4でしょう。分母が22です。それらは以下の4パターンに分類可能です。
リーディングセクションの項目別正答率の3番目(情報を関連付けることができる)に該当する4タイプ
1.ダブルパッセージにある「両文書参照型」
2.パート6にある「文脈依存型」の語彙問題
3.シングルパッセージにある「ヒントが複数ある」設問
4.NOTを含む消去法タイプ
それぞれ検証したことがあります。
どれかターゲットを決め、1問だけ正答すれば検証できます。3つ目については、どれが該当するか判断しにくいので失敗したことがありますが存在することは確かです。
疑問65 リスニング 1番目と3番目の分母は
第136回のTOEIC公開テスト(2008月1月13日)で調べたことです。
ボクは、リスニングで3問、リーディングで2問を正解し、スコアは次の通りです。
リスニング:10 リーディング:10
パーセンタイルランクは両方とも「0」です。
正答数と項目別正答率
Part 1 の10問中、正解は0問
Part 2 の30問中、正解は1問
つまり、計40問のうち、正答数は1問だけ。
AMは1番目と3番目が影響を受けますが、1番目が5パーセントで3番目が0パーセント。よって、1番目の「項目」の分母は20問で、自動的に、3番目の分母も20問です。だいたい安定的に20問ずつであることは検証済みです。つまり、アイテムライター(問題作成者)は、半分ずつ作り、編集者はそういう比率で組み合わせていると推測できます。
1番目の「推測できる」と3番目の「詳細を理解できる」は違います。ボクは検証しました。パート2なら、1番目は「間接的な応答」が、3番目は「直接的な応答」が該当します。質問だけで判断できるわけではありません。
この「質問」は詳細を問うていますが、3番目の項目に該当します。What timeという質問に直接的に答えていますから。
この応答は、会議が実施されるという「質問の前提」を否定しています。
it's been cancelled.という「質問に答えていないように感じる」応答を聞き、それでも自然な会話として成り立つと判断できる(推測できる)能力が反映されるのが1番目の項目なのです。
パート1では抽象的な描写が1番目の項目に該当します。
例えば、女性が1人で新聞を読んでいるとします。
これは3番目に該当します。非常に直接的で具体的な描写ですから。写真を見ていなくても、この描写からイメージする写真は問題冊子に印刷されたものに似ているでしょう。
これは1番目に該当します。この描写から写真をイメージしても「新聞」と「読んでいる」を想像できない、というより、はっきりとしたイメージを持てません。
単純に言えば、1番目に該当するアイテムは、3番目と比較して難易度が高いです。実際に全受験者の平均を見れば、前者の平均正答率は後者のそれより低いことが多いです。ある受験者にとって、1番目と3番目の差が大きいならば、3番目に該当しそうなアイテムを中心に練習し「質問と応答(写真と正解)の距離感」を脳ミソに染み込ませることが対策になります。
ボクは、リスニングで3問、リーディングで2問を正解し、スコアは次の通りです。
リスニング:10 リーディング:10
パーセンタイルランクは両方とも「0」です。
正答数と項目別正答率
Part 1 の10問中、正解は0問
Part 2 の30問中、正解は1問
つまり、計40問のうち、正答数は1問だけ。
AMは1番目と3番目が影響を受けますが、1番目が5パーセントで3番目が0パーセント。よって、1番目の「項目」の分母は20問で、自動的に、3番目の分母も20問です。だいたい安定的に20問ずつであることは検証済みです。つまり、アイテムライター(問題作成者)は、半分ずつ作り、編集者はそういう比率で組み合わせていると推測できます。
1番目の「推測できる」と3番目の「詳細を理解できる」は違います。ボクは検証しました。パート2なら、1番目は「間接的な応答」が、3番目は「直接的な応答」が該当します。質問だけで判断できるわけではありません。
What time does the budget meeting begin?
At six thirty, I think.
この「質問」は詳細を問うていますが、3番目の項目に該当します。What timeという質問に直接的に答えていますから。
What time does the budget meeting begin?
Actually, it's been canceled.
この応答は、会議が実施されるという「質問の前提」を否定しています。
it's been cancelled.という「質問に答えていないように感じる」応答を聞き、それでも自然な会話として成り立つと判断できる(推測できる)能力が反映されるのが1番目の項目なのです。
パート1では抽象的な描写が1番目の項目に該当します。
例えば、女性が1人で新聞を読んでいるとします。
She is reading a newspaper.
これは3番目に該当します。非常に直接的で具体的な描写ですから。写真を見ていなくても、この描写からイメージする写真は問題冊子に印刷されたものに似ているでしょう。
She is spending time by herself.
これは1番目に該当します。この描写から写真をイメージしても「新聞」と「読んでいる」を想像できない、というより、はっきりとしたイメージを持てません。
単純に言えば、1番目に該当するアイテムは、3番目と比較して難易度が高いです。実際に全受験者の平均を見れば、前者の平均正答率は後者のそれより低いことが多いです。ある受験者にとって、1番目と3番目の差が大きいならば、3番目に該当しそうなアイテムを中心に練習し「質問と応答(写真と正解)の距離感」を脳ミソに染み込ませることが対策になります。
疑問54 リーディング 前置詞と接続詞の項目
パート5の接続詞問題が「項目別正答率」で語彙に分類されていることを証明したことがあります。第136回のTOEIC公開テスト(2008月1月13日)を使いました。
Part 5で、接続詞のandを正解しました。1問だけです。なぜなら、これが語彙なのか文法なのか不明だったからです。結果は「語彙」に分類されました。
第137回の公開テストでは「前置詞」を調べました。
第137回の公開テストの項目別正答率
<クリックで拡大可能>
Part 5は前置詞1問しか解かず、語彙に分類されました。
疑問45では「1問5点ではない」という当たり前のことを証明しようとして、失敗しました。今回は成功しました。
第137回の公開テストのスコア
<クリックで拡大可能>
第137回ではリスニングはPart 4を1問だけ正解しました。
リスニング1問正解で10点。リーディング2問正解で10点です。
なお「複数の情報を探して解答する」に4パーセント入っているのは予想済みです。Part 7の「両文書参照型」を1問だけ解いたからです。分母はいつも20はあります。今回、1問だけ解いて4パーセントですから、分母は25に近い数字です。
複数の情報を探すべきアイテムは多いです。
でも、そういう観点で本を書いている人は、たぶん少ないです。というか、こういう簡単な調査すらしていないです、誰も。
Part 5で、接続詞のandを正解しました。1問だけです。なぜなら、これが語彙なのか文法なのか不明だったからです。結果は「語彙」に分類されました。
第137回の公開テストでは「前置詞」を調べました。
第137回の公開テストの項目別正答率
<クリックで拡大可能>
Part 5は前置詞1問しか解かず、語彙に分類されました。
疑問45では「1問5点ではない」という当たり前のことを証明しようとして、失敗しました。今回は成功しました。
第137回の公開テストのスコア
<クリックで拡大可能>
第137回ではリスニングはPart 4を1問だけ正解しました。
リスニング1問正解で10点。リーディング2問正解で10点です。
なお「複数の情報を探して解答する」に4パーセント入っているのは予想済みです。Part 7の「両文書参照型」を1問だけ解いたからです。分母はいつも20はあります。今回、1問だけ解いて4パーセントですから、分母は25に近い数字です。
複数の情報を探すべきアイテムは多いです。
でも、そういう観点で本を書いている人は、たぶん少ないです。というか、こういう簡単な調査すらしていないです、誰も。
⇒ 前田広之 (09/19)
⇒ やすべえ (09/19)
⇒ 塩見賢人 (10/28)
⇒ 青年海外協力隊 (02/19)
⇒ ken (08/25)
⇒ 前田 (08/25)
⇒ ken (08/25)
⇒ 前田 (06/15)
⇒ AKKO (06/14)
⇒ 前田 (05/11)