ヒロ前田のTOEIC情報ブログ。TOEICの解答は掲載しません。セミナーや本の紹介はあり。
 ほかのページ →  1/1   

疑問87 採点除外とAM除外
TOEICのスコアは正答数に応じて計算されます。各セクション100問ずつ出題されますので、基本的には100問のうち正答した数が計算のベースになります。

ただし、リスニングセクションの「項目別正答率」は、なぜか知りませんが100問を対象にしていないと思われます。だいたい15問程度が項目別正答率からは除外されているようです。

また、「出題」されたあるアイテム(問題)が「採点」から除外されることもたまにあります。

ですので、スコアシートを見て、合計スコアが990点だとしても、そして、項目別正答率が全部100パーセントだとしても、全問正答だったとは言えないケースがありますし、項目別正答率が全部100パーセントだとしても、各セクションが495点にならないケースもあり得ます。

これは第200回の公開テスト(2015年5月実施)の項目別正答率です。ボクのものではなく、Nさんから借りた画像です。

t200nishi.jpg

全部100パーセントですが、実際はリスニングセクションで少なくとも1問をミスしていました。よって、そのアイテムが項目別正答率の計算から除外されていたと想像できます。

リーディングセクションでも、パート7で1問をミスしていました。ところが、すべての項目が100パーセントになっています。よって、採点から除外されていたと言えそうです。

Nさんがパート7で1問をミスしていたと言える理由は、そのアイテム(あるNOT問題)について、たまたまボクはNさんを含む数人と話をしていたからです。そして、ある選択肢をボクもNさんも選んでいたのですが、どうやら正解は別の選択肢だったことが判明したので、ボクもNさんも判断ミスをしていたことが分かりました。

ところが、実際はそのNOT問題が採点対象外になりました。より正確に言えば、もともとは採点対象だったはずですが、実際に採点された後で「除外する」とETSが決めたということです。出題した時点で採点除外を決めていたわけではありません。

こちらはボクの項目別正答率です。

t200maeda.jpg

Nさんと同様に、パート7に出題されていた、そのNOT問題をボクはミスしていましたが、上から3番目の項目が100パーセントになっていますので、採点から除外されていたことが分かります。(4番目の項目が93パーセントとなっている理由は、ボクがパート7の同義語問題を2問ともマークしなかったからです。同義語問題をミスすることで、どの項目に影響があるか調べました)

comments(2) URL 2015.07.05 Sunday └ TOEIC 疑問 項目別正答率TOP
疑問71 「語彙が理解できる」の母数
第147回TOEIC公開テスト(2009年6月)の項目別正答率から判明したことです。

正答数とスコア
リスニングセクション:1問(パート1)
リーディングセクション:1問(パート6)

スコア
リスニングセクション:10
リーディングセクション:10

項目別正答率
リスニングセクション:5 0 0 0
リーディングセクション:0 0 5 3 0


まず、パート6で正解したのは、接続副詞です。Thereforeを選ぶには空所の前と後を理解する必要があり、かつ、選択肢に並ぶ語の意味を知っている必要があります。この1問が項目別正答率の3番目と4番目に影響を与えることが証明されました。

次に、3番目と4番目のパーセンテージが5と3ですので母数を想像できます。過去の実験から判明していたことではありますが、3番目の「情報を関連付ける」の母数は約20です。もし、小数点第1位で四捨五入されているなら母数は19か20か21か22のどれかになります。

4番目の「語彙が理解できる」のパーセンテージが3ですから母数は29から40のどれかです。母数が大きい方が、割り算したときに数値の差が細かくなるからそうなります。

理解しやすいよう表にすると、こうなります。

項目別分母と「1問あたりのパーセンテージ」の関係
41 2.44% 2%
40 2.50% 3% 語彙など
39 2.56% 3% 語彙など
38 2.63% 3% 語彙など
37 2.70% 3% 語彙など
36 2.78% 3% 語彙など
35 2.86% 3% 語彙など
34 2.94% 3% 語彙など
33 3.03% 3% 語彙など
32 3.13% 3% 語彙など
31 3.23% 3% 語彙など
30 3.33% 3% 語彙など
29 3.45% 3% 語彙など
28 3.57% 4%
27 3.70% 4%
26 3.85% 4%
25 4.00% 4%
24 4.17% 4%
23 4.35% 4%
22 4.55% 5% 関連付けなど
21 4.76% 5% 関連付けなど
20 5.00% 5% 関連付けなど
19 5.26% 5% 関連付けなど
18 5.56% 6%
17 5.88% 6%
16 6.25% 6%
15 6.67% 7%
14 7.14% 7%
13 7.69% 8%
12 8.33% 8%
11 9.09% 9%
10 10.00% 10%

理論的には「語彙が理解できる」が40問ある可能性はありますが、実際はそんなに多くありません。過去に行った別の実験から判断すれば25問程度です。しかしながら、上に掲載した表から判断すると最低でも29問あったことになります。パーセンテージが4ではなく3なので、小数点第1位で四捨五入されているなら、必然的にそう言えます。

第147回のTOEIC公開テストでは、パート5とパート6で語彙を試すアイテムが特別に多いとは思いませんでしたが、パート7の同義語問題が4問ありました。ということは、パート5とパート6を足して25問だとして、パート7の同義語問題を加えると29になりますので、結果的に1問あたりのパーセンテージが4ではなくギリギリ3になったと推測可能です。

ほかのサンプルと比較すれば、より正確に母数を計算することができます。ミスした数が1問ではなく2問以上だと理想的です。例えば、語彙問題を1問ミスした場合には、母数が29の場合と32の場合、パーセンテージは96.55と96.88ですから、両方97として表示されてしまいます。しかし、2問ミスならパーセンテージは93.10と93.75なので四捨五入すると93と94になり差が出ます。

「語彙が理解できる」の母数が29以上であることは確実で、経験的に判断して32以下のはずです。よって、以下のどれかが正しいでしょう。

母数32の場合 母数31の場合 母数30の場合 母数29の場合
32 100.0%
31 96.88% 31 100.0%
30 93.75% 30 96.77% 30 100.0%
29 90.63% 29 93.55% 29 96.67% 29 100.0%
28 87.50% 28 90.32% 28 93.33% 28 96.55%
27 84.38% 27 87.10% 27 90.00% 27 93.10%
26 81.25% 26 83.87% 26 86.67% 26 89.66%
25 78.13% 25 80.65% 25 83.33% 25 86.21%
24 75.00% 24 77.42% 24 80.00% 24 82.76%
23 71.88% 23 74.19% 23 76.67% 23 79.31%
22 68.75% 22 70.97% 22 73.33% 22 75.86%
21 65.63% 21 67.74% 21 70.00% 21 72.41%

正答数が判明していなくても、70パーセント台の数値サンプルがあれば母数を特定できる可能性が高いです。もし79パーセントというサンプルがあれば母数は29に決まりますし、73パーセントというサンプルがあれば母数30に決まります。

フォームは、4FIC12でした。「語彙が理解できる」が90パーセント未満のサンプルがあればコメント欄にご記入くださるとうれしいです。

comments(9) URL 2009.07.30 Thursday └ TOEIC 疑問 項目別正答率TOP
疑問66 リーディング 情報の関連付け
これまでに多くの受験者の「項目別正答率」を見てきました。
リーディングセクションでは、3番目の「ひとつまたは複数の文書に散りばめられた情報を関連付けることができる」が低い人が多いです。どういうアイテムが該当するかは判明しています。

例として、2007年9月のTOEIC公開テストで調査したことを取り上げます。
ボクはパート7の48問中、ダブルパッセージの中で「両文書参照型」のアイテム4問だけを解答し、ほかの問題は捨てました。「両文書参照型」とは、上下の文書を読まなければ正答できないタイプです。ヒントが複数あるとも言えます。

調査の目的は、項目別正答率(Abilities Measured)の3番目にある「ひとつの文書の中で、または複数の文書間で散りばめられた情報を関連付けることができる」に該当するアイテム数を調べることです。「両文書参照型」は、間違いなく該当します。

結果は次のようになりました。リーディングセクションです。
「文章の中の情報をもとに推測できる」:21パーセント
「表や文章の中の具体的な情報を見つけて理解できる」:4パーセント
「散りばめられた情報を関連付けることができる」:18パーセント

48問中のうち解答したのは4問ですが、たくさん正答したように見えます。その理由は1つしかありません。複数の項目に反映されるアイテムがあるからです。ボクが解答した4問は、3番目の項目に該当すると同時に、多くは1番目にも2番目にも影響したことが証明されたと言えます。

なお、第140回の公開テストでも検証できました。1番目と3番目の項目に影響したアイテムがありました。具体例は「疑問64」のコメント欄にあります。

また、3番目は18パーセントだったことから、その正答数は、22問のうちの4でしょう。分母が22です。それらは以下の4パターンに分類可能です。

リーディングセクションの項目別正答率の3番目(情報を関連付けることができる)に該当する4タイプ
1.ダブルパッセージにある「両文書参照型」
2.パート6にある「文脈依存型」の語彙問題
3.シングルパッセージにある「ヒントが複数ある」設問
4.NOTを含む消去法タイプ

それぞれ検証したことがあります。
どれかターゲットを決め、1問だけ正答すれば検証できます。3つ目については、どれが該当するか判断しにくいので失敗したことがありますが存在することは確かです。

comments(0) URL 2008.09.14 Sunday └ TOEIC 疑問 項目別正答率TOP
疑問65 リスニング 1番目と3番目の分母は
第136回のTOEIC公開テスト(2008月1月13日)で調べたことです。
ボクは、リスニングで3問、リーディングで2問を正解し、スコアは次の通りです。
リスニング:10 リーディング:10
パーセンタイルランクは両方とも「0」です。

正答数と項目別正答率
Part 1 の10問中、正解は0問
Part 2 の30問中、正解は1問


つまり、計40問のうち、正答数は1問だけ。
AMは1番目と3番目が影響を受けますが、1番目が5パーセントで3番目が0パーセント。よって、1番目の「項目」の分母は20問で、自動的に、3番目の分母も20問です。だいたい安定的に20問ずつであることは検証済みです。つまり、アイテムライター(問題作成者)は、半分ずつ作り、編集者はそういう比率で組み合わせていると推測できます。

1番目の「推測できる」と3番目の「詳細を理解できる」は違います。ボクは検証しました。パート2なら、1番目は「間接的な応答」が、3番目は「直接的な応答」が該当します。質問だけで判断できるわけではありません。

What time does the budget meeting begin?
At six thirty, I think.

この「質問」は詳細を問うていますが、3番目の項目に該当します。What timeという質問に直接的に答えていますから。

What time does the budget meeting begin?
Actually, it's been canceled.

この応答は、会議が実施されるという「質問の前提」を否定しています。
it's been cancelled.という「質問に答えていないように感じる」応答を聞き、それでも自然な会話として成り立つと判断できる(推測できる)能力が反映されるのが1番目の項目なのです。

パート1では抽象的な描写が1番目の項目に該当します。
例えば、女性が1人で新聞を読んでいるとします。

She is reading a newspaper.

これは3番目に該当します。非常に直接的で具体的な描写ですから。写真を見ていなくても、この描写からイメージする写真は問題冊子に印刷されたものに似ているでしょう。

She is spending time by herself.

これは1番目に該当します。この描写から写真をイメージしても「新聞」と「読んでいる」を想像できない、というより、はっきりとしたイメージを持てません。

単純に言えば、1番目に該当するアイテムは、3番目と比較して難易度が高いです。実際に全受験者の平均を見れば、前者の平均正答率は後者のそれより低いことが多いです。ある受験者にとって、1番目と3番目の差が大きいならば、3番目に該当しそうなアイテムを中心に練習し「質問と応答(写真と正解)の距離感」を脳ミソに染み込ませることが対策になります。

comments(0) URL 2008.09.12 Friday └ TOEIC 疑問 項目別正答率TOP
疑問54 リーディング 前置詞と接続詞の項目
パート5の接続詞問題が「項目別正答率」で語彙に分類されていることを証明したことがあります。第136回のTOEIC公開テスト(2008月1月13日)を使いました。

Part 5で、接続詞のandを正解しました。1問だけです。なぜなら、これが語彙なのか文法なのか不明だったからです。結果は「語彙」に分類されました。

第137回の公開テストでは「前置詞」を調べました。

第137回の公開テストの項目別正答率
AMT137 <クリックで拡大可能>

Part 5は前置詞1問しか解かず、語彙に分類されました。

疑問45では「1問5点ではない」という当たり前のことを証明しようとして、失敗しました。今回は成功しました。

第137回の公開テストのスコア
ScoresT137<クリックで拡大可能>

第137回ではリスニングはPart 4を1問だけ正解しました。
リスニング1問正解で10点。リーディング2問正解で10点です。

なお「複数の情報を探して解答する」に4パーセント入っているのは予想済みです。Part 7の「両文書参照型」を1問だけ解いたからです。分母はいつも20はあります。今回、1問だけ解いて4パーセントですから、分母は25に近い数字です。

複数の情報を探すべきアイテムは多いです。
でも、そういう観点で本を書いている人は、たぶん少ないです。というか、こういう簡単な調査すらしていないです、誰も。

comments(8) URL 2008.04.19 Saturday └ TOEIC 疑問 項目別正答率TOP

ブログ運営者

更新状況とメルマガ

掲載されている疑問数 87


admin

カテゴリーを選択

ヒロ前田のセミナー

TOEIC対策セミナー、TOEIC指導者向け講習など。
セミナー一覧
各セミナーの報告

コメント

アイテム紹介

CD付 TOEIC(R)テスト 新形式問題やり込みドリル
CD付 TOEIC(R)テスト 新形式問題やり込みドリル (JUGEMレビュー »)
ヒロ 前田,ロス タロック
2016年5月以降の新形式に特化した本。321問を収録。意図問題だけで105問を収録している本は他にないはず。本書の裏話と詳細あり。

アイテム紹介

EPSON プロジェクター EB-1771W 3,000lm WXGA 1.7kg
EPSON プロジェクター EB-1771W 3,000lm WXGA 1.7kg (JUGEMレビュー »)

世界で最も薄いらしいです。セミナー用に購入しました。

アイテム紹介

TOEIC(R)テスト 非公式問題集 至高の400問
TOEIC(R)テスト 非公式問題集 至高の400問 (JUGEMレビュー »)
ヒロ 前田,テッド 寺倉,ロス・タロック
公式ではなく非公式。非公式だからこそ、公式には書かれていないことが満載。

アイテム紹介

CD付 改訂版 5日で攻略 TOEIC(R)テスト730点! (残り日数逆算シリーズ)
CD付 改訂版 5日で攻略 TOEIC(R)テスト730点! (残り日数逆算シリーズ) (JUGEMレビュー »)
ヒロ前田
ボクが最も好きな自著の1つです。2008年に発売されたシリーズの改訂版です。小さい改訂なので、オリジナル版を持っている人は買うべきではありません。

アイテム紹介

TOEICテストパート1、2 出るのはこれ! (講談社パワー・イングリッシュ)
TOEICテストパート1、2 出るのはこれ! (講談社パワー・イングリッシュ) (JUGEMレビュー »)
ヒロ 前田
ビジュアルの工夫をたくさん入れた問題集です。パート1の復習コーナーに、以前から実現したくて実現できていなかったユニークな練習法を取り入れました。

アイテム紹介

TOEICテストパート3、4 出るのはこれ! (講談社パワー・イングリッシュ)
TOEICテストパート3、4 出るのはこれ! (講談社パワー・イングリッシュ) (JUGEMレビュー »)
ヒロ 前田
実際のテスト3回分のコンテンツが入っている問題集です。

アイテム紹介

DL付 TOEICテスト究極のゼミPART 5語彙・語法【超上級編】
DL付 TOEICテスト究極のゼミPART 5語彙・語法【超上級編】 (JUGEMレビュー »)
ヒロ前田,ロス・タロック
練習問題の約半分は、TOEICに出題されない形式で作られています。その方が力を伸ばすのに役立つと信じているからです。読者向け特典があります。

アイテム紹介

新TOEIC TEST ドリーム特急 全パート実戦対策
新TOEIC TEST ドリーム特急 全パート実戦対策 (JUGEMレビュー »)
森田鉄也,花田徹也,神崎正哉,ヒロ前田,加藤 優,濱崎潤之輔,TEX加藤,Daniel Warriner
パート4を担当しました。

アイテム紹介

TOEICテスト900点。それでも英語が話せない人、話せる人(DL特典付)
TOEICテスト900点。それでも英語が話せない人、話せる人(DL特典付) (JUGEMレビュー »)
ヒロ 前田
「笑いと涙をこらえきれず、部屋を飛び出しました」「すごくおもしろかったです。おもしろいだけじゃなく本当に役立つ1冊」

アイテム紹介

音声DL付 TOEIC(R) テスト 基本例文700選 (TTTスーパー講師シリーズ)
音声DL付 TOEIC(R) テスト 基本例文700選 (TTTスーパー講師シリーズ) (JUGEMレビュー »)
基本例文700選制作委員会
これは「暗記」するための本ではなく、読み物です。聞くための音声コンテンツも死ぬほどたくさんあります。説明を書きました。

アイテム紹介

不思議の国のグプタ―飛行機は、今日も遅れる
不思議の国のグプタ―飛行機は、今日も遅れる (JUGEMレビュー »)
ヒロ前田,清涼院流水
TOEICに関わる、すべての人に想いを込めて捧げます。中学生も楽しめる本です。特設ページもあります。

アイテム紹介

TOEIC(R) テスト いきなり600点!
TOEIC(R) テスト いきなり600点! (JUGEMレビュー »)
横川綾子,渋谷奈津子
ボクが“プロデュース”した最初の作品です。FBページもあります。

アイテム紹介

TOEIC(R)テスト究極のゼミPart 5 & 6
TOEIC(R)テスト究極のゼミPart 5 & 6 (JUGEMレビュー »)
ヒロ前田
特典として「演習専用マークシート」があります。「トレーニング」のコーナーが工夫されています。

アイテム紹介

TOEIC(R)テスト究極のゼミPart 7
TOEIC(R)テスト究極のゼミPart 7 (JUGEMレビュー »)
ヒロ前田
文書すべてを録音した音声などの無料特典があります。これは
プレスリリースです。

アイテム紹介

アイテム紹介

新TOEICテストBEYOND990超上級問題+プロの極意
新TOEICテストBEYOND990超上級問題+プロの極意 (JUGEMレビュー »)
ヒロ前田
1200点を目指すための本。詳細な情報は専用カテゴリーにあり。プレスリリースもあり。

アイテム紹介

新TOEIC TEST 時短特急 ミニ模試×5回
新TOEIC TEST 時短特急 ミニ模試×5回 (JUGEMレビュー »)
ヒロ前田,Ross Tulloch
ミニサイズの模試です。Test 1〜3は28問、Test 4〜5は30問です。特典もあります。

アイテム紹介

眠った英語を呼び覚ます―DLS英語学習法のすすめ
眠った英語を呼び覚ます―DLS英語学習法のすすめ (JUGEMレビュー »)
新崎 隆子,高橋 百合子
この本に登場する「英文の覚え方」は衝撃的。スピーキングとリスニングを鍛える方法を記した本。新崎先生と高橋先生が開発したトレーニング法を学べます。事情により、この本を書店で入手するのは困難ですが、アマゾンで買えるようです。英語力を高めたい人に推薦します。詳しい説明を書きました。

アイテム紹介

新TOEICテスト 直前の技術?スコアが上がりやすい順に学ぶ
新TOEICテスト 直前の技術?スコアが上がりやすい順に学ぶ (JUGEMレビュー »)
ロバート ヒルキ,ポール ワーデン,ヒロ前田
パート2から始まりパート4で終わる本。誇りに思っているのはパート3です。上級者にも役立つはず。
増刷状況

アイテム紹介

新TOEICテスト「直前」模試3回分
新TOEICテスト「直前」模試3回分 (JUGEMレビュー »)
ロバート・ヒルキ / ポール・ワーデン / ヒロ前田
詳しい紹介と実績報告、誤植レポートがあります。特典の音声セミナーもあり。

最近のトピック

リンク

RSS Feed

RSSとは?
  • RSS1.0
  • Atom0.3
  • Others

    無料ブログ作成サービス JUGEM