■　回答集計と各ページの分析
***　【回答集計と分析・高校】　***
数I/ 数A/ 数II/ 数B/ 数III/ 数C/
［測定条件と信頼性］
■中学１年■　== 正負の数1 ==
■ページ名 「正負の数→数直線（全般)」
../math/su01.htm
■主な内容 与えられた数に対応する点を数直線上で示すもの
■要約・解説 なし
要約・解説がないので，一般には問題に着手するまでに要する時間は短いと予想されるが，「最初の問題に着手するまでの時間」が2.9秒であったことから，「指示文書は分かりやすかった」と考えられる．
■この集計の作成年月日：2010.2.22　■集計期間　　2009.10.12〜2010.2.22 ■集計期間中のこのペ−ジに対するアンケート回答数/読まれた回数　560件/10,714件=5.2%
グラフ１


グラフ2


グラフ3

表１（少ない答案は略）
第1問 -8.5 -8 -7 -6.5 -6 -5 -4.5 -4 -3.5 -3 -2.5 -2 -1.5 0
割合 0.2% 0.2% 2.5% 0.4% 1.1% 0.2% 0.2% 0.2% 0.4% 79.2% 10.3% 1.8% 0.7% 1.3%

表2
第2問 -3 -2 0 1 1.5 2 3
割合 0.2% 0.9% 0.2% 1.3% 3.8% 93.3% 0.2%

表3
第3問 -8.5 -8 -7.5 -4.5 -3 -2.5 -2 -1.5 -1 -0.5 0.5 1.5 2 10
割合 0.2% 0.2% 0.5% 0.2% 0.2% 0.7% 0.5% 86.1% 1.4% 3.6% 0.2% 5.7% 0.2% 0.2%

表4
第4問 -8.5 -7 -5.5 -4.5 -4 -3.5 -0.5 3.5 4 4.5
割合 0.2% 0.2% 0.2% 13.5% 0.5% 0.5% 0.2% 1.8% 1.1% 81.8%

表5　（2010.7.21集計）
期間 第1問 第2問 第3問 第4問 計
2009.6.16-7.15 240 279 262 208 989
2009.7.15-8.15 238 283 266 220 1,007
2009.8.15-9.9 245 280 255 248 1,028
2009.9.9-10.7 246 279 255 238 1,018
2009.10.12-11.26 379 441 428 388 1,636
2009.11.26-2010.1.4 294 322 311 273 1,200
2010.1.5-2.22 463 528 499 435 1,925
2010.2.22-4.10 561 633 582 531 2,307
2010.4.10-5.21 534 624 572 518 2,248
2010.5.21-7.02 535 625 589 525 2,274
2010.7.2-7.21 197 235 217 182 831
計 3,932 4,529 4,236 3,766 16,463
■小問数
4題

■ヒント
なし

■入力方式
マウスでポイントする

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は，中一32%，中二7%，中三10%，卒業生31%
1題当たり所要時間は5.8秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）

第1問　-3
第2問　2
第3問　-1.5
第4問　4.5
　正答率，試行回数から判断すると，第2問がやさしく，「数直線上で正の整数の場所を示すことは負の整数や小数の場所を示すことはよりもやさしい」という常識的な予想が統計的に裏付けられる．
どんな間違いがあるのか
　表１は，誤答パターンが解明できた448名の回答者についての第1問の答案（-3が正答）の一覧である．
　これによれば80%近くの回答者は-3の場所を示しているが，誤答答案では-2.5の場所に強い誘惑があることが分かる．
　手ぶれ誤差ならば左右対称になるはずであるが-3.5を示す者はほとんどおらず，次に示すように確信的に「棒の真ん中」を押していると考えられる．（なお，-7と答えた者は-5から左に2目盛進むと-3になると考えたことになる．）
⇒ 文化圏が違うかもしれない！
　「-2.5」の場所を選んだ者は，デジタル文化圏の子どもたちかもしれない．すなわち，エレベーターのボタンのように理解していれば，0から左に向かって「３個目の駒全体」が地下3階(B3)を表わすこととなり，-2.5の場所が-3となる．このようにデジタル目盛を前提とする子どもたちがいると解釈すると，数直線上で整数の場所として「棒の真ん中を押す」答案が現われる訳を説明できる．（全国で中1生が100万人いるとして，そのうち10万人がB3ボタンを押すことになる．）
　この傾向は表2において「2」の場所を示す問題においても確かめることができ，「2」を表わす場所としてエレベーターの2Fボタンの場所（1.5）に強い誘惑があり，手ぶれ誤差として予想される2.5の場所はいない．（第1問からの学習の結果，誤答率は減るが，それでも100万人中約4万人は2Fボタンの強い誘惑に負けることになる．）
　小数の問題：第3問，第4問が登場するとその解釈ではやっていけないことに気づくはずである．
　../math/number_line1.htmの分析参照
　表3は第3問，第4問の答案の一覧で，誤答中で最も多いのは符号が逆の点となっている．ただ，誤答でもほとんどは整数の点を避けており，「小数の場所を押さなくては」という意識はある．
○要約
　整数値を表わす点として，エレベーターのボタンの位置を示す者が約10%ある．
　小数値については正負の符号を間違える者が5〜13%ある．
測定結果の再現性について
　表5は，異なる期間の回答について第1問から第4問までの正答数（件数）の一覧である．この表を用いて正答数の分布状況についてχ2検定を行うと期間による有意差は認められず（p=0.9999 帰無仮説採択），消極的にではあるが測定結果は期間に依存しないことが分かる．
頁全体の正答率は85.9%→95.8%と変化し，この頁で扱っている項目に限れば，成績アップは10.4%と見込まれる．
このページの問題は，このサイトの中で最も簡単で，他のページとの比較上，この時間が目安になりうる．すなわち，１題当たりの所要時間がこの程度なら，読者が即答可能な問題であると判断できる．

■ページ名 「整数→数直線」
../math/su01b.htm
■主な内容 　数直線上で与えられた数に対応する点をマウスでクリックするもの（「正負の数→数直線」の問題において，数値を整数に限定してやさしくしたもの）
■要約・解説 なし「最初の問題に着手するまでの時間」は4.4秒で，直ちに問題に取りかかったと考えられる．
■この集計の作成年月日：2009.12.28　■集計期間2009.09.14〜2009.12.28　■集計期間中のこのペ−ジに対するアンケート回答数/読まれた回数　561件/7076件=7.9%
グラフ１

グラフ2

グラフ3

グラフ4
■小問数
5題

■ヒント
なし

■入力方式
マウスでポイントする

■問題の見え方
一度に全部見える形になっている		 回答者の内訳では，中1が27%，中二が7%，中三が18%，卒業生が30%
1題当たり所要時間は3.5秒
平均滞在時間は1分49秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は横軸が問題番号，縦軸は試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
「正負の数→数直線」(全般)の問題が整数2題，小数2題であるのに対して，このページは整数5題とし，より扱いやすくしたもので，回答者は必ずしも一致しないが正答率，所要時間，試行回数との../math/su01.htmの整数の場合と整合的な結果となっている．
グラフ上では問題間にわずかな差異が見られるが，いずれも正答率が90%以上あり，ほぼできたと見なせる．
どんな間違いがあるのか
第1問　3　→　-3 や 2 を指している
第2問　-1　→　-0.5 や 0 を指している
　この頁では「目盛が小数第1位」まで刻んであって，かつ「問題が整数に限定」されているので，前頁のようなデジタル的な解釈は起こらないと考えられる．
測定の識別力について
　グラフ4は回答者全体をその合計得点によって高（H）〜低（L）の５群に等分したときの群別平均得点のグラフで，全般に正答率が非常に高いため中位群，上位群ではほとんど差が出ないことが分かる．
測定結果の再現性について
　表1は回答を異なる期間に分けて集計したときの問題別正答者数（件数）一覧で，この表から期間に関する独立性についてχ2検定を行うと，同一母集団と見なせる確率は p=0.9999 となり，期間による有意差は認められない．
　以上により，帰無仮説採択という消極的な根拠ながら再現性がうかがえる．
　頁全体の正答率は初め93.1%と高いためこの頁を行った結果96.9%になったが成績アップは3.8%にとどまる．
　むしろ，中学生がほぼ確実に処理できる問題を実例で示せることがうれしい．しかしまた中学生のほぼ全員ができる問題となると，如何に限られた問題になるかということも分かる．
表１　（2010.7.21集計）
期間 第1問 第2問 第3問 第4問 第5問 計
2009.5.2-9.13 547 583 585 582 566 2,863
2009.9.14-12.28 503 533 534 537 526 2,633
2009.12.28-2010.5.4 611 666 678 681 666 3,302
2010.5.4-7.20 433 457 460 462 443 2,255
計 2,094 2,239 2,257 2,262 2,201 11,053

■ページ名 「正負の数→数直線（小数）」
../math/su01a.htm
■主な内容 　数直線上で与えられた数に対応する点をマウスでクリックするもの（「正負の数→数直線」の問題において，数値を小数にしたもの）
■要約・解説 なし「最初の問題に着手するまでの時間」は2.4秒で，直ちに問題に取りかかったと考えられる．
■この集計の作成年月日：2010.2.22　■集計期間2009.10.21〜2010.2.21　■集計期間中のこのペ−ジに対するアンケート回答数/読まれた回数　697件/7139件=9.8%（時間に関する集計は極端値を除く）
グラフ１

グラフ2

グラフ3

表１　（2010.7.21集計）
期間 第1問 第2問 第3問 第4問 第5問 計
2009.6.16-8.15 321 332 316 329 301 1599
2009.8.15-10.20 317 342 312 348 316 1635
2009.10.21-2010.2.21 611 653 624 660 607 3155
2010.2.22-5.9 550 578 545 588 534 2795
2010.5.9-7.20 592 638 599 651 591 3071
計 2391 2543 2396 2576 2349 12255
■小問数
5題

■ヒント
なし

■入力方式
マウスでポイントする

■問題の見え方
一度に全部見える形になっている		 回答者の内訳では，中1が28%，中2が7%，中3が14%，卒業生が30%
1題当たり所要時間は4.7秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は横軸が問題番号，縦軸は試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
測定の再現性について
　表1は異なる期間における各問題の正答数である．
　この表からχ2検定を行うと，各問題の正答率は期間による有意差が認められず（p=0.9999 , 帰無仮説採択），消極的ながら測定の再現性が認められる．
誤答とその原因
(1)
　各問題の誤答率は約10%で，主な誤答は，符号だけが逆で絶対値は合っているものとなっている．
　また，負の小数よりも正の小数の方が正答率が低い．これは予想に反する結果である．
(2)
　表2は各問題の得点と残りの問題の得点との相関係数を調べたもの（I-R相関係数）で，通常は問題の一貫性・整合性の指標とされ，0.2未満の問題は他の問題との整合性がよくないとされる．表2では，どの問題もI-R相関係数が0.2未満となる．この数値は問題の信頼性・妥当性を揺るがす嫌な数値に見える．
　以上(1)(2)を踏まえて元の正誤データを点検すると次の特徴がある．
(3)
　全体の約4割の回答者は，5問中１問あるいは２問だけ間違っており，誤答間に連関がない･･･すなわち，各問題の誤答はそれぞれ別の回答者のもので，１回切りの不注意とか偶然で発生しており，I-R相関がうまく機能していないと考えられる．
　この頁の誤答は不注意によって発生した偶然的なものと考えられる．
学習開始時において平均正答率は90%台で，この頁の問題は「ほとんどの者ができる」問題である．
この頁の学習により，正答率は90.5%から96.8%へ変化し，ここで扱った項目に関して6.2%の成績アップが見込まれる．
表2
I-R
相関係数		 第1問 第2問 第3問 第4問 第5問
0.10 0.13 0.10 0.10 0.19

■ページ名 「整数→数直線(-10〜10」
../math/number_line1.htm
■主な内容 　数直線上で与えられた数に対応する点をマウスでクリックするもの（「正負の数→数直線」の問題において，数値を整数に限定してやさしくしたもの）
■要約・解説 なし「最初の問題に着手するまでの時間」は3.1秒．直ちに着手していることが分かる．
■この集計の作成年月日：2009.11.01　■集計期間2009.05.03〜2009.10.30　■集計期間中のこのペ−ジに対するアンケート回答数/読まれた回数　355件/9682件=3.7%
グラフ1


グラフ2

グラフ3
■小問数
一応10題
（限りなく追加可能）

■ヒント
答そのものが示される

■入力方式
マウスでポイントする

■問題の見え方
１題ずつ順に表示		 回答者の33%が中1，8%が中2，13%が中3，34%が卒業生
１題当たり所要時間は4.5秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
　グラフ4はヘルプ利用回数を示す．
　3問以上解答すると送信できる設定なので，第4問以後無答はあるが，誤答はほとんどない．
◆デジタル的な解釈はどうなったか◆
　../math/su01.htm で見られた「デジタル的な解釈を行う」生徒は，この問題においてもいる．しかし，割合がかなり少ない．
　すなわち，3の場所を2.5で答え，5の場所を4.5で答える，･･･このような生徒は1.3%程度になっている．
　「目盛りの幅」による違いなのか「イラストの見やすさ」のためなのかは不明
○　グラフ1の灰色で示した無答率に関連して，回答者の興味・関心と比較して問題がやさし過ぎるときは「つまらない問題を行い続けることは無駄だ」という考えが増すため問題が進むに連れて脱落する割合が徐々に増えると考えられる．逆に問題が難し過ぎるときは急に増えると考えられる．
下のグラフ5は1題当たりの脱落率が各々青：0.1，黄：0.3，赤：0.5のときの解答率（残りは無答率）をモデル化したもの（y=(1-p)^n）で，このモデルに当てはめると第3問で100%の解答率が第10問で80%となるときの1題当たり脱落率は7%と試算される．
この頁の無答率の推移は，回答者が問題がやさし過ぎると感じたときのパターンを表わしていると考えられる．
グラフ4

グラフ5

■ページ名 「整数→数直線(-20〜20」
../math/number_line2.htm
■主な内容 　数直線上で与えられた数に対応する点をマウスでクリックするもの（10以上の数を扱う）
■要約・解説 なし「最初の問題に着手するまでの時間」は0.3秒．
■この集計の作成年月日：2009.07.16　■集計期間2009.05.06〜2009.07.11　■集計期間中のこのペ−ジに対するアンケート回答数/読まれた回数　27件/1866件=1.4%
グラフ１

グラフ2
■小問数
一応10題
（限りなく追加可能）

■ヒント
答そのものが示される

■入力方式
マウスでポイントする

■問題の見え方
１題ずつ順に表示		 回答者の内訳は，中1が56%，卒業生が37%
１題当たりの所要時間は 4.4秒であった．
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問のみは推定．
　グラフ3は横軸が問題番号，縦軸は試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
　グラフ4はヘルプ利用回数
初等教育では5までの数，10までの数，10以上の数に分けて扱うことがあるが，中学生レベルではこれらの区別は不要で，数直線（-10〜10）の場合と全く同じであることが分かる．同じ回答者の答案とは限らないが，むしろ，所要時間が短くなっている．
規則的に脱落率が増えるが，解答されたものはほとんどが正答で上限に達している．
グラフ3

グラフ4

■ページ名 「正負の数(小数→-10.0〜10.0）」
../math/number_line3.htm
■主な内容 　数直線から派生する小窓で与えられた小数に対応する点をマウスでクリックするもの（「正負の数→数直線」の問題において，数値を小数にして位取りを考えるもの）
■要約・解説 なし「最初の問題に着手するまでの時間」は5.9秒．操作方法が分かってもらえるかどうか気になる所だが，スムーズに行えたようだ．
■この集計の作成年月日：2009.10.17　■集計期間2009.05.03〜2009.10.15　■集計期間中のこのペ−ジに対するアンケート回答数/読まれた回数　61件/3061=2.0%
グラフ１

グラフ2

グラフ3
■小問数
一応10題
（限りなく追加可能）

■ヒント
答そのものが示される

■入力方式
マウスでポイントする

■問題の見え方
１題ずつ順に表示		 回答者の内訳は，中1が36%，卒業生が31%
１題当たりの所要時間は 8.6秒であった．
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は横軸が問題番号，縦軸は試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
　グラフ4はヘルプ利用回数

整数の問題と比較すると小数第1桁を表示して選択する分，遅くなっている．
　作者としては，小数第1位の目盛を選択するプログラムにそれなりの工夫を要したが，操作性がどうだったか気になる．ヘルプはほとんど利用されていないが，グラフ2からは操作方法にすぐに慣れていく様子が分かる．グラフ1の灰色で示した部分からは脱落率が増えていく様子が分かる．
学習開始時において平均正答率は60%台で，この頁の問題は「基本問題の正答率としては普通」である．
この頁の学習により，正答率は64.1%から68.0%へ変化し，ここで扱った項目に関して3.9%の成績アップが見込まれる．
グラフ4

■ページ名 「2よりも5小さい数」
../math/su03.htm
■主な内容 　「２よりも5だけ小さい数」とい形で，初めの数からいくつ小さい（大きい）という形で示される数を数直線上で示す問題
■要約・解説 なし「最初の問題に着手するまでの時間」は2.3秒で，直ちに問題に着手している．
■この集計の作成年月日：2009.10.17　■集計期間2009.05.11〜2009.10.16　■集計期間中のこのペ−ジに対するアンケート回答数/読まれた回数　320件/7662件=3.4%
グラフ１

グラフ2

グラフ3
■小問数
4題

■ヒント
なし

■入力方式
マウスでポイントする

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は，中1が3%，卒業生が30%
1題当たり所要時間は5.4秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は横軸が問題番号，縦軸は試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
どんな間違いがあるのか．
　次の表で青で示したものは正答，赤で示したものは「大きい」と「小さい」を逆に理解している答案である．
第1問 5 -1 3 5.5
89% 4% 1% 1%
第2問 2 6 -2 　
93% 4% 2% 　
第3問 4 -4 -6 -5
92% 2% 2% 1%
第4問 -4 4 　 　
88% 7% 　 　
　約5％の回答者が「大きい」と「小さい」の言葉の意味を逆に理解しているとすれば数学以前の課題を抱えていることになるが，実際にはそこまで深刻ではない．
　クロス集計してみると，「各問題の誤答」は独立に現われており，たとえば第1問だけ大小が逆で，残りの問題は正答というように「単なる早合点」が多い．･･･それにしても，誤答が多過ぎる．
「２よりも5だけ小さい」という表現はあわてて読むと「2よりも5が小さい」と読み間違ってしまうかもしれないが，ゆっくり読めば分かる．
　一方の数は場所に対応しており，他方の数は移動に対応しているので，理屈で考えると難しいが，慣れれば小学生でも簡単．　この形の問題は，手元にある3冊の教科書の中では１社しか出ていないが，加法減法の導入に関してなかなかうまい問い方だと思う．
学習開始時において平均正答率は80%台で，この頁の問題は「基本問題の正答率としては普通」である．
この頁の学習により，正答率は87.0%から98.0%へ変化し，ここで扱った項目に関して10.9%の成績アップが見込まれる．

■ページ名 「京の通り」
../math/k_toori.htm
■主な内容 　京都の通りを南北に移動することを通じて整数の加法・減法に親しむ
■要約・解説 10行「最初の問題に着手するまでの時間」は40秒で，この解説はよく読まれている．
■この集計の作成年月日：2009.10.30　■集計期間2009.05.11〜2009.10.30　■集計期間中のこのペ−ジに対するアンケート回答数/読まれた回数　126件/6569件=1.9%
グラフ１


グラフ2
■小問数
10題

■ヒント
なし

■入力方式
マウスでポイントする

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は，中1が33%，中2が10%，中3が12%，卒業生が39%
1題当たり所要時間は13秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．この頁については無答率が高いので，正答率の通常の定義に従って解答者に対する割合も下に示した．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は解説を読む時間も含む．
　グラフ3は横軸が問題番号，縦軸は試行回数を表わす．
後の問題になるに従って移動回数が増え第1問〜第2問：２回
第3問〜第5問：３回
第6問〜第8問：４回
第9問〜第10問：5回
となっている．
　グラフ１下では初めの3問の正答率が低く現われており，送信するための最小問題数3題を行った者とそれ以降の問題も行った者とで正答率が異なることが分かる．
誤答率と移動回数の相関は見られないが，無答率と移動回数には強い相関が見られる･･･すなわち，無答は「簡単すぎるので省略した」という意思表示であるとともに「回数が多いので煩わしい」という意思表示にもなっている．
グラフ2

○===メニューに戻る