授業アンケートと期末テストの関係
二学期の授業はPenでのプログラミングが中心だったが， 途中からPenFlowchartも導入し， 使い方は両方とも説明しておいて， 生徒にはどちらでもいいからやりやすい方で作業するように指示してきた。 最後の授業のときにどちら派であったかのアンケートをとってみた。 「a:Pen，b:PenFlowchart，c:状況に応じて」ということで，結果は次の通り。
> table(enq$Q1)a b c16 146 65 37Pen派が過半数。 PenFlowchartを導入したのが授業の数回めからだったから， 最初に覚えたPenでのやり方を変えたくなかったという子もいるし， 最初はPenFlowchartを使っていて構造とかをわかってきたらPenに戻ったという子もいる。 とりあえず派別に点数を見てみるか。> boxplot(enq$期末2 ~ enq$Q1)IMG /images/20111219a.png 大差はなさげだな。 ついでに平均点。> mean(enq$期末2)[1] 57.24242`> by(enq$期末2,enq$Q1,mean)enq$Q1:[1] 56.6875`
enq$Q1: a[1] 55.43151
enq$Q1: b[1] 58.52308
enq$Q1: c[1] 62.37838ちょっと差があるように見えるかな。試しにt検定でもしてみるか。 Pen派とPenFlowchart派で平均点に差があるか （分散が等しいかどうかわからないときは，それを調べることなく黙ってWelchの方法でやれと 奥村先生のサイト に書いてあったのでそうしてみた）：> t.test(enq$期末2[enq$Q1=="a"],enq$期末2[enq$Q1=="b"])``
`data: enq$期末2[enq$Q1 == “a”] and enq$期末2[enq$Q1 == “b”] `
alternative hypothesis: true difference in means is not equal to 095 percent confidence interval:
sample estimates:mean of x mean of y55.43151 58.52308有意差があるとはいえないな。aとcでもp値は0.0579だ。 平均点だけ見てたら「c（状況に応じて選ぶ）と答えた子はそれだけ意識が高いから， きっと点数も高いだろう」と思っていたのだけど，フィーリングで言いきってはいかんのね。 プログラム→フローチャート，フローチャート→プログラムの書き換えの問題だけとってみて （小問別に点数のデータはとってある） t検定すればp値が0.04くらいにはなるんだけど， ここまでくると多重比較のやりすぎ（ data dredging っていうの？）な気がする。
それよりも気になるのがクラスによるPen派とPenFlowchart派の割合の違い。
> barplot(t(t),horiz=T,legend.text=c("","Pen","PenFlowchart","状況に応じて"))IMG /images/20111219b.png 凡例が変なところに表示されちゃってるけど直し方がわからないのでまあいいや。 A,F,G組はPenFlowchart派がいない。 共通点はというと，AとGはともに木曜日だということがある。 PenFlowchartのバージョンアップはなぜか水曜日の夜に行われることが多くて， それがこなれてない状態で授業をしちゃってたのかもしれない （Fは金曜日の午前なのでその次ではあるが，金曜の午後にはBがある）。 そういうバラツキがあったのでは，統計処理しても意味なかったのかもしれないなあ。