Sllabus-外国語教育特別演習B(評価法)

外国語教育特別演習B(評価法)

科目
外国語教育特別演習B(評価法)
区分
外国語学科共通科目群

授業コード

開設セメスター
6S

曜日・時限
秋　月/34
単位数
2単位

担当者名
安間　一雄

授業の概要
この授業では，英語を教えて行く上で必要な正しい評価のしかたを学習する．
　(1)　テストの種類と目的を知る．
　(2)　テストをどのように分析するか，得られた結果をどのように解釈すべきかを学ぶ．
　(3)　主としてパソコンの表計算ソフトを使ってデータ集計のしかたを学ぶ．
　(4)　既存のテスト（たとえば入試問題）を取り上げ，なにが問題なのか，どのように改善したらよいのかを検討する．
パソコン経験について：
授業で使うパソコンは次の基本操作ができることを一応の目安としている．
　(1) ウィンドウを開く・閉じる・移動する
　(2) フォルダー（ディレクトリー）の概念がわかる
　(3) ファイルを開く・閉じる・保存する・別名で保存する
Macintosh や特定のソフトの操作に習熟していない受講生には，随時「若葉コーナー」を設けて指導する．このほかパソコン教室にはオープン利用の時間があるので自習利用して授業の課題を補完してもらいたい．

授業のポイント：
テストの種類
　個別テスト，統合テスト
　主観テスト，客観テスト
テスト方法
　多肢選択式テスト
　記述式テスト
テストの質
　信頼性，妥当性
　項目分析
テストの用途
　能力テスト，到達度テスト
　実験計画
　結果の推定
既存テスト問題の検討

各項目の詳細及び参考文献は私のWWWページ http://hebrides.lit.tamagawa.ac.jp/lessons/testing/testing_main.html を参照のこと．

到達目標

授業計画
テーマ
内容

第1回目
　(1) 統計量の種類
　(2) 基本統計の取り方　　　比例変量，間隔変量，順位変量，名義変量
　　　合計，平均（算術平均，中央値，最頻値）
　　　　Excel で合計・平均・中央値・最頻値を算出する
　　　標準偏差（標本，不偏），分散（標本，不偏）
　　　　Excel で標本標準偏差を算出する
　　　　不偏標準偏差を補正して標本標準偏差を算出する
　　　z score，T score （偏差値）

第2回目
　(2) 基本統計の取り方　　　合計，平均（算術平均，中央値，最頻値）
　　　　Excel で合計・平均・中央値・最頻値を算出する
　　　標準偏差（標本，不偏），分散（標本，不偏）
　　　　Excel で標本標準偏差を算出する
　　　　不偏標準偏差を補正して標本標準偏差を算出する
　　　z score，T score （偏差値）

第3回目
　(2) 基本統計の取り方
　(3) 基本統計量のバリエーション　　　合計，平均（算術平均，中央値，最頻値）
　　　　Excel で合計・平均・中央値・最頻値を算出する
　　　標準偏差（標本，不偏），分散（標本，不偏）
　　　　Excel で標本標準偏差を算出する
　　　　不偏標準偏差を補正して標本標準偏差を算出する
　　　z score，T score （偏差値）
　　　歪度，尖度
　　　能力テストと到達度テスト

第4回目
　(4) 信頼性・妥当性　　　妥当性の種類と意味
　　　　内容の妥当性，構成概念妥当性，共時妥当性，予測妥当性
　　　　テストの社会的影響とテスト作成者の社会的責任
　　　信頼性の種類と適用
　　　　信頼性の概念
　　　　　再テスト法，等質テスト法
　　　　　interrater reliability, intrarater reliability
　　　　　internal consistency
　　　　比例・間隔変量の場合 → Cronbach a
　　　　　歌詠みサンプルデータから信頼性係数を測定する
　　　　名義変量（二項値）の場合 → Kuder-Richardson 20 (K-R 20)
　　　　　文法テストを解いてみて解答を採点する
　　　　　　Excel 操作：
　　　　　　　シートの使い方
　　　　　　　関数 if の使い方
　　　　　TOEFL (structure & vocabulary) サンプルデータから信頼性係数を測定する
　　　　　　Excel 操作：
　　　　　　　Shift キーで始点セルと終点セルを囲む

第5回目
　(4) 信頼性・妥当性　　　妥当性の種類と意味
　　　　内容の妥当性，構成概念妥当性，共時妥当性，予測妥当性
　　　　テストの社会的影響とテスト作成者の社会的責任
　　　信頼性の種類と適用
　　　　信頼性の概念
　　　　　再テスト法，等質テスト法
　　　　　interrater reliability, intrarater reliability
　　　　　internal consistency
　　　　比例・間隔変量の場合 → Cronbach a
　　　　　歌詠みサンプルデータから信頼性係数を測定する
　　　　名義変量（二項値）の場合 → Kuder-Richardson 20 (K-R 20)
　　　　　文法テストを解いてみて解答を採点する
　　　　　　Excel 操作：
　　　　　　　シートの使い方
　　　　　　　関数 if の使い方
　　　　　TOEFL (structure & vocabulary) サンプルデータから信頼性係数を測定する
　　　　　　Excel 操作：
　　　　　　　Shift キーで始点セルと終点セルを囲む

第6回目
　(4) 信頼性・妥当性　　　妥当性の種類と意味
　　　　内容の妥当性，構成概念妥当性，共時妥当性，予測妥当性
　　　　テストの社会的影響とテスト作成者の社会的責任
　　　信頼性の種類と適用
　　　　信頼性の概念
　　　　　再テスト法，等質テスト法
　　　　　interrater reliability, intrarater reliability
　　　　　internal consistency
　　　　比例・間隔変量の場合 → Cronbach a
　　　　　歌詠みサンプルデータから信頼性係数を測定する
　　　　名義変量（二項値）の場合 → Kuder-Richardson 20 (K-R 20)
　　　　　文法テストを解いてみて解答を採点する
　　　　　　Excel 操作：
　　　　　　　シートの使い方
　　　　　　　関数 if の使い方
　　　　　TOEFL (structure & vocabulary) サンプルデータから信頼性係数を測定する
　　　　　　Excel 操作：
　　　　　　　Shift キーで始点セルと終点セルを囲む

第7回目
　(5) 項目分析　　　古典的項目分析
　　　　難易度，識別指数
　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤）の分析
　　　　古典的項目分析の限界
　　　ロジスティック回帰分析
　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤・解答選択肢）の分析
　　　　　特徴のある項目の解釈
　　　　　JMP 操作：
　　　　　　テキストデータの読み込み（Excel → SimpleText → JMP）
　　　　　　Fit Y by X
　　　　　　グラフの読み方
　　　ラッシュ分析
　　　　能力尺度，難易度尺度，適合度尺度
　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤）の分析

第8回目
　(5) 項目分析　　　古典的項目分析
　　　　難易度，識別指数
　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤）の分析
　　　　古典的項目分析の限界
　　　ロジスティック回帰分析
　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤・解答選択肢）の分析
　　　　　特徴のある項目の解釈
　　　　　JMP 操作：
　　　　　　テキストデータの読み込み（Excel → SimpleText → JMP）
　　　　　　Fit Y by X
　　　　　　グラフの読み方
　　　ラッシュ分析
　　　　能力尺度，難易度尺度，適合度尺度
　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤）の分析

第9回目
　(6) 2統計量間の相関関係・回帰分析　　　Pearson の積率相関係数
　　　回帰直線（勾配，切片）
　　　　Vocabulary & Reading サンプルデータから相関係数等を測定する
　　　　　Excel 操作：
　　　　　　関数 pearson, slope, intercept の使い方
　　　相関分析（検定）
　　　　仮説（検定（帰無）仮説，対立仮説），誤差，有意水準，限界水準，自由度，片側検定・両側検定
　　　　Vocabulary & Reading サンプルデータにおいて統計的に有意な相関の有無を検定する
　　　　　JMP 操作：
　　　　　　Correlation matrix
　　　　相関分析適用上の注意点
　　　その他の統計量
　　　　二項変量と連続変量の相関 → biserial correlation, point-biserial correlation
　　　　2つの二項変量 → tetrachoric correlation
　　　　2つの順位変量 → Spearmanﾕs Rho, Kendallﾕs tau
　　　　3つ以上の順位変量 → Kendallﾕs W

第10回目
　(6) 2統計量間の相関関係・回帰分析　　　Pearson の積率相関係数
　　　回帰直線（勾配，切片）
　　　　Vocabulary & Reading サンプルデータから相関係数等を測定する
　　　　　Excel 操作：
　　　　　　関数 pearson, slope, intercept の使い方
　　　相関分析（検定）
　　　　仮説（検定（帰無）仮説，対立仮説），誤差，有意水準，限界水準，自由度，片側検定・両側検定
　　　　Vocabulary & Reading サンプルデータにおいて統計的に有意な相関の有無を検定する
　　　　　JMP 操作：
　　　　　　Correlation matrix
　　　　相関分析適用上の注意点
　　　その他の統計量
　　　　二項変量と連続変量の相関 → biserial correlation, point-biserial correlation
　　　　2つの二項変量 → tetrachoric correlation
　　　　2つの順位変量 → Spearmanﾕs Rho, Kendallﾕs tau
　　　　3つ以上の順位変量 → Kendallﾕs W

第11回目
　(7) 2統計量の平均値の差の検定　　　2つの連続変量 → t 検定（対応あり）
　　　　同一受験者の2つのテスト成績（pretest vs. posttest）の差を分析する
　　　　　仮説，有意水準，限界水準，自由度，片側検定・両側検定
　　　　　　Excel 操作：
　　　　　　　関数 ttest の使い方
　　　2つの連続変量 → t 検定（対応無し）
　　　　2クラス間のテスト成績の差を分析する
　　　　　仮説，有意水準，限界水準，自由度，片側検定・両側検定
　　　　　　Excel 操作：
　　　　　　　関数 ttest の使い方
　　　3つ以上の連続変量 → 分散分析（ANOVA）
　　　　多肢選択問題における正解の位置は正答率に影響があるか？のデータを分析する
　　　　　JMP 操作：
　　　　　　Fit Y by X

第12回目
　(8) 2統計量間の独立性の検定　　　2つの連続変量の分散の検定 → F 検定
　　　名義変量と名義変量 → カイ二乗検定
　　　　英検対策コース受講の有無と英検合否のサンプルデータから2要因の独立性を検定する

第13回目
　(9) 3つ以上の変量間の関係（多変量解析）　　　クラスター分析
　　　主成分分析，因子分析
　　　共分散構造解析
　　　多次元尺度法

第14回目

第15回目

使用テキスト
田久浩志・林俊克・小島隆矢『JMPによる統計解析入門』（オーム社, 2003） ISBN: 4-274-06503-0 \3,200 (http://www.jmp.com/japan/product/jmp_download_of_data.shtml#4)

参考文献
James D. Brown, Understanding Research in Second Language Learning (Cambridge University Press, 1988) ISBN: 0-521-31551-4
Hugh Coolican, Research Methods and Statistics in Psychology (Hodder & Stoughton, 1990)
James D. Brown, Testing in Language Programs (Prentice Hall Regents, 1996)
J. B. ヒートン/語学教育研究所テスト研究グループ訳『コミュニカティブ・テスティング：英語テストの作り方』（研究社, 1992）
倉智佐一，山上暁『要説心理統計法』（北大路書房, 1991）
清川英男『英語教育研究入門』（大修館書店, 1991）
大友賢二『項目反応理論入門』（大修館書店, 1996）
内田治・松木秀明・上野真由美『すぐわかるJMPによる統計解析』（東京図書, 2002）ISBN: 4-489-00639-X \2,800
慶應SFCデータ分析教育グループ編『データ分析入門(第4版)』（慶應義塾大学出版会）ISBN: 4-7664-0925-6 \3,500

成績評価方法
定期試験
　・パソコンを使用して基本統計量を得る
　・得られた結果を解釈する
　・手順に従って説明する
プロジェクト

更新日：02/10/2003

検索／トップページ／担当別５０音一覧

科目	外国語教育特別演習B(評価法)	区分	外国語学科共通科目群
授業コード		開設セメスター	6S
曜日・時限	秋　月/34	単位数	2単位
担当者名	安間　一雄

授業計画	テーマ	内容
第1回目	(1) 統計量の種類　(2) 基本統計の取り方	比例変量，間隔変量，順位変量，名義変量　　　合計，平均（算術平均，中央値，最頻値）　　　　Excel で合計・平均・中央値・最頻値を算出する　　　標準偏差（標本，不偏），分散（標本，不偏）　　　　Excel で標本標準偏差を算出する　　　　不偏標準偏差を補正して標本標準偏差を算出する　　　z score，T score （偏差値）
第2回目	(2) 基本統計の取り方	合計，平均（算術平均，中央値，最頻値）　　　　Excel で合計・平均・中央値・最頻値を算出する　　　標準偏差（標本，不偏），分散（標本，不偏）　　　　Excel で標本標準偏差を算出する　　　　不偏標準偏差を補正して標本標準偏差を算出する　　　z score，T score （偏差値）
第3回目	(2) 基本統計の取り方　(3) 基本統計量のバリエーション	合計，平均（算術平均，中央値，最頻値）　　　　Excel で合計・平均・中央値・最頻値を算出する　　　標準偏差（標本，不偏），分散（標本，不偏）　　　　Excel で標本標準偏差を算出する　　　　不偏標準偏差を補正して標本標準偏差を算出する　　　z score，T score （偏差値）　　　歪度，尖度　　　能力テストと到達度テスト
第4回目	(4) 信頼性・妥当性	妥当性の種類と意味　　　　内容の妥当性，構成概念妥当性，共時妥当性，予測妥当性　　　　テストの社会的影響とテスト作成者の社会的責任　　　信頼性の種類と適用　　　　信頼性の概念　　　　　再テスト法，等質テスト法　　　　　interrater reliability, intrarater reliability 　　　　　internal consistency 　　　　比例・間隔変量の場合 → Cronbach a 　　　　　歌詠みサンプルデータから信頼性係数を測定する　　　　名義変量（二項値）の場合 → Kuder-Richardson 20 (K-R 20) 　　　　　文法テストを解いてみて解答を採点する　　　　　　Excel 操作：　　　　　　　シートの使い方　　　　　　　関数 if の使い方　　　　　TOEFL (structure & vocabulary) サンプルデータから信頼性係数を測定する　　　　　　Excel 操作：　　　　　　　Shift キーで始点セルと終点セルを囲む
第5回目	(4) 信頼性・妥当性	妥当性の種類と意味　　　　内容の妥当性，構成概念妥当性，共時妥当性，予測妥当性　　　　テストの社会的影響とテスト作成者の社会的責任　　　信頼性の種類と適用　　　　信頼性の概念　　　　　再テスト法，等質テスト法　　　　　interrater reliability, intrarater reliability 　　　　　internal consistency 　　　　比例・間隔変量の場合 → Cronbach a 　　　　　歌詠みサンプルデータから信頼性係数を測定する　　　　名義変量（二項値）の場合 → Kuder-Richardson 20 (K-R 20) 　　　　　文法テストを解いてみて解答を採点する　　　　　　Excel 操作：　　　　　　　シートの使い方　　　　　　　関数 if の使い方　　　　　TOEFL (structure & vocabulary) サンプルデータから信頼性係数を測定する　　　　　　Excel 操作：　　　　　　　Shift キーで始点セルと終点セルを囲む
第6回目	(4) 信頼性・妥当性	妥当性の種類と意味　　　　内容の妥当性，構成概念妥当性，共時妥当性，予測妥当性　　　　テストの社会的影響とテスト作成者の社会的責任　　　信頼性の種類と適用　　　　信頼性の概念　　　　　再テスト法，等質テスト法　　　　　interrater reliability, intrarater reliability 　　　　　internal consistency 　　　　比例・間隔変量の場合 → Cronbach a 　　　　　歌詠みサンプルデータから信頼性係数を測定する　　　　名義変量（二項値）の場合 → Kuder-Richardson 20 (K-R 20) 　　　　　文法テストを解いてみて解答を採点する　　　　　　Excel 操作：　　　　　　　シートの使い方　　　　　　　関数 if の使い方　　　　　TOEFL (structure & vocabulary) サンプルデータから信頼性係数を測定する　　　　　　Excel 操作：　　　　　　　Shift キーで始点セルと終点セルを囲む
第7回目	(5) 項目分析	古典的項目分析　　　　難易度，識別指数　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤）の分析　　　　古典的項目分析の限界　　　ロジスティック回帰分析　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤・解答選択肢）の分析　　　　　特徴のある項目の解釈　　　　　JMP 操作：　　　　　　テキストデータの読み込み（Excel → SimpleText → JMP）　　　　　　Fit Y by X 　　　　　　グラフの読み方　　　ラッシュ分析　　　　能力尺度，難易度尺度，適合度尺度　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤）の分析
第8回目	(5) 項目分析	古典的項目分析　　　　難易度，識別指数　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤）の分析　　　　古典的項目分析の限界　　　ロジスティック回帰分析　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤・解答選択肢）の分析　　　　　特徴のある項目の解釈　　　　　JMP 操作：　　　　　　テキストデータの読み込み（Excel → SimpleText → JMP）　　　　　　Fit Y by X 　　　　　　グラフの読み方　　　ラッシュ分析　　　　能力尺度，難易度尺度，適合度尺度　　　　TOEFL (structure & vocabulary) サンプルデータ（正誤）の分析
第9回目	(6) 2統計量間の相関関係・回帰分析	Pearson の積率相関係数　　　回帰直線（勾配，切片）　　　　Vocabulary & Reading サンプルデータから相関係数等を測定する　　　　　Excel 操作：　　　　　　関数 pearson, slope, intercept の使い方　　　相関分析（検定）　　　　仮説（検定（帰無）仮説，対立仮説），誤差，有意水準，限界水準，自由度，片側検定・両側検定　　　　Vocabulary & Reading サンプルデータにおいて統計的に有意な相関の有無を検定する　　　　　JMP 操作：　　　　　　Correlation matrix 　　　　相関分析適用上の注意点　　　その他の統計量　　　　二項変量と連続変量の相関 → biserial correlation, point-biserial correlation 　　　　2つの二項変量 → tetrachoric correlation 　　　　2つの順位変量 → Spearmanﾕs Rho, Kendallﾕs tau 　　　　3つ以上の順位変量 → Kendallﾕs W
第10回目	(6) 2統計量間の相関関係・回帰分析	Pearson の積率相関係数　　　回帰直線（勾配，切片）　　　　Vocabulary & Reading サンプルデータから相関係数等を測定する　　　　　Excel 操作：　　　　　　関数 pearson, slope, intercept の使い方　　　相関分析（検定）　　　　仮説（検定（帰無）仮説，対立仮説），誤差，有意水準，限界水準，自由度，片側検定・両側検定　　　　Vocabulary & Reading サンプルデータにおいて統計的に有意な相関の有無を検定する　　　　　JMP 操作：　　　　　　Correlation matrix 　　　　相関分析適用上の注意点　　　その他の統計量　　　　二項変量と連続変量の相関 → biserial correlation, point-biserial correlation 　　　　2つの二項変量 → tetrachoric correlation 　　　　2つの順位変量 → Spearmanﾕs Rho, Kendallﾕs tau 　　　　3つ以上の順位変量 → Kendallﾕs W
第11回目	(7) 2統計量の平均値の差の検定	2つの連続変量 → t 検定（対応あり）　　　　同一受験者の2つのテスト成績（pretest vs. posttest）の差を分析する　　　　　仮説，有意水準，限界水準，自由度，片側検定・両側検定　　　　　　Excel 操作：　　　　　　　関数 ttest の使い方　　　2つの連続変量 → t 検定（対応無し）　　　　2クラス間のテスト成績の差を分析する　　　　　仮説，有意水準，限界水準，自由度，片側検定・両側検定　　　　　　Excel 操作：　　　　　　　関数 ttest の使い方　　　3つ以上の連続変量 → 分散分析（ANOVA）　　　　多肢選択問題における正解の位置は正答率に影響があるか？のデータを分析する　　　　　JMP 操作：　　　　　　Fit Y by X
第12回目	(8) 2統計量間の独立性の検定	2つの連続変量の分散の検定 → F 検定　　　名義変量と名義変量 → カイ二乗検定　　　　英検対策コース受講の有無と英検合否のサンプルデータから2要因の独立性を検定する
第13回目	(9) 3つ以上の変量間の関係（多変量解析）	クラスター分析　　　主成分分析，因子分析　　　共分散構造解析　　　多次元尺度法
第14回目
第15回目

使用テキスト	田久浩志・林俊克・小島隆矢『JMPによる統計解析入門』（オーム社, 2003） ISBN: 4-274-06503-0 \3,200 (http://www.jmp.com/japan/product/jmp_download_of_data.shtml#4)
参考文献	James D. Brown, Understanding Research in Second Language Learning (Cambridge University Press, 1988) ISBN: 0-521-31551-4 Hugh Coolican, Research Methods and Statistics in Psychology (Hodder & Stoughton, 1990) James D. Brown, Testing in Language Programs (Prentice Hall Regents, 1996) J. B. ヒートン/語学教育研究所テスト研究グループ訳『コミュニカティブ・テスティング：英語テストの作り方』（研究社, 1992）倉智佐一，山上暁『要説心理統計法』（北大路書房, 1991）清川英男『英語教育研究入門』（大修館書店, 1991）大友賢二『項目反応理論入門』（大修館書店, 1996）内田治・松木秀明・上野真由美『すぐわかるJMPによる統計解析』（東京図書, 2002）ISBN: 4-489-00639-X \2,800 慶應SFCデータ分析教育グループ編『データ分析入門(第4版)』（慶應義塾大学出版会）ISBN: 4-7664-0925-6 \3,500
成績評価方法	定期試験　・パソコンを使用して基本統計量を得る　・得られた結果を解釈する　・手順に従って説明するプロジェクト