「再現できない実験」という、時機にかなったテーマについて、３人の研究者が、主に統計的な手法の問題点と改善策について、わかりやすく解説してくれています。
これは心理学を学んでいる大学院生には必見のコンテンツです。十年以上前に講演やシンポジウムのネット配信をずいぶんとやった経験から、ネット講義には懐疑的なのですが（しっかり最後までみる人は本当に少ないから）、全部で３時間以上ある動画をほぼ"ながら"せず、最後まで見終えました。
社会心理学ではそもそも追試研究が軽んじられる（投稿してもリジェクトされる）ことや、統計的有意差だけを追い求める傾向（p-hacking）やその背景と、なるほどやっぱりという話もあれば、主要な研究を国際的、大規模に追試しようとするプロジェクト（Reproducibility Project）や帰無仮説の棄却ではなくモデルの適合度によって検定する新しい方向性など、とても勉強になりました。
私は社会心理学者でもなければ、日本社会心理学会の会員でもないのですが、心理学の実験実習をやっていると、確かに有名な実験でも実験結果が再現できないことがけっこうあります。このセミナーで取り上げられている「再現できない」理由はどちらかというと統計的処理や検定の問題に集中していて、それはそれでどれも妥当な議論だったと思います。
群間比較ではなくシングルケースデザインを用いる行動分析学からすると、他にも原因がみえてくるように思います。詳しく書くには時間的余裕がありませんが、たとえば、以下のような問題が思いつきました。
- そもそも論になってしまいますが、グループ比較デザインを用いるなら例数設計をする前に、母集団を想定し（特性や条件を明記し）、母集団からの無作為抽出と無作為割当が必須なのに、ほとんどの研究は無作為割当しかしていないのではないか？
- 個人差を相殺するのが群間比較の基本論理なので、実は多くの実験で、群間の差を生みだしている真の要因や条件が特定できておらず、だから参加者の特性が変わるとそれによって実験結果が異なるのではないか？（これは1)とも関連していますし、次の3) とも関連します）。
- 群間で差があったとして、その原因を帰属させる条件の記述や分析が、実験や研究者によって異なり、統一できていないのではないか？ そのため間違った帰属をしてしまい（実験者が考える群間の差の原因と真の原因が異なる）、再現できる確率が下がるのではないか？
そして対岸の火（？）をみながら振り返ると、再現こそ命であるシングルケースデザインを用いた行動分析学の研究では、
- 一つの実験で行動の制御変数を特定することが欠かせず（いわゆる失敗研究というのは成り立たない）、
- 制御変数を、他の研究と同じ分析・記述単位を用いて記述する（行動分析学の場合、強化、弱化、弁別、般化などの基本原理のみを用いて）ことが大切で、
- 直接的再現でも系統的再現でも、その研究がどの研究のどの部分の再現あるいは拡張なのかを必ず明記すべき
ということがあらためてわかります（意外にできていないものです）。
また、学術雑誌の編集方針としても、再現研究の投稿を（も）推奨し、どんどん遠慮なく掲載して行くことが必要だということも再確認できます。
ほんと、勉強になりました。日本社会心理学会新規事業委員会の皆さまに感謝です。
