順序効果の統制について

質問

20代大学生です。

現在心理学系の卒業研究を行っており、その一環として、学内でアンケート調査を行っています。
その回収が現在うまく行っておらず、追加募集を考えていたところ、親しい教授から、自分の授業で配布をしないかとお声がけ頂けました。

ただ、他の学生へ最初の配布を行った際、教授にせっつかれていたこともあって、順序効果を統制していませんでした。
つまり、Ａ，Ｂ，Ｃという3つのパートがあるとすれば、Ａ→Ｂ→Ｃというパターンのみで配布しており、ＢやＣが先頭のパターンなどのパターンを作成しておりませんでした。
実際、回収したアンケートの結果を見る限り、最初のパートに比べて後半のパートの方が、全ての回答を同じものにしている、回答に欠落がある、などの問題が多く、順序効果の統制は必要だった、と反省しております。

そこでお聞きしたいのですが、これまで順序効果を統制せずに行っていた質問紙に、ここで急に統制を行うことは、やはり研究上のマナーとしては良くないのでしょうか？
もし可能であるなら、最初のパターン以外を改めて制作し、配布したいと考えているのですが…。

なお、授業で配布可能な部数は、現在回収済みの部数の半分程度が見込めます。また、これまでの回収分で分析を行ったところ、３パート中前半２パートについては回帰分析の結果が有意でした。

ご回答お願いいたします。

回答No.1

backs

質問紙の提示順序による回答の変化：　例えば、A-B-Cという並びよりも、C-B-Aという並びの方が欠損値が少ない、というようなことを目的にしているならダメでしょう。そうではなくて、単に欠損値を増やさないような工夫に過ぎないのなら、途中から質問紙の（ページの）順序を変えることはそれほど責められるようなことではないと思います。

ただし、後者の場合は「質問紙の並びで回答が変わってしまったのなら、どれが正しい（信用できる）回答なの？」というツッコミがくる可能性も・・・。いずれにしても、特別な理由がない限り質問紙のページ順序を変えるようなことはNG。そんなことをしなくても、欠損値が少なくなるような工夫をすべし。

>　最初のパートに比べて後半のパートの方が、全ての回答を同じものにしている、回答に欠落がある、などの問題が多く、順序効果の統制は必要だった、と反省しております。

以上のような理由で、これは順序効果の統制について反省すべきではなく、質問紙の内容について反省すべきことでしょう。

>　ここで急に統制を行うことは、やはり研究上のマナーとしては良くないのでしょうか？

理由があってそういうことをすること自体は問題ありません。論文にその過程をきちんと明記しない場合に問題になります。卒業論文の場合は、むしろその改善（方法）が好ましいものであれば評価につながるでしょう。

担当教官に相談することを念頭において助言するならば、現行のままその親切な教授のクラスでデータをとることが望ましいでしょう。

補足

ご回答ありがとうございます。

>「質問紙の並びで回答が変わってしまったのなら、どれが正しい（信用できる）回答なの？」というツッコミがくる可能性
>質問紙の内容について反省すべき
確かにその通りだと思います。ただ、研究テーマの設定上、３つの条件では、それぞれ測定させるものだけを変えた、項目自体は同内容の質問紙が続くことになっております。
そのため、欠損のないデータについても後半で疲労や慣れによる回答が起きなかったとは言い切れず、それが原因で最後のパートに有意な結果が出なかった可能性も捨て切れません（もちろん、希望的観測の可能性もありますが…）。

>担当教官に相談することを念頭において助言するならば、現行のままその親切な教授のクラスでデータをとることが望ましいでしょう。
そうですね、一旦教官に相談して、現行のままで良いということであれば、初期のパターンを再配布したいと思います。