使い勝手の比較に関する手法

質問

以下のように、あるシステムの使い勝手に関して、差が有るか否か
比較実験をする予定です。t検定若しくは分散分析を実施すれば
良いと思いますが、以下のような理解で合っておりますでしょうか。
識者の方にアドバイス頂ければと思います。

目的：同一機能を提供する異なるシステムであるAとBの使い勝手の比較
評価の観点（分かりやすさ、アクセスしやすさ等）：6 項目
被験者：10 人程度
評価方法：被験者がAとBの両方を使用して、各システムに対して
　　　　　評価項目ごとに5段階のどれかの点を付ける

AとBの比較方法：
　・各評価観点別のAとBの優劣差の有無
観点ごとに、対応のあるt検定を実施
　　　　　ある観点ではAが良かった、ある観点ではBが良かった
　　　　　との結果を出す
　・総合的なAとBの優劣差の有無
繰り返しのある二元配置の分散分析を実施
　　　　　AとBの間で有意な差があるか否かを述べる

回答No.1

kgu-2 · ベストアンサー

>5段階のどれかの点を
順序尺度なので、t検定は不適。また、１０人は、無作為に抽出する必要がある。

>総合的なAとBの優劣差の有無
統計学では、総合的な判定はできません。質問者の主観的な判断です。たとえば、野球で、打率と防御率を項目として調べた場合、どちらの選手がいいかは、質問者の意見・判断が入ります。実際には野手と投手に分けることからも、総合化には難点があります。
　現実には総合化をしますが、それはあくまでも実験者の主観であって、統計学の守備範囲ではありません。典型例は、採用試験の面接で、総合化が科学的に出来るのであれば、採用・不採用の判断は一致するので、何人も面接者は不要です。

お礼

遅くなりましたが、回答有難うございます。

順序尺度にはt検定は不適切なのは、勉強不足でした。
幾つかの論文で実施していたので、そのまま適用すれば良いと
思っておりました。ノンパラメトリック検定を勉強します。

総合的な優劣は、主観的判断とのこと、その通りかと思います。
分散分析を実施すれば、適当に値は出てくるので、それでOKかと
思っておりました。どうするかは共同研究者と相談致します。