母数が違うものを色々と比較したい

質問

複数のデータを比較したいのですが、母数が違うものが色々あって、どうしたら信頼のある比較ができるのかわかりません。統計に関してはほとんど知りません。

やっていることは、言語データの比較で、同じような意味を持つ2つの語のうちどちらを使う人が多いのか、片方を使う人にはどのような傾向があるか（性別など）を比較したいのです。
たとえば、「ないです」と言うか「ありません」と言うかを比較するとします。（※実際のデータは違うもので、ここれはあくまで「例」です）
両方に当てはまるトークン（たとえば「ないません」？）はなくて、「行ったことないです。僕はありません。」のように話したらナイデス1、アリマセン1とカウントされます。
データは10個あります。とった場所や年が違い、内容のかぶりはありません。
各データの中には何人か話し手が登場します。話し手は「男・10-20代」のように分類されます。

＜データA＞　総計　ナイデス30　アリマセン50
Aさん（男・10-20代）　ナイデス8　アリマセン5
Bさん（女・60代以上）　ナイデス1　アリマセン3
Cさん・・・
＜データB＞　総計　ナイデス100　アリマセン80
Fさん・・・

困っているのは、各データ内のトークンも、各話者のトークン（誰が何回しゃべったか）も違うので、どうやって平均値を出したらいいのかわかりません。
たとえば「男性の方が女性よりナイデスを好むことがわかった」のようなことが言いたいのですが、その場合は以下のどれをすればいいですか？
1) データ10個の全部にある「男性」が言ったナイデスとアリマセンの数を数えて比率を出す　（総数1500:1000 = 1.5:1)
2) 各データ内の「ナイデス」の比率を出し、その比率を全部足してから10で割って平均を出す
3) すべての男性の「ナイデス」の平均値を出し・・・（この後どうしたらいいかわかりません）

とりあえず上記(２)案の計算をして、各データ内での性差を比較しようとしたのですが、何%の違いがあれば有意な違いがあると言えるのでしょうか？　比率（男性を1として女性がいくつになるか）は出してみたのですが、この後何をしたらいいのかわかりません。感覚的に1:2.35は差があって、1:0.91は差がないというのはわかるのですが・・・。

本を買ったり周りの人に訊いたりしたいのですが、海外にいるので日本語の本は手に入らず、英語で一度説明してもらったのですがちんぷんかんぷんでした。そもそもやりたいことが伝わらなかったようです。

回答No.2

akinomyoga · ベストアンサー

任意の分布に対して厳密に検定を行うのは難しいので普通は近似を行います。

例えば、平均する対象の変数が共通の正規分布をしていると仮定(近似)すれば、平均同士に有意な差があるかないかはt検定で判断します。しかし、今回の場合は平均の対象が正規分布をしているかどうか怪しい (特にナイデスorアリマセンの回数が少ない人物について) ですし、また、人毎に分布の形が異なるので t検定を使うのは難しいと思います (工夫すればできるかもしれませんが詳しくないので分かりません)。

■簡単な誤差の評価
単に有意かどうかの目安を見るのであれば、厳密ではありませんが「統計誤差」を算出してみるのは如何でしょう。要するに求めた値の期待される分散を求めるという事です。

ここでは質問文中に挙げられた 1) の平均量を例にとって考えてみる事にします。

(0) 仮定:
　・或るナイデス・アリマセンの選択はその次のナイデス・アリマセンの選択に影響を与えない
　・或る人物のナイデス・アリマセンは別の人のナイデス・アリマセンと相関を持たない

(1) 記号

N人の登場人物がいるとします。この人物の集合を A とします: A = { 登場人物(1), …, 登場人物(N)}. 更に、各登場人物の集計結果を以下の様に定めます: 登場人物(i) → ナイデス a(i) 回、アリマセン b(i)、合計 n(i) = a(i)+b(i), (i = 1, …, N).

(1) 平均の誤差の推定

n(i) を決めた時の a(i) の回数は二項分布に従います。
　ナイデスを選ぶ確率の推定値は p(i) = a(i)/n(i),
　n(i) 回試行を行った時の、二項分布におけるナイデスの回数の分散の推定値は
　　V[a(i)] = n(i)p(i)(1-p(i)) = a(i) b(i) / n(i).
ここで平均量として
　Avg = (Σ[i=1～N] a(i)) / (Σ[i=1～N] n(i))
を考えると
　V[Avg] = (Σ[i=1～N] a(i) b(i) / n(i)) / (Σ[i=1～N] n(i))^2

上記の量 Avg, V[Avg] は人物の集合 A 毎に計算することができます。例えば男性全員についての平均、女性全員についての平均などです。以後人物の集合 A に対する Avg を Avg(A) と表記する事にします。

(2) 例: 男性と女性の差異について考える時

d := Avg(男性) - Avg(女性),
v := V[Avg(男性) - Avg(女性)] = V[Avg(男性)] + V[Avg(女性)].

標本が充分大きく d が正規分布をすると考えて良いと仮定します。ここで片側検定もどきをします。
　帰無仮説: E[Avg(男性)-Avg(女性)] = 0,
　対立仮説: E[Avg(男性)-Avg(女性)] > 0, (男性の方がナイデスを好む).
帰無仮説の下で z = d/√v は標準正規分布(平均 0, 標準偏差 1)に従うはずで、これが有意に大きければ帰無仮説を棄却できます。
例えば z > 2 であれば有意水準 α ≒ 2.5% (信頼度 97.5%) で男性の方が女性よりもナイデスを好むと言えます。

# 以上計算ミスなどがあるかもしれないので御自分でも確認された方が良いかと思います。
# また、こちらも統計については素人で、質問者様のご存じないごく一部の事をたまたま多少知っているという程度で、
# これ以上の事はよく分かりません。すみません。

■参考: 平均の取り方と知りたいものについて
それはそうと、データの取り方と知りたいものに関して色々ともやもやが残ります…。質問者様の状況も良く分からないですし、こちらの頭の中でも整理がつかないので長くなってしまいますが、参考まで:

(1)
まず、小説からデータを取ったという事ですが、調査の対象は「小説の書き手の傾向」・「作家の持つイメージ」なのでしょうか。それとも、調査対象は飽くまで「現実の言葉遣い」であるが、「調査に用いた小説に現れる男女の言葉遣いの傾向が、現実の傾向を(或る程度)正しく反映している」と考えられる根拠があるのでしょうか。

(調査対象が現実の言葉遣いならば)
小説によって得られる結果は現実の世界の傾向ではなく、作家がイメージする傾向にしか過ぎません。例えば、このデータを用いて男性の方が女性に比べてナイデスを使う傾向が分かったとしても、それは「作家は言葉遣いの性差についてこの様な印象を持っている・この様な表現をする傾向がある」という事までしか分からないのではないかと思います。専門家ではないので分からないですが、例えば、「読み手に分かりやすくする為」に敢えて性差を強調する・広く受け入れられているステレオタイプを積極的に利用する、というのは表現方法としてあるのではないかと思います。例えば、「中国人」の登場人物を表すのに「～アル」という語尾を用いる事がありますが、これは読み手がイメージしやすい様にする為の物であって、実際の中国人が日本語を話す時にその様な言葉遣いをするかどうかについては一切考慮がないと思います。

作家の書いた文章と現実の会話における言葉遣いの差異を評価する別の方法があれば良いのですが…。

(2)
質問文中で紹介された平均量だと、「小説中で多く発言を行う人」の影響が大きく出ます。例えば「多く発言をする性格の人」と「余り発言をしない正確の人」でナイデス・アリマセンの比率が異なる場合、この調査方法だと「多く発言をする人」の傾向を強く反映した結果になりますがそれで問題ありませんか (敢えてその様な物を調査したいのであれば問題はありません)。

似たような影響として、作家毎の影響もあります。質問文中 1) の方法だと、該当表現(ナイデス・アリマセン)を多く使う作家の影響が色濃く反映されます。対して質問文中 2) の方法を使えば、作家毎の癖によるバイアスを除去できます。これは、1) の方法よりも 2) の方法が良いという訳ではなくて、何を調査したいのかに依存します。該当表現をよく使う作家の影響を調べたいのであれば 1) を用いれば良いし、該当表現の頻度に拘わらず色々な作家の傾向を調べたいのであれば 2) を使うべきです。(これが元々の質問に対する詳しい答えということになるでしょう。結局、「知りたいものに依存する」という事です。)

(3)
更に、小説の選択の仕方についても気になります。小説は
・あらゆる小説の中から、何らかの方法で無作為に抽出した物なのか、
・或る特定の場所にあった物から無作為に抽出した物なのか、
・自分の好みで選んだ物なのか、
・何かの基準で選んだ物なのか、etc.
などといった事を意識して調査結果を取り扱う必要があると思います。(例えば自分の好みで選んだ場合は、その調査結果は飽くまで自分の好みの小説における調査結果だという事を意識するという事です。抽出の方法には必ず何らかのバイアスが入る物なので、バイアスが入る事自体は悪い事ではないが、どの様な調査方法を採用したかを意識するべきと思うのです。)

(4)
結局まとめると、この調査方法だと「ある程度人気のある小説に登場する様な人物の、特に発言を多くする者」・・・(A) の傾向を調べる事になります。本来であれば、母集団から無作為に選んだ人達に対して調査を行わなければならないと思います。その抽出方法は想定する母集団に依存します。といっても、細かい事を考えているときりがないので、「(A) を今回の調査対象の母集団と定義する」のも一つの手だと思います (その場合は、結果を呈示する際にその事を明記する)。

お礼

回答ありがとうございます。
指導教官にコメントをもらったところ、今回のデータは総数が少ないのと、特に傾向などがなさそうなので、「傾向がない」ということを言うだけで細かい統計はいらないということになってしまいました。せっかく色々教えてくださったのに、すみません。
調査内容について具体的に書きすぎると個人が特定されて、知り合いに「OKWaveで質問してたでしょう！」とか言われると面倒なので（ほかの回答・質問履歴もありますし…）、ある程度ぼかした書き方になってしまいます。
まず、調査対象が数百年前なので自然会話データがありません。
研究の目標は「当時の小説における特徴を調べる」であって、「当時のことばの特徴を調べる」ではありません。つまり、回答者さんのおっしゃる「(A)の傾向を調べる」が研究目標です。ただ、小説は創作といっても、当時の作者が当時を舞台にして作品を書き、当時の読者が読んで理解できる内容なので、全く現実のことばと乖離しているわけではないと思います。
何百ある小説を全部読むのはとても無理だし、電子コーパスも使えないので、年代ごとに人気のあった（≒多くの人の目に触れた）作品を選んでいます。部分を見て全体を推測するというやり方に当てはまるのでしょうか。
ステレオタイプも当然ありまして、実を言うとそれが調査テーマの一つです。たとえるならば、水戸黄門などの時代劇がありますが、江戸時代の言葉遣いそのものを再現しているわけではありません。そうは言っても、「江戸時代っぽいしゃべり方はこうなんだ」と主張するには（ステレオタイプが確立されるには）何か根拠があるはずで、どの特徴が江戸時代当時からあったのか、どの点が間違いなのか、といったことが調査対象に入っています。

回答No.1

akinomyoga

質問者さんの側の具体的状況がよくわからないので長くなってしまいますが御容赦下さい。

■■■ 先ず平均の出し方 3) について:

> 3) すべての男性の「ナイデス」の平均値を出し・・・（この後どうしたらいいかわかりません）
以上の始まり方だと
　A = 「ナイデス」の平均値,
　B = 「アリマセン」の平均値,
　比率 = A : B
の様になるのが自然でしょうか。しかし、これは 1) と同値です。何故なら、
　a = 「ナイデス」の和 = A×N, (N は人数),
　b = 「アリマセン」の和 = B×N,
　比率 = a : b = A : B.

■■■ どのような平均量を使うかは何を知りたいのか・データの取得方法に依る。

この場合、平均の方法の出し方は、何を知りたいのかに依存します。また、データがどの様に調査して得られたのかにも依存します。

例えば、男性Aと女性Bに、適当な内容で同じ長さ(例えば同じ単語数)の文章を書いてもらったとします。この時、
　男性A ナイデス:31, アリマセン:119,
　女性B ナイデス:22, アリマセン:0
という結果になったとします。男性A はナイデス・アリマセンの様な打消表現を頻繁に使う癖があり、傾向としてアリマセンを好むという事が分かります。また、女性Bはそもそも打消表現を余り使わないが、使う場合にはナイデスしか使わないという事が分かります。

ここから、様々な「比率」について考える事ができます:

a) 男性Aと女性Bに適当に同じ長さだけ文章を書かせると、《読み手の目に入る「ナイデス」「アリマセン」の比率》 は 1) の平均方法で求められる 53:119 になります。
b)《ナイデス派とアリマセン派の比率》は 1:1 です。(アリマセン派 = 男性A 1人, ナイデス派 = 女性B 1人。)
c) 更に、《無作為に一人選んだ時、その人が打消表現にナイデスを使う割合の期待値》は、31/(31+119) = 0.207 と 22/(22+0) = 1.0 を平均して、(0.207 + 1.0)/2 = 0.603 です。ナイデス・アリマセンの比率で言うなら 0.603:(1.0-0.603) = 0.603:0.397 になるでしょう。

この様に単に比率といっても様々な算出方法があり、それぞれに異なる意味を持っています。そして、その大小も逆転する可能性があります。例えば上記 a) の比率は、複数の人によって書かれた文章の中ではアリマセンが多い事を表し、c) の比率はナイデスの方が実際には好まれているという事を表します。(この逆転は、例えるなら「マイノリティが大量の発言をする」事によって起こると考えると分かりやすいと思います)。

例えば質問文にある様に、単に
> 「男性の方が女性よりナイデスを好むことがわかった」
かどうかを調べたいと言っても「ナイデスを好む」をどういう事と解釈するかによって答えが変わります。例えば、上記の男性A、女性B の例で言えば:
・単に一定の長さの文章中でナイデスを多く使うのは男性です (男性A = ナイデス31回、女性B = ナイデス22回),
・アリマセンに比べてナイデスの方を好むのは女性です (女性B = ナイデス率100%、男性A = ナイデス率20.7%),
・etc. (他にも様々な「好む」の解釈が可能)

重要なのは、
・知りたい事柄について明確にし、平均の取り方を選択する事、
・結論を呈示する時はどの様な平均量を用いたのかを明示する事
と思います。複数の知りたい事がある場合は、それぞれについて平均の取り方を選択する必要があります。

■■■ 有意な違いがあるかどうかの判定はデータの取り方・データの量に依存する。

これは、データの取り方に大きく依存します。分かっていらっしゃるかもしれませんが、
> 感覚的に1:2.35は差があって、1:0.91は差がないというのはわかるのですが・・・。
という感覚はとても危険です。「感覚」でしかありません。標本の大きさ(＝集めたデータの量)が小さすぎれば 1:2.35 でも差が有意に見えているかどうかは怪しいですし、もし標本が充分大きければ 1:0.91 でも有意に差があると見なせます。

何れにしても正確に行うのであれば検定
http://ja.wikipedia.org/wiki/%E4%BB%AE%E8%AA%AC%E6%A4%9C%E5%AE%9A
が必要になります。

具体的な式については、「知りたい事柄」「選択した比率の算出方法」「データ自体をどの様に集めたか」のそれぞれに依存します。それぞれの組合せについて全て書き下すと大変なのでここで止めておきます。

※「データ自体をどの様に集めたか」というのは、例えば以下の内どれなのか、という事です:
・特に決まったルールもなく、それぞれの人に対して適当な回数だけナイデス・アリマセンを調べた(つまり、ナイデス・アリマセンのそれぞれの絶対数に意味はない)、
・1日の内に何回ナイデス・アリマセンを使ったかを調べた、
・一定時間適当に話してもらって、何回ナイデス・アリマセンを使ったか調べた、
・一定の長さ(単語数、文字数、文の数, etc.)の文章を適当に話してもらって何回ナイデス・アリマセンを使ったかを調べた、
・特定の意味的内容を表現するのに、何回ナイデス・アリマセンを使ったかを調べた、
・その他。

補足

詳しいご回答ありがとうございます。
データの取り方は、実を言うと小説文からとりました。なので文字数や登場人物に制限がなく、男性は10名以上出てくるのに女性は2人だけといったこともあります。
比較したいのは、「ナイデスかアリマセンのどちらかを使う状況になったとき、どちらを選ぶのか」です。全体の字数に対する出現回数は考慮していません。小説は電子データで持っているので文字カウントはできます。
なので絶対数には意味がなく、「ナイデス」と「アリマセン」の比率を比べればいいかと思ったのですが、登場人物ごとにも、小説ごとにも割合と絶対数が違うので悩んでいます。
男性でみると両方のトークンを足した絶対数は100～300、「ナイデス」の割合は6~78%、「ナイデス」絶対数は11~170．全データを足して「ナイデス」の割合を見ると48%になります。
いっそ全体傾向を見るのはあきらめて作品同士で比較した方が無難でしょうか。

各作品における男女差（2つの選択肢のうち「ナイデス」を選んだ割合）も見たいのですが、その場合は％同士をカイ二乗検定すればいいのでしょうか？
単純に「ナイデス」を選んだ％の数値の差を比較しようとしたのですが、
作品A：男84%　女59%　（絶対数337/403　117/197）
作品B：男15%　女6%　　（絶対数40/272　11/179）
これだと単純な％の差は25%と9%でAの方が大きいように見えますが、比率だと1:1.41　1:2.39でBの方が差が大きくなります。
おそらく、分母を同じにした場合（たとえば1000回のうち何回でてくるか）を比較すればいいんじゃないかとは思うんですが・・・。
統計が全然わかっていなくてすみません。
統計ソフトSPSSをもっています。