統計の証明に関する質問です。

質問

統計の証明に関する質問です。
二つのモデル
1: y=a+b*x1+c*x2+ε1
2: y=α+β*x1+ε2
を想定します。ε1,ε2はある分布に従う確率変数とします。
モデル2は、モデル1においてc=0と条件づけたもので、モデル1の特別な場合と考え
ることができると思います。
それぞれのパラメータは最尤法に基づき推定され、陽には求まらないとします。
この場合に、bのMLEとβのMLEの共分散(漸近、正確問わず)あるいは、cのMLEとβの
MLEの共分散を導出することができるでしょうか？
bのMLEとcのMLEの漸近的な共分散はFisher情報行列から導かれますが、モデルをま
たがったパラメータの共分散って考えることができないでしょうか？

状況としては、ある証明中で、Taylor展開後の期待値にこの(種の)共分散が現れ、
これが0であることを証明したい感じです。

以上、何卒よろしくお願いいたします。

回答No.2

noname#227064 · ベストアンサー

ε1とε2が、正規分布に従わない場合はわかりませんが、正規分布ならば確かに0になるようですね。

1: y=a+b*x1+c*x2+ε1
2: y=α+β*x1+ε2
という二つのモデルを、行列を用いて
1: Y = Xb + ε1
2: Y = Wβ + ε2
と表すことにします。

誤差分布がどちらも正規分布ならば、b及びβの最尤推定量はそれぞれ
b^ = (X'X)^-1X'Y
β^ = (W'W)^-1W'Y
となります。X'はXの転置を意味します。

パラメータの共分散は、モデル1が正しい場合、
E{(β^ - E(β^))(b^ - E(b^))'}
= E(β^b^') - E(β^)E(b^')
= E{(W'W)^-1W'Y((X'X)^-1X'Y)'} - E{(W'W)^-1W'Y}E{((X'X)^-1X'Y)'}
= E{(W'W)^-1W'(Xb + ε1)((X'X)^-1X'(Xb + ε1))'} - E{(W'W)^-1W'(Xb + ε1)}E{((X'X)^-1X'(Xb + ε1))'}
= E{((W'W)^-1W'Xb + (W'W)^-1W'ε1)((b + (X'X)^-1X'ε1))'} - E{((W'W)^-1W'Xb + (W'W)^-1W'ε1)}E{((b + (X'X)^-1X'ε1))'}
= (W'W)^-1W'E(ε1ε1')X(X'X)^-1
= σ^2(W'W)^-1W'X(X'X)^-1
となります。
W = XP
と書くことができるので、
σ^2(W'W)^-1W'X(X'X)^-1
= σ^2(P'X'XP)^-1P'X'X(X'X)^-1
= σ^2(P'X'XP)^-1P'
これ以上は書きませんが、
Cov(c^,α^) = Cov(c^,β^) = 0
となることがわかります。

お礼

ありがとうございます！
正規分布のときだといけるようですね。
助かりました。
一般形はまた追い追い考えてみます。

回答No.1

rabbit_cat

＞二つのモデル
＞1: y=a+b*x1+c*x2+ε1
＞2: y=α+β*x1+ε2
＞を想定します。ε1,ε2はある分布に従う確率変数とします
まず、この文章だと状況がはっきりとわかないのですが、
(x1,x2.y)の組をいくつか観測して、それから、最尤法でa,b,c,α,βを推定したということでいいんですよね。

(x1,x2.y)が従う真の確率分布がわかってるなら、原理的にはbとβ、cとβの共分散も理論的には求まるでしょうが、真の確率分布はわからないのでしょうから、むずかしいでしょうね。

ただ、少なくとも、bとβの推定値は強い相関を持っているはずなので共分散もゼロになることはないはずです。また、x1とx2に相関があれば、cとβの推定値も相関をもつはずです。
というわけで、これらの共分散をゼロとするのは無理があると思います。

お礼

ありがとうございました。

補足

ご返答ありがとうございます。
ご返答を頂戴して気づきましたが、記載に不備がございました。
申し訳ありません。

1を真のモデルとして、ε1の分布は既知とします(たとえばN(0,1))。
そこに、1、2のモデルを当てはめている状況です。

>まず、この文章だと状況がはっきりとわかないのですが、
>(x1,x2.y)の組をいくつか観測して、それから、最尤法でa,b,c,α,βを推定したということでいいんですよね。
おっしゃるとおりです。

>(x1,x2.y)が従う真の確率分布がわかってるなら、原理的にはbとβ、cとβの共分散も理論的には求まるでしょうが、真の確率分布はわからないのでしょうから、むずかしいでしょうね。
ε1の真の確率分布は既知としています。情報不足で申し訳ありません。また、モデルとして確率を規定する箇所はε1ですのでx1,x2は定数、yは確率変数の関数と捉えています。
このモデルは単純化しており、実際の問題とはちょっと異なるのですが、
シミュレーションをしてみるとβとbはもちろん相関がありますが、βとcは無相関ぽいんですよね。
その証明法をどうしようかと言うのが目下の課題です。

参考までに、Rのスクリプトを張っておきます。

n=100 #サンプルサイズ
a=1
b=1
c=2
mu=0
sigma=1
simn=1000
coef1=matrix(0,simn,3)
coef2=matrix(0,simn,2)
for(i in 1:simn){
x1=runif(n)
x2=x1+runif(n) #説明変数間に相関をもたせる
y=a+b*x1+c*x2+rnorm(n,mu,sigma) #真のモデル(モデル1)
reg1=lm(y~x1+x2) #モデル1の当てはめ
reg2=lm(y~x1) #モデル2の当てはめ
coef1[i,]=coefficients(reg1)
coef2[i,]=coefficients(reg2)
}
cor.test(coef1[,2], coef2[,2], method="pearson") #bとβの相関
cor.test(coef1[,3], coef2[,2], method="pearson") #cとβの相関

> cor.test(coef1[,2], coef2[,2], method="pearson") #bとβの相関

Pearson's product-moment correlation

data: coef1[, 2] and coef2[, 2]
t = 24.766, df = 998, p-value < 2.2e-16
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
0.5770425 0.6539463
sample estimates:
cor
0.6169651

> cor.test(coef1[,3], coef2[,2], method="pearson") #cとβの相関

Pearson's product-moment correlation

data: coef1[, 3] and coef2[, 2]
t = -1.1074, df = 998, p-value = 0.2684
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
-0.09681569 0.02701889
sample estimates:
cor
-0.03503287