統計学: 尤度推定量、最小二乗法
統計学なのですが、悩んでいるところは 微分の極値問題 なので 微分ができる方にも
アドバイスをお願いしたいです。
さて、問題ですが
L = - Σ（i=1->n)(Yi - θ*Xi)^2/(2*σ^2) - (n/2)ln(2*π*σ^2) を最大化するθ,σ^2を求め、
そのθとσ^2がLを最大化していることを示せ。という問題です。
ただし X1,X2,...,Xn と Y1,Y2,...,Yn は定数扱い。 また θ>= 0 , n は自然数,σ^2 > 0 です。
もとは 統計学の問題で
線形回帰モデル Yi = θ*Xi + εi ,εi は 正規分布 N(0,σ^2) に従う。 を考えたとき
θとσ^2の最尤推定量を求め、その推定量が尤度を最大化していることを証明せよ。
という問題で
(対数)尤度L を計算すると
L = - Σ（i=1->n)(Yi - θ*Xi)^2/(2*σ^2) - (n/2)ln(2*π*σ^2)
となり、 あとは極値問題を解くだけというところから 分からなりました。
この先、私が考えたのは
∂L/∂(σ^2) =0 かつ ∂L/∂θ =0 を満たす θ,σ^2 を求めること(grad(L)を導出)
前者は σ^2 = Σ(Yi-θ*Xi)^2 /n
後者は Σ(Yi-θ* Xi)*Xi = 0
という 形に変形できたのですが、
後者の式をこれ以上 くずせませんでした。
ここでアドバイスがほしいのです。
統計、もしくは解析ができる方、アドバイスをいただけないでしょうか。
文が長くなってしまいましたが、よろしくお願いします。
