最尤推定法の式変形

質問

確率密度関数が多変量正規分布の場合に、最尤推定を用いて平均・分散を推定する式の導出で躓いています。
具体的には、以下のアドレスに公開されているPDFの4ページ、偏微分の部分がどのように計算しているのか理解できていません。
http://www.geocities.co.jp/technopolis/5893/4-2.pdf

どのようにしてこのような式変形が行われているのか、どなたか教えていただけますか？

よろしくお願い致します。

回答No.3

stomachman

ヒントが足りないということらしいっすね。

　　(∂/∂x) (x' A x) = (A+A')x
です。特に A=A'である場合には
　　(∂/∂μ)(x' A x) =-2Ax

　で、ご質問の場合、
　　y[k] = φ(x^(i))-μ[k]
　　f = y' (Σ^(-1)) y
とすると（yとfはiに依存しますが、記号がややこしくなるだけなので省略して記述します）
　　J(μ,Σ)= - log|Σ| - (1/(2N))Σ{i=1～N} f
だから、
　　∂J(μ,Σ)/∂μ = -(1/(2N))Σ{i=1～N} (∂f/∂μ)
である。あとはfをベクトルμで微分すれば良いわけです。
　　∂f/∂μ = (∂/∂μ)(y' (Σ^(-1)) y)
　　= (∂y/∂μ)(∂/∂y)(y' (Σ^(-1)) y)
そしてΣ^(-1) は共分散行列だというのだから、
　　 Σ^(-1) = (Σ^(-1))'
なので
　　∂f/∂μ = 2(∂y/∂μ)((Σ^(-1)) y)
　また、
　　∂y[k]/∂μ[j] = -δk,j (クロネッカーのδ）
だから
　　(∂y/∂μ) =-E (Eは単位行列）
かくて
　　∂f/∂μ = -2((Σ^(-1)) y)
です。だから、
　　∂J(μ,Σ)/∂μ = (1/N)Σ{i=1～N} ( (Σ^(-1)) (φ(x^(i))-μ) )

回答No.2

stomachman

転置を ' と書く事にして
　　x=(x[1], x[2],…, x[n])'
のとき、xに依らないn行n列の行列Aについて、
　　(∂/∂x[j]) (x' A x)
がどうなるか、一度「ばらして確認」しておくと良いですね。これをj=1～nについて並べたベクトルが (∂/∂x) (x' A x) です。

回答No.1

Tacosan

偏微分してるのは 5ページ目でしょうか?

身も蓋もありませんが, 「ばらして確かめる」のが最も確実だと思いますよ.