複素ベクトルの微分、最小二乗誤差法（MMSE）

質問

最小二乗誤差法を用いて評価関数を最小にする値を求めようとしています。

この評価関数が複素ベクトルと複素行列で構成されているので微分できずに困っています。
何冊か本を読んだのですが、この複素ベクトルで構成された式を微分する際、なぜかベクトルの共役をとって微分していました。

なぜ共役をとって微分するのかが全く分かりません。

どなたか知っている人がいらっしゃいましたらよろしくお願いします。

例：J＝w'Rw-w'r-r'w ・・・(1)

J：評価関数　w:ウエイトベクトル
R：行列　r：ベクトル　'：複素共役転置

この(1)を最小にするようなwは、
Jをwで微分してその値が０という条件を使うと思います。
しかし大抵の本のやり方はwの共役で微分していました。ここが分かりません。何かメリットでもあるのでしょうか？

回答No.1

grothendieck · ベストアンサー

メリットというほどのことはありません。wで偏微分してもw'で偏微分しても全く同じ結果が得られます。簡単のため１複素変数で
　J＝w'Rw-w'r-r'w

J：評価関数、w:複素変数、R：実数　'：複素共役

を考えてみましょう。w'で偏微分した場合は
　∂J/∂w' = Rw - r = 0 より w = r/R
wで偏微分した場合は
　∂J/∂w = Rw' - r' = 0 より w' = r'/R
複素共役をとって　w = r/R
つまり全く同じです。強いて言えばw'で偏微分するとwの方程式が得られるのに対し、wで偏微分するとw'の方程式になり、wを得るためには共役を取らなければならないことがw'で偏微分するメリットです。
さてここで問題です。wとw'は共役の関係にあります。それなのにwとw'は独立変数であるように見なして
　∂(w'Rw)/∂w = Rw' ,　∂w'/∂w = 0
として良いのでしょうか？　結論を言うとこれで良いのです。その理由はwの実部と虚部は独立にとれることがwとw'は独立変数と見なせることに対応しているのです。分かりにくいにも拘わらず本には説明していないことがいくつかありますが、これはその一つだと思います。

お礼

大変めちゃくちゃ分かりやすいご回答本当にありがとうございました！
本にも書いてなく行き詰まっていたのでほんとうにうれしいです。

あの、そこでさらに質問したいのですが、最後の

>>その理由はwの実部と虚部は独立にとれることがwとw'は独立変数と見なせることに対応しているのです。

というところがいまいちピンとこなかったのですが、
これはｗの実部と虚部が独立なので、ｗとｗ’は独立な実部、虚部をもつ変数であるといえるということでしょうか？

書き方が悪くて伝わりにくいかもしれませんが、よろしければ教えていただきたいです。
よろしくお願いいたします。

回答No.2

grothendieck

二つの実変数x, y の函数 f(x,y) が最小になる点は
　∂f/∂x = 0 かつ　∂f/∂y = 0 　…(1)
という条件から求められます。ここで
　w = x + iy、　w' = x - iy
とおくと微分についての変数変換の公式より

　∂f/∂x = (∂f/w)(∂w/∂x) + (∂f/w')(∂w'/∂x)
　= (∂f/w) + (∂f/w')

　∂f/∂y = (∂f/w)(∂w/∂y) + (∂f/w')(∂w'/∂y)
　= i[(∂f/w) - (∂f/w')]

よって条件(1)は
　∂f/∂w = 0 かつ　∂f/∂w' = 0
と同値になります。こうして偏微分する段階ではwとw'は独立変数であるように見なして良いのです。もう一つ付け加えることがあります。それは f が実であるときは∂f/∂w = 0 と∂f/∂w' = 0 は同値になることです。こうして元は(1)の様にして最小を求める問題が、∂f/∂w' = 0 で置き換えられているのです。

お礼

ありがとうございました！
ばっちり謎が解けました。
こういうことだったんですね・・・
本にもこのくらい詳しく書いて欲しかったです。
本当にありがとうございました！！