最小二乗法 ニュートン法

質問

ニュートン法で最小二乗法を使うとき、x+Δxを近似解として、テイラー展開して

f(x+Δx)=f(x)+f’(x)Δx

この式から新しい近似解を得ると思います。
この時のfは何の関数なのでしょうか？　残差の二乗和でいいのでしょうか？
わかる方お願いします。

回答No.3

alice_44 · ベストアンサー

ありゃ、日本語が変だ。

f(x) は、x を、残差二乗和の x による導関数
(x がベクトルなら、勾配ベクトル)ヘ対応させる
写像(一般に、n 次元から n 次元ヘ)だろうけれど。

お礼

解決しました。
ありがとうございます。

回答No.4

hashioogi

「残差の平方和を偏微分した関数が0となる値をもとめられば、残差の平方和の極小になる」というのは最小二乗法の一般的な考え方だと思います。
でも通常は正規方程式を解けば回帰式の係数が求まる訳で、そこでニュートン法を使うということは回帰式が冪関数で表現できないようなものだということでしょうか？

回答No.2

alice_44

ニュートン法で最小二乗法を使う？ 何じゃそりゃ。
最小二乗法で残差二乗和の極小点を探すのに
ニュートン法を使おうって話なら、
x は、未定係数(を成分に持つベクトル)で、
f(x) は、x を、残差二乗和の x による導関数
(x がベクトルなら、勾配ベクトル)だろうけれど。
「ニュートン法」は、多次元版を使うことになるね。
多次元のニュートン法↓
http://www.slis.tsukuba.ac.jp/~fujisawa.makoto.fu/cgi-bin/wiki/index.php?%C2%BF%BC%A1%B8%B5%A4%CE%A5%CB%A5%E5%A1%BC%A5%C8%A5%F3%A1%A6%A5%E9%A5%D5%A5%BD%A5%F3%CB%A1

回答No.1

hashioogi

ニュートン法と最小二乗法はどういう関係があるのでしょうか？
残差の二乗和の最小値は一般的には正の値を取りますからニュートン法は使えないような気がしますけど。私の認識が違っていたら申し訳ありませんが。

お礼

回答ありがとうございました。

補足

それならば、残差の平方和を偏微分した関数が0となる値をもとめられば、残差の平方和の極小になるのではないでしょうか？