最小二乗法について

質問

最小二乗法についてhttp://szksrv.isc.chubu.ac.jp/lms/lms1.html
をみたのですが、

＞bを固定すれば、Sはaの二次関数の見なせるので、これをグラフ化す＞ると

という一文がありますが、ｂを固定するというのはどういうことか
教えてください。

回答No.7

hitokotonusi · ベストアンサー

＞S=Ba二乗-2Da+A二乗

少し違います。Aに二乗はついていません。
正しくは、二乗を^を使ってあらわすことにして

S(a) = B a^2 -2 D a + A

A = y1^2 + y2^2 + ・・・・
B = x1^2 + x2^2 + ・・・・・
D = x1* y1 + x2* y2 + ・・・・・

A、B、Dは#4のサンプルデータを入れていけば

A = (1.1)^2 + (2.2)^2 + ・・・・
B = (1.0)^2 + (2.0)^2 + ・・・・
D = (1.0 * 1.1) + (2.0 * 2.2) + ・・・・・

( * は掛け算)

という定数で、これで計算できます。

が、正直なところ作業はここで打ち切って、

最小二乗法の目的
最小二乗法の考え方

の部分を図をしっかり睨みながら、最小二乗法がどういう目的で
何をするのかを時間をかけてしっかり理解することを強くお薦めします。

お礼

＞a=1あたりに最小値があるはずです。

＞さて、x軸、y軸はどうなりましたか？

ですが、たて横にもｘｙ軸は存在しないということになりますか？
たてS(a）横a

なので

補足

ありがとうございます。
CとEが出てこないのはなぜでしょうか？

これでABDの定数がでてくるということですね？

それがもとまったらS(a)の式は単なるaの二次方程式となり
まとめると最小のSになる時のaの値が定まるということですね？

回答No.6

hitokotonusi

＞ｂをゼロとおくのはなぜでしょうか？

#4で

＞y=ax

を仮定したからです。

＞これらの数値を代入していき連立方程式を立てるのでしょうか？

計算方法は

http://szksrv.isc.chubu.ac.jp/lms/lms1.html

にデータ数4の場合について詳しく書かれていますから熟読してください。
b=0として同じように計算します。

お礼

この式はどうやったらグラフ化できるのかがわからないのです。

Bとかがあってどうまとめたらいのかがわかりません。

補足

S＝A二乗＋a二乗B＋４ｂ二乗－２ｂｃ-2aD+２aｂE

のｂがゼロだから

S=A二乗＋a二乗B-2aD
となり
S=Ba二乗-2Da+A二乗
でしょうか？

回答No.5

hitokotonusi

からかってるんですか？

​http://szksrv.isc.chubu.ac.jp/lms/lms1.html

を本当に読んでますか？

そのページの『一般的な場合』という項目の最初の式で
b=0とおいたものです

補足

ありがとうございます。

ｂをゼロとおくのはなぜでしょうか？

回答No.4

hitokotonusi

＞AB軸があってXYの軸はどうなるのでしょうか？

それではさらに簡単にしてパラメータを一つにしてみましょう

y=ax

このときのSはaの関数で

S(a) = Σi( y_i - a x_i ) ^2

となります。(x_i, y_i)の測定値のセットとして

(1.0, 1.1), (2.0, 2.2), (3.0, 2.9), (4.0, 3.8), (5.0, 5.1)

の5つを使い、aをいろいろかえながらS(a)を計算してみてください。
計算できたら、横軸にaをとり縦軸にS(a)をとってグラフ化してください。

a=1あたりに最小値があるはずです。

さて、x軸、y軸はどうなりましたか？

お礼

＞(1.0, 1.1), (2.0, 2.2), (3.0, 2.9), (4.0, 3.8), (5.0, 5.1)

＞の5つを使い、aをいろいろかえながらS(a)を計算してみてください。
これらの数値を代入していき連立方程式を立てるのでしょうか？

補足

ありがとうございます。
＞S(a) = Σi( y_i - a x_i ) ^2

これはなにを表しているのでしょうか？

回答No.3

hitokotonusi

＞ a-b平面とはどのようなものなのかよくわかりません。

x-y平面ならわかるでしょうか？

一変数の関数z=f(x)のグラフというのは、水平にx軸、垂直にzをとり、
xの上の高さz=f(x)の位置に点を打ちます。
いろいろなxで点を打って行き、この点を集めると、x軸の上にf(x)曲線が描かれます。

これが二変数になるとz=f(x,y)となりx軸だけでは足りません。
そこで、x軸にもz軸にも垂直なy軸を追加し、
(x,y)の場所の上で高さがz=f(x,y)の位置に点を打って行くことになります。
この場合は同じように点を集めて行くと位置がxとyで指定されるので
曲線ではなく曲面になります。

このときのベースになっているx軸とy軸を含む平面がx-y平面です。

最小二乗法の場合は、そこの頁もそうであるように、多くの場合xとyは測定値に対して用いられます。このときには、x,yは既に測定で与えられているので変数ではなく(x1,y1), (x2,y2),・・・という定数になります。

そして変数として扱われるれるのは、いつもなら定数のはずのa,bの方なのです。
このため、Sの曲面を書くためにはa軸とb軸が必要なのです。そして、Sの曲面を書くためのベースとなるのが、上同様にa軸とb軸を含む平面で、この面がa-b面です。

＞b軸に垂直な断面でのSの振る舞いはなぜｂを固定することになるのでしょうか？

二次元のグラフを考えてください(通常のグラフ用紙を思い出してください。）
水平にx軸、垂直にz軸をとることにします。

そして、x軸に垂直な線を引きます。

さて、今引いたx軸に垂直な線上でxの値は変わるでしょうか？
一定でしょうか？

x,y,zの三軸を持つ場合も同様です。
今度はx軸に垂直な直線ではなく、x軸に垂直な平面になりますが、
上同様にこの平面上の全ての点でxは同じ値をとります。

この問題ではx,yがa,bと置き換わっていますが、全く同じことです。

補足

ありがとうございます。
＞そして変数として扱われるれるのは、いつもなら定数のはずのa,bの＞方なのです。このため、Sの曲面を書くためにはa軸とb軸が必要な＞のです

ここがよくわからないのですが、
ｘ軸とｙ軸はどうなるのでしょうか？

AB軸があってXYの軸はどうなるのでしょうか？

回答No.2

hitokotonusi

Sは質問文の中にあるページでくわしく説明されている残差二乗和ですが・・・
最小二乗法はこの残差二乗和を最小にするようにa,bを決める手続きです。

補足

ありがとうございます。
＞Sはa,b二変数の関数でa-b平面上に曲面を描きますが、

a-b平面とはどのようなものなのかよくわかりません。

＞『bを固定して』ということはb軸に垂直な断面でのSの振る舞いを、
＞『aを固定して』ならa軸に垂直な断面でのSの振る舞いを観察するこ＞とになります
b軸に垂直な断面でのSの振る舞いはなぜｂを固定することになるのでしょうか？
よろしくお願いします。

回答No.1

hitokotonusi

偏微分の考え方ですね。

Sはa,b二変数の関数でa-b平面上に曲面を描きますが、
『bを固定して』ということはb軸に垂直な断面でのSの振る舞いを、
『aを固定して』ならa軸に垂直な断面でのSの振る舞いを観察することになります。

補足

ありがとうございます。まず
ここでSとはどのようなものなのでしょうか？