最小自乗解

質問

(m×n)の行列、(n×1)のベクトルをそれぞれA、bとし、行列Aのランクをrとすると、このとき、連立方程式Ax = bの解が存在するための条件は何でしょうか？

また、そのときの解空間の次元について考察せよという意味が分かりません。一方、上記の方程式の解が存在しないときの最小自乗解は何でしょうか。

回答No.1

echoes_x86

こんばんは．

丸投げっぽいので，「回答だけ」書きます．
意味は自分で考えて下さい．

(1) Ax=b の解が存在する必要十分条件は
「bがAの列空間にあること」です．

(2)解空間の次元について．
(2-a) m>n，r=nでbがAの列空間にあれば，解空間の次元は零です．
これはAが零空間を持たないため，解が一意に定まることによります．
r<nであれば，Aは(n-r)次元の零空間を持つため，
その分だけ解空間の次元が増えます．
(2-b) m<nの場合はそもそもAに(n-m)次元の零空間があります．
解空間の次元はr=mであれば(n-m)=(n-r)，r<mであれば(n-m)+(m-r)=(n-r)です．
(2-a)，(2-b)をまとめると，
m>nかつn=rの場合は零．
それ以外は(n-r)．

(3)最小自乗解について
bをAの列空間への直交射影してAの行空間へ戻したものが(いわゆる)最小自乗解です．
ただし，Aが零空間を持つ場合は「最小自乗解」は無数にあります．