ベクトルによる微分

質問

（１）
あるスカラー a(1×1) をベクトルb (k×1) で微分するときに　　※（　）内は行列のサイズです※

da/db = [da/db_1, da/db_2,....da/db_k]'

というように一階の導関数ベクトルができますが、講義資料によりますと、このときの導関数ベクトル（正式な呼び名は知りませんが）のサイズは、bと同じ、つまり (k×1)の列ベクトルになるとなっています（上野表記に転置記号をつけたのはそのためです）。
(1×ｋ）の行ベクトルにしないことに理由はあるのでしょうか？　それともbに合わせると決まっているだけと考えてよいのでしょうか？

（２）
また、(n×1)のベクトルaを、(k×1)のベクトルbで微分することを考えた場合に、

da/db　は (n×k)で定義されることについてはどうでしょうか？　これも決まりと思って良いのでしょうか？

（３）
最後に、(n×m)の行列Aを(k×1)のベクトルbで微分する、というような場合に、どのようなサイズのどのような行列になりますか？　またはそもそもそういうことを考えますか？

回答No.1

eatern27

(2)
n×kの行列としているのは、多分、Frechet微分を念頭に置いているのだと思います。

ベクトル空間からベクトル空間への写像fについて、
f(x+y)-f(x)=Ａy+o(y)|y|
となるような線型写像Ａをfの(xにおける)微分(Frechet微分)と呼ぶ事があります。

このＡは、δf/δxなどとかかれる事もあります。

fがk次ベクトル空間からn次ベクトル空間への写像であれば、Ａはｋ次ベクトル空間からn次ベクトル空間への線型写像という事になります。従って、ある基底で表現すれば、ｎ×ｋの行列になります。

(1)
このFrechet微分では、da/dbはむしろ、ｋ×１の行列ではなく、１×ｋの行列で書かれる事が分かります。

ただ、１×ｋのベクトルとして書いておくと、
δa=a(b+δb)-a(b)=(δa/δb)・δb
のようにベクトルの内積とい分かりやすい形でかけます。だから(他にも理由はあるかもしれませんが)、１×ｋのベクトルとしているのだと思います。
ま、(x,y)という内積は、xを転置して書けば行列の積と同じように扱えますから、大した違いではなありませんが。

(3)
例えば、行列の各成分を縦一列に並べれば、nm×1のベクトルと同一視できますので、(2)と同じ状況です。