非線形最小二乗法の説明で使われている表記

質問

非線形最小二乗法をNewton法やGauss-Newton法で実現するべく
何とか理解してプログラムを組む必要があるのですが（理論的なところが分かればプログラミングの腕としては問題ないです）
色々な文献を当たっている最中でも見かけた表記があり、またこちらでも使われている数学記号や文（というか用語？）の意味がところどころ分かりません。

http://www.kimura-lab.net/wp-content/uploads/2012/05/nonlinearls1.pdf

(1)、(2)の『||』は絶対値記号なのでしょうか？もしそうだとすると、なぜ２重になっているのでしょうか？（複素数対策・・・？）

(3)の直前の
『互いに独立な正規分布の誤差σ を持つデータ(xi, ti)』というのはどういう事なのでしょうか？
誤差σ があるけど、おおよそ互いに独立な正規分布を持つデータ(xi, ti)・・・ということ？
それともデータの誤差σが正規分布に従っている、互いに独立なデータ(xi, ti)・・・ということでしょうか？（式の意味が分かればそれも自明なのかもしれませんが）

上の説明でfは関数だったと思うのですが、ヤコビ行列の偏微分の表記形式にならってか(3)の式ではfi(何々)のように、括弧が付いていません。偏微分記号もなしですが、これはどういう意味になるのでしょうか？

また、唐突に出てきたyiとは、元データ（近似式としての関数からみたら誤差込みの数値）ということでいいのでしょうか？

(4)の、引数リスト( x1 + Δx1, … , xn +Δxn)の右下のt=t1って何なのでしょうか？

(5)も｜の右下にt=t1と書いてありますが、この場合の｜は、分母のみにかかっているように見えるのを防ぐため、全体にt=t1の効果がある、と言う事を示している…という意味なんでしょうか？（それしか予想が出来ませんでした）

まずはここまでで…分かる方意味を教えて下さい。

（数学の表記ってもともと検索が難しく、さらに特定の分野で慣例として使われてるような数学記号はもっと検索が難しいと思うのですが、その良い対処法があったら、今後役に立つかもしれないので、それも知りたいです。）

回答No.4

Tacosan · ベストアンサー

(1), (2) は
http://ja.wikipedia.org/wiki/%E3%83%8E%E3%83%AB%E3%83%A0

(5) は
http://ja.wikipedia.org/wiki/%E5%BE%AE%E5%88%86%E6%B3%95

(4) も縦棒を入れた方が安全かもしれない (なくても意味は分かるけど).

お礼

おお！ありがとうございます♪

これはちょっと見つけられなかった可能性大な気がします。
ってことは、そんなに重大に引っかかってるべき箇所じゃなかったっぽいですね。
(8)あたりで正方行列以外の事について考慮されてるのでちょいと複雑になっていますが

少なくとも正方行列で線形関数での逆行列の計算に対しては
画像処理ソリューションを見てごしゃごしゃやってて、コードも出来てたのですが
http://imagingsolution.blog107.fc2.com/blog-entry-15.html

ここまでのところざっと見でそれほど遠い感じではなさそうなのと
エクセルVBAによる～なサイトの中の、こちらで
http://www.geocities.jp/tomtomf/sai2hou/sai2hou.htm

概要がざっと捉えられる感じの説明をコード・試験データ・フィッティング関数・結果付きで書いてくれてるのを発見したので…

私はC、C++、C#あたりなら読めるのですが、VBAは全然詳しくない…のですが、ぱっと見だいたいの事は予測出来そうに見えるのと、数学記号と比べて分からなくても検索しやすいので、多少メインのC＋＋への翻訳に時間はかかるかもしれませんが、これからちょいと実際のコードやデータにフィッティングを試してみようと思います。（ただ、注意点として、当てはめる式は解析的に偏微分出来ない限り数値微分が必要になる…ぽいですね。）

WorksheetFunction絡みは行列計算っぽいので何とかなると踏んでますが、万が一また不明な点がありましたら近々質問しに来るかもしれません。

重ねて、ありがとうございました。

回答No.3

Tacosan

ぶっちゃけ (3) のところは「書いた本人に聞け」としかいえない.

他はさほど特殊じゃないよ. 線形代数とか微積分ではふつ～に出てくる表現.

お礼

あ、やっぱそうなんですか( (3)について ）
どうもありがとうございます♪

他についてですが、それなら根気をいれて調べればそれほど難なく分かるようになる…かもしれませんね。

ただ、４や５の『右下のt=t1』と５の｜
について、よろしければ調べられそうなキーワードかなにかを教えていただけないでしょうか？

回答No.2

ur2c

> 既存のプログラムの使い方だけ理解したところで

目的に合わせた改造には当然，source code の内容を理解する必要があります．「使い方だけ」なんて誰が言ったのでしょうね．

> 既存の名作って例えば何でしょうか？

たとえば R を立ち上げて

?? nlm

とすれば source code も download できるし，文献も載ってます．他にもいろいろあります．

＞ 教科書と言われるのは、例えば何でしょうか？

たとえば上記文献は教科書です．程度が高すぎるなら Amazon あたりで検索してください．

> ネットでピンポイントに調べていった方が

散弾銃を pinpoint で撃つとは，普通は言いません．

お礼

情報どうもです。

その前に、改造なんて誰が言ったんでしょう？（大抵いつもそうだったように、この部分についても極力０から理解して０から自力で書き、数年がかりのプログラムのほんの一部として、これを組み込み実験していく予定だったため）

それはまぁいいとして

Rとはこれの事ですか？
http://aoki2.si.gunma-u.ac.jp/R/

違いますか？

ソースが読めるなら動作原理を把握するのは数式だけより幾分楽そうではありますが、先に確認しておきます。

＞たとえば上記文献は教科書です．程度が高すぎるなら Amazon あたりで検索してください．

そういうことは質問前でもすぐに思いつく事ですから、その先の事が知りたいですね。そうじゃないとあまり意味がありません。
※つまり、上記内容に触れている、あるいはNewton法やGauss-Newton法などについて（も）より直接的に解説している具体例。

＞散弾銃を pinpoint で撃つとは，普通は言いません．

それは、私が知らない事が良い感じに集約されてる例がちょうどあったから、利便性としてそれを提示しつつ質問した

そういう可能性も考慮せずこういう事を書いた、と言う可能性はありますね。

もしそうであるなら滑稽な文ではあります。
（いずれにしてもこの文によって状況が改善されてはいません。）

ていうか、上記内容が分かるんならズバッと教えていただきたいものですが。やっぱ分かんないでしょうか？

回答No.1

ur2c

> 非線形最小二乗法を [...] 何とか理解してプログラムを組む必要がある

なぜですか？

非線形最小二乗法の program は既にたくさんあります．それらを理解するだけでは済まない理由があることになりますけど，目的によってやり方が違います．たとえば， license の制約から逃れたいのか．安価な chip に組込みたいのか．問題の特殊性を利用して高速化したいのか．いずれにしろ，大概は既存の名作から出発するのが，巨人の肩に乗っかれて，早道です．

> 数学記号や文（というか用語？）の意味がところどころ分かりません

ところどころ，ですかぁ？ 記号の裏には理論があります．基礎や記号の説明も書いてある教科書を一冊読んだ方が能率が良いかと．

お礼

あ、ご回答ありがとうございました。

補足

＞なぜですか？

応用が必要な状況だからです。既存のプログラムの使い方だけ理解したところで、原理を理解しない事には数学的な応用が出来ません。
既存の名作って例えば何でしょうか？

＞教科書を一冊読んだ方が能率が良いかと．

それが何かにもよります。自分の分からない点だけがピンポイントで列挙されている本ならいいですが、確率は低いと思います。
今までの実績上、こういう場合はネットでピンポイントに調べていった方が早い確率が高かったです。

教科書と言われるのは、例えば何でしょうか？

とりあえず、ur2cさんは上記内容は分からないという事でよろしいですか？（申し訳ありませんが、内容も参照すべき文献も明示できない場合だと『教えて！goo』の存在意義がなくなるやりとりになる可能性がありますので、そういった返信は不要です。）