複雑な制約条件を持つ目的関数について

質問

パターン認識で、最適化問題を解いています。
制約条件が複雑で、どのように目的関数に反映させればいいのか
調べているのですがなかなか解が見つからず困っています。
もし、ヒントでも教えていただけると大変助かります。

求めたいのは　軸の重み　W　とスラック変数　Z　です。

目的関数：　
Ｑ（Ｗ，Ｚ）＝１／２×クラスＡの重み＋Ａ以外の重みの総和×｛（コスト×ベクトルの総和）／入力データ｝×スラック変数の２乗

制約条件：
（軸の重みWと類似度を使った式）－（軸の重みＷと類似度を使った式）＝１－スラック変数Ｚ

ひとつの最適化問題を解くことで、ＷとＺ、二つの解を同時に得るためには、制約条件をどう反映させればいいでしょうか。
勉強していますが、まだまだ知識不足ですので、直接の解ではなくとも、
もしよい参考サイトがあればぜひ教えてください。
どうぞよろしくお願い致します。

回答No.1

masudaya · ベストアンサー

パターン認識はあまり知りませんが，
何となく式で記述できそうなので，
目的関数と制約条件を式で記述できるのであれば
ラグランジュの未定乗数法が使えるのではと思います.
たぶん，微積分の教科書に記載されていると思いますが,
目的関数から未定定数倍の制約条件を引き去ったものを
各変数で偏微分したものを0と置いた連立方程式をとくという形になります.

この名前で検索するとたくさん引っかかります.
適当にいくつか入れておきます.

参考URL：

http://szksrv.isc.chubu.ac.jp/lagrange/l1.html,http://www.neuro.sfc.keio.ac.jp/~masato/study/SVM/lagrange.htm

お礼

masudaya様

教えてくださってありがとうございました。
すぐに書きこんでくださったのに、お礼が遅くなりましてすみません。
ラグランジュの未定乗数、勉強します。
参考サイトもありがとうございました。
またわからないことがありましたらぜひ教えてください。