ロジスティックとニューラルネットワークの違い

質問

ロジスティック回帰分析とニューラルネットワークの明確な違いを説明できる方がおられましたら、教えていただけないでしょうか。

ニューラルネットワーク（多層構造＆バックプロパゲーション）も中間層での計算は、ロジスティックなので、考え方によっては2重、3重のロジスティックと考えられないこともないと思うのですが・・・（慣性項は含まれていますが）。

回答No.1

goma_2000 · ベストアンサー

Nueral Networkの中間層がシグモイド関数かどうかはロジスティック回帰とは関係ありません。

-----ロジスティック回帰-----
ロジスティック回帰では目的変数(y=ax+bのyのこと)に0-1の値をとる場合の回帰分析です。
その際に、ロジスティック回帰は目的変数が確率のロジット変換（シグモイド関数での変換）であるとして解きます。又その際の尤度として２項分布から求めた尤度を用います。（最小２乗誤差ではなく）

-----Neural Network-----
一方、Neural Networkでも同様の事が行えます。これは中間層ではなく、出力層の関数と目的関数の定義の仕方で決まります。
出力層の関数をシグモイド関数とし、目的関数に２項分布の対数尤度を用いることで同様の事が行えます。
恐らく、通常は出力層の変換関数は何もせず、目的関数を最小２乗誤差で解いているのでこのような疑問が出るのではないでしょうか。パターン認識などではシグモイド関数やソフトマックス関数などを用いて変換し、２項分布や多項分布の対数尤度を目的関数にします。

-----違い-----
明確な違いは、目的関数側ではなく、y=f(x)の関fが線形関数（ロジスティック回帰）か非線形関数（Neural Network）かという違いになります。