ロジスティックとニューラルネットワークについて

質問

例えば、疾患の有・無の予測をロジスティックとニューラルで行ったとします。このとき、ニューラルの方が有意に精度が高かった場合、その理由（理論的根拠）はどのようなものが考えられるのでしょうか？
また、逆にロジスティックの方が精度が高かった場合の理由はどのようなものなのでしょうか？
知っておられる方がいましたら、よろしくお願いします。

回答No.1

stomachman · ベストアンサー

一言で言えば、「相性の問題」でしょうね。
　ロジスティック回帰分析の結果得られるのは、「多数の種類の測定値にそれぞれどんな重みを付けて総和を取り、ロジスティック曲線に放り込めば良いか」ということですから、丁度、標準的なANN(Artificial neural network)のニューロン１個が持つinput/outputの関係と同じです。
　さて、ロジスティック回帰分析の方がANNよりも性能が悪かったとしたら、そりゃあ、現象とロジスティック回帰分析のモデルが合ってないから、もっと複雑なモデルが必要だったんだということでしょう。逆に、ANNの方がロジスティック回帰分析よりも性能が悪かったとしたら、ANNの構造が凝りすぎで、学習が収束するに足るだけ多量のデータがなかった、だとか、過剰学習をしてしまって特殊な例外の影響を受けすぎている、だとかの言い訳が考えられるだろうなあ。
　いずれにしても、こりゃ「結果論」を言ってるだけです。もしも、シミュレーションで（つまりある既知の規則に従って生成されたデータを使って）両者を評価した、というのなら「理論的根拠」を論じる意味もあるでしょうけれど、生成メカニズムがヨクワカラン実験データを使ったんじゃ「たまたまそういう性質をデータが持っていた」以上の意味のあることは言えないでしょう。

お礼

ありがとうございました。

回答No.2

goma_2000

Neural Networkのほうがよかった場合の理由は簡単で、No.1さんの言われるとおり、ロジスティック回帰では線形問題しか扱えないので、問題が非線形性を示している可能性があります。
ロジスティック回帰では、ある変量が増加した時の出力の振る舞いは単調増加ですが、もしある点を境に減少するようなことがあれば上手くフィッティングできません。

逆にNeural Networkのほうが悪かった場合、これは難しいですね。No.1さんの言われるように、結果論になってしまいます。
が、それを分った上で、どの様な可能性が考えられるかということですが、ロジスティック回帰とNeural Networkでは解の求め方が違います。Neural Networkには常に局所解の問題がありますので、変な局所解に落ち着いてしまっている可能性があります。

お礼

ありがとうございました。