ニューラルネットの重みとバイアス

質問

ニューラルネットの重みとバイアスの違いを教えてください。
重みづけは言ってみれば、ニューロンの興奮のしやすさみたいなものと思っていたのですが、バイアスが閾値のようなものであるという記述を読み、混乱しています。申し訳ありませんがニューラルネットやAIについては限りなく素人なので、なるべく平易に教えていただけると助かります。

回答No.3

foomufoomu

一般的な言葉づかいの話ですが、
「重みづけ」といった場合は、特定の個体を重要視するような意味で個体ごとに値を設定するのに対し、
「バイアス」といった場合は、全体的に（あるいはある範囲のグループに対して）値を偏らせる意味で、広く同じ値を設定するとき使うことが多いです。

ニューラルネットは概念程度しか知りませんが、
「重みづけ」はシナプスの結合の強さを表したもので、学習によって、シナプスごとにその値が変化していく(これがニューラルネットにおけるプログラミング)のに対し、
「閾値」は脳細胞の感度のようなもので、基本的に変化しません。
「バイアスをかける」のは、「もしも脳細胞の感度がもう少しよかったら」といった実験をしている場合じゃないでしょうか。
（1番の回答とだいたい同じ内容のはずです）

回答No.2

Tann3

ニューラルネットに詳しいわけではありませんが、一般論として。

　ニューラルネットでの１～Ｎの入力（ｘｉ＝ｘ１～ｘＮ）→1個の出力（ｙ）の伝達関数は、

　　　　y = H Σ( ai・xi + bi ) 　　　（１）

と書けるようです。（特にニューラルネットに限らず、多入力・一出力の物理系なら、このように書けるものが多い）
　ここで、Hは「ヘビサイドの階段関数」という、H(x) のxが正ならH(x)=1、xが負ならH(x)=0 となる関数。

（たとえば下記のｐ－８参照）
http://www.cbrc.jp/~asai/LECTURE/H16SeitaiJouhouRon/NN_learning.pdf

　（１）式で、各入力xiに対する係数aiが「重み」です。加算するときに「大きく寄与する」か「ほとんど寄与しない」かを決定するものです。

　また、（１）式の Σ(bi ) に相当するものが「バイアス」になります。各入力xiがゼロの時にも、「バイアス」分の出力が出るということです。
　Σ(bi ) が負の値の場合には、Σ(ai・xi)がある程度の正の値にならないと、Σ( ai・xi + bi )は正になりません。その意味で、y はある一定のΣ(ai・xi) の正の値以上でないと出力が出ないので（それが「ヘビサイドの階段関数」の機能）、その値を「しきい値」と呼ぶわけです。

　簡単のために、１入力・１出力の

　　　　y = a・x + b 　　　（２）

を考えれば、「a」が「重み」、「b」が「バイアス」と言ってよいでしょう。「b」を「しきい値」と呼ぶときには、

　　　　y = a・x － b 　　　（３）

と書くのが一般的でしょう。

回答No.1

rabbit_cat

ニューラルネットワークとうのは、多数のニューロンがエッジで繋がっているモデルですが。
重みというのはエッジ毎についているのに対して、バイアスはニュー毎についています。

お礼

早速のご返答を有難うございます。ただ新たな疑問が・・・。
エッジというのはコネクション、よくあるニューラルネットの図でいう〇と〇をつなぐ線のことと思って良いですか？〇のことをノードとかとも言いますよね。

重みとはひとつのノードに対していくつの入力があるかということ？ノードの興奮を制止するメカニズムがない限り、入力が多ければ多いほどノード（ニューロン）は興奮しやすいということですか？

ただ学習が進むと、コネクションの線が太くなったり、細くなったり、点線になったりするような図説も見たこともあります。これだとrabbit catさんのご指摘のような、いってみれば特定のノードから特定のノードの結びつきが強くなった、いってみれば信号が強くなったことに思います。これだと重みとはノードとノードの結びつきが強くなったことになりますよね。実際のニューロンでいえばより特定のニューロンからの入力に依存するようになるということと解釈して良いですか？

ニューとはニューロンのことですよね。なのでバイアス（閾値？）は、特定のノード（ニューロン）の興奮のしやすさの状態、つまりどのくらいの強さの入力があると興奮して、インパルスが生じ、より上位（あるいは下位ないし同位）の別のノード（ニューロン）に出力信号を出すか・・・という理解でよろしいですか？

お忙しいところ申し訳ありません。もう少し助けてください。あと、本当に門外漢でもわかるニューラルネットについての和書というのはあるのでしょうか？