決定木の分岐条件について

質問

こちらのページの中盤より下辺りの事柄についてお聞きしたいことがございます。
http://www.teradata-j.com/library/ma/ins_1314b.html

「分岐に用いる判断としては、分岐前のノードと、分岐後のノードの情報量の差（情報利得: Information Gain）をとり、この値の大きい分類を採用しています」
と書かれておりますが、差が大きいとどの様な事が言えるのでしょうか？
私の考えとしては、分岐後は情報量の不純度が少なくなったので（分類していくにつれて純粋にするため）、親ノード情報量から分岐後の情報量を引くと値が大きくなると言う風に考察したのですが・・・

よろしくお願いいたします。

回答No.1

stomachman · ベストアンサー

見込み客を連れてきたとき、その人が買ってくれそうかどうかを、なるべく旨く予測したい。予測に使える判定基準A,B,C, ... のうち、どれを適用すべきか。
　この話に出てくる「予測性能の評価尺度」としての情報量は、
http://oshiete1.goo.ne.jp/qa4870476.html
と同じ事でして、判定基準A,B,C,...のうち予測性能が一番優秀なのはどれか、を情報量の総計（情報エントロピー）で測って比べているんです。
　で、ある判定基準を選んだとする。その判定基準で選抜した対象（顧客）に対して、さらに別の判別基準を適用して精度を上げよう、というわけで、ここでもまた情報エントロピーで予測性能を測って比べる。

お礼

ありがとうございました。