＜再度＞ 強化学習（Q-learning）について

質問

はじめまして。
以前質問させていただいたのですが、回答が０であっ
たため、再度質問させていただきました。
　どなたかすこしでも情報をお持ちの方がいらっしゃいましたら、何卒よろしくお願いいたします。
（自分で手当たり次第に調べてみても、見つからなか
ったので・・・・）
私は現在大学院の研究において専門外ながら、強化学
習(Q-learning)について調べている者です。
学習アルゴリズムについてはGAやEPなどでプログラム
を組んだ経験がある程度です。（あくまで、専門外です。）

以下の点についてご存知の方がいらっしゃいましたら、お聞かせいただきたいと思います。
Q-learningでは
「状態sで行動aをとったとき、確率的に状態がs'へと
遷移し、同時に確率的に報酬rが得られる。」
その後それらによってQ値を更新する。
　ということのようなのですが、このときの報酬rがそ
の後の行動の影響を受けてしまいかねないようなモデ
ルではQ-learningは使えないのでしょうか？
また、上記のようなモデルにおいて適したアルゴリズムをお知りの方がおられましたら、お聞かせいただけないでしょうか？
　よろしくお願いいたします。

回答No.1

daitchian · ベストアンサー

こんばんわ。

強化学習に関してはどのようなものかという程度しかかじったことがない者です。
ですので独り言程度と思ってください。

Q-learningでは受け取った報酬によってQ値を更新していくものですが、
現在の状態sとそのときの行動aのみではなく、それ以前のものについても報酬によってQ値が更新されます。

報酬はある目的を達成したときのみ与えられるものですので（一般的には）、以上のような原理を利用して迷路探索などに利用することができるのだと私は理解しています。

ですので、報酬の与えられる基準がその後の行動で変化するような場合には難しいのではないでしょうか？

最近ではマルチエージェント強化学習など複数のエージェントを利用したものや、上位下位という概念の入ったエージェントで強化学習を行うことがあるようです。
それらの方式を使えば可能なのかもしれませんが、現在の私の知識ではわかりかねますね。

答えになってないような気がしますが、
とりあえずやってみるってのはどうでしょうか？