1
$ \ begingroup $

我正在努力学习强化学习,我专注于价值迭代。我正在研究网格世界的例子,我试图在Python中实现它。在这样做的同时,我遇到了我必须为代理设置奖励的情况,而是看理论,我发现每个状态也有一个值,它是使用值迭代找到的值。

所以,我的怀疑是:给定状态的奖励和价值之间有什么区别?如果状态的初始值始终设置为等于零?

新贡献者
DCR.是这个网站的新贡献者。注意要求澄清,评论和回答。必威电竞看看我们的行为守则
$ \ endgroup $
1
  • $ \ begingroup $ 这里这里是两个相关的问题。必威英雄联盟 $ \ endgroup $-nbro. 12月19日12:09

2个答案2

3.
$ \ begingroup $

从奖励开始,各国没有一般奖励。奖励是MDP的某一步骤返回的数字。如果你在整个时间内排列序列的东西$ s,a,r,s'$对于国家,行动,奖励,下一个州,那么奖励$ r $被允许依赖三个$ s,a,s'$,它也可以是来自实数的随机分布,而不仅仅是单个数字。

无论如何都可以将单个数字奖励与每个状态相关联,以便离开该状态(当它是什么时候$ s $或者$ s_t $在序列)或到达它(当它是时$ s'$或者$ s_ {t + 1} $)。应将奖励分配,符合解决问题。它们是问题定义的一部分。

状态值是一种测量处于状态的长期效益的方法,通常是作为解决方案的一部分计算的。状态值的正式定义如下所示:

$$ _ {\ pi}(s)= \ mathbb {e} _ {\ pi} [\ sum_ {k = 0} ^ {\ idty} \ gamma ^ k r_ {t + k + 1} |s_t = s] $$

英文:“从给定国家和特定政策开始时,所有未来奖励的预期折扣总和。”折扣金通常称为返回或与国家相关的实用程序。

给定状态的奖励和价值之间有什么区别?

状态值由许多奖励组成,其在未来发生的概率增加。它是可以用于做出决策的可能期货的有用摘要。

如果状态的初始值始终设置为等于零?

不一定,但零是一个合理的默认,如果你没有别的事情继续。替代品包括:

  • 最好的猜测真实值(可能是从某些先前的解决问题的尝试)。这可能提高收敛速度,这取决于猜测的好处。

  • 随机值 - 如果您使用神经网络,可能会发生这种情况。

  • 乐观值。这是提高较小问题探索的技巧 - 如果您将高于最佳界限的值高于最佳界限,那么贪婪或近乎贪婪的政策之后的代理将尝试在某些时候达到相关状态,即使是其他结果已经比默认值更低。

$ \ endgroup $
    3.
    $ \ begingroup $

    给定状态的奖励和价值之间有什么区别?

    让我们说一个代理人从州采取行动$ a $到达状态$ b $并得分$ r $。这个瞬间评分在到达状态下收到的代理商$ b $被称为报酬

    现在,让我介绍你的概念返回。假设代理遵循特定的轨迹:

    1.状态1  - >行动1 2.奖励1,状态2  - >行动2 3.奖励2,状态3  - >行动3 ......奖励N-1,状态n(终止)

    返回(通常表示$ g $)通过从国家州1和遵循策略开始获得所有奖励的总和。

    那么,定义返回

    $$ g(s_1)= r_1 + r_2 + r_3 + ... = \ sum_ {i = 1} ^ {\ infty} r_i $$

    有时(最常)这些序列从未终止过,所以我们包括折扣因素(希腊字母伽玛,$ \ gamma $)将来获得的奖励。

    折扣回报的定义$ g $

    $$ g(s_1)= r_1 + \ gamma r_2 + \ gamma ^ 2 r_3 + ... = \ sum_ {i = 1} ^ {\ infty} \ gamma ^ {i-1} r_i $$

    $ \ gamma $是一个数字$ 0 $.$ 1 $:它定义了代理给长期奖励的重要性。为了较小的价值$ \ gamma $,短期奖励提供更多重要性。

    现在,回到你的问题。国家的价值是预期收益对于从该状态开始并遵循特定策略的代理。在随机政策的情况(具有固有的随机性的策略)和/或具有随机转换概率和/或随机奖励的环境的情况下,该值是(所有轨迹的返回乘以乘坐该轨迹的概率)的总和。

    如果状态的初始值始终设置为等于零?

    没有必要,零初始化是初始化的许多方法之一。随机初始化是另一种方法。这取决于环境设置。

    $ \ endgroup $
    0.

      你的答案

      DCR.是一个新的贡献者。很好,看看我们的行为守则

      点击“发布答案”,您同意我们的同意服务条款隐私政策Cookie政策

      不是您要找的答案?浏览其他标记的问题必威英雄联盟或者必威电竞问你自己的问题