高端网站制作网站建设,广州建网站维护公司,网站建设要不要监理,网站软文得特点策略梯度方法
数学背景
给定一个标量函数 J ( θ ) J\left(\theta\right) J(θ)#xff0c;利用梯度上升法#xff0c;使其最大化#xff0c;此时的 π θ \pi_\theta πθ就是最优策略。 θ t 1 θ t α ∇ θ J ( θ t ) \theta_{t1}\theta_t\alpha \nabla_\theta…策略梯度方法
数学背景
给定一个标量函数 J ( θ ) J\left(\theta\right) J(θ)利用梯度上升法使其最大化此时的 π θ \pi_\theta πθ就是最优策略。 θ t 1 θ t α ∇ θ J ( θ t ) \theta_{t1}\theta_t\alpha \nabla_\theta J(\theta_t) θt1θtα∇θJ(θt)
标量函数 J ( θ ) J(\theta) J(θ)
就是上面提到的最优指标 J J J一般有以下几种定义 平均状态价值 v ˉ π ∑ s ∈ S d π ( s ) v π ( s ) E [ v π ( S ) ] \bar v_\pi \sum_{s\in\mathcal{S}}d_\pi(s)v_\pi(s) \mathbb{E}\left[ v_\pi(S) \right] vˉπs∈S∑dπ(s)vπ(s)E[vπ(S)] 如果 d d d与 π \pi π无关那么记 d π d 0 d_\pid_0 dπd0就Grid World问题由于状态价值 v v v是回报的期望考虑两种具体情况 起始在随机位置均匀考虑每个状态价值 d 0 1 / ∣ S ∣ d_01/|\mathcal{S}| d01/∣S∣起始在固定位置只考虑 s 0 s_0 s0状态价值即可 d 0 ( s 0 ) 1 , d 0 ( s ≠ s 0 ) d_0(s_0)1,\ d_0(s\neq s_0) d0(s0)1, d0(ss0) 如果 d d d与 π \pi π有关求解 d π T P π d π T d_\pi^TP_\pid_\pi^T dπTPπdπT得到 d π d_\pi dπ其中 P π P_\pi Pπ是在策略 π \pi π下的状态转移矩阵。此时如果一个状态经常出现对应的 d ( s ) d(s) d(s)就会变大。 平均瞬时奖励 r ˉ π ∑ s ∈ S d π ( s ) r π ( s ) E [ r π ( S ) ] \bar r_\pi\sum_{s\in \mathcal{S}}d_\pi(s)r_\pi(s)\mathbb{E}\left[r_\pi(S)\right] rˉπs∈S∑dπ(s)rπ(s)E[rπ(S)] 其中 r π ( s ) r_\pi(s) rπ(s)是agent在某状态按策略 π \pi π在动作空间中采取动作的瞬时奖励 r π ( s ) ∑ a ∈ A π ( s ∣ a ) r ( s , a ) r_\pi(s)\sum_{a\in \mathcal{A}}\pi(s\mid a)r(s,a) rπ(s)a∈A∑π(s∣a)r(s,a) 此定义与episode reward等价即当episode长度无限大时 s s s按 d π d_\pi dπ分布即 lim n → ∞ 1 n E [ ∑ k 1 n R t k ] ⟺ r ˉ π \lim_{n\to\infty}\frac{1}{n}\mathbb{E}[\sum_{k1}^{n}R_{tk}] \iff \bar r_\pi n→∞limn1E[k1∑nRtk]⟺rˉπ J ( θ ) J(\theta) J(θ)的梯度
上面两类指标函数的梯度都可以写成 ∇ θ J ( θ ) ∑ s ∈ S η ( s ) ∑ a ∈ A ∇ θ π ( a ∣ s , θ ) q π ( s , a ) ∑ s ∈ S η ( s ) ∑ a ∈ A π ( a ∣ s , θ ) ∇ θ log π ( a ∣ s , θ ) q π ( s , a ) E [ ∇ θ log π ( A ∣ S , θ ) q π ( S , A ) ] \begin{aligned} \nabla_\theta J(\theta) \sum_{s\in \mathcal{S}}\eta(s)\sum_{a\in \mathcal{A}} \nabla_\theta \pi(a|s,\theta)q_\pi(s,a)\\ \sum_{s\in \mathcal{S}}\eta(s)\sum_{a\in \mathcal{A}} \pi(a|s,\theta)\nabla_\theta \log\pi(a|s,\theta)q_\pi(s,a)\\ \mathbb{E}[\nabla_\theta \log\pi(A|S,\theta)q_\pi(S,A)] \end{aligned} ∇θJ(θ)s∈S∑η(s)a∈A∑∇θπ(a∣s,θ)qπ(s,a)s∈S∑η(s)a∈A∑π(a∣s,θ)∇θlogπ(a∣s,θ)qπ(s,a)E[∇θlogπ(A∣S,θ)qπ(S,A)] 其中 S ∼ η S\sim \eta S∼η A ∼ π ( a ∣ s , θ ) A\sim \pi(a|s,\theta) A∼π(a∣s,θ)
训练时使用随机近似的梯度 ∇ θ J ≈ ∇ θ log π ( a ∣ s , θ ) q π ( s , a ) \nabla_\theta J\approx\nabla_\theta \log\pi(a|s,\theta)q_\pi(s,a) ∇θJ≈∇θlogπ(a∣s,θ)qπ(s,a)
REINFORCE伪代码
