自动化控制（续）
一、强化学习控制
|
策略梯度 |
REINFORCE算法 |
目标：最大化期望回报J(θ) = E[∑_{t=0}^∞ γ^t r_t] 梯度：`∇θ J(θ) = E[∑{t=0}^∞ (∑{k=t}^∞ γ^k r_k) ∇θ log π_θ(a_t |
s_t)]<br>用蒙特卡洛采样估计梯度，更新θ ← θ + α ∇_θ J(θ)` |
基于整条轨迹的回报，方差大 可加基线减少方差：(∑_{k=t}^∞ γ^k r_k – b(s_t)) b(s_t)是基线，如值函数估计 |
|
优势执行器-评论家(A2C) |
用优势函数A(s,a)=Q(s,a)-V(s)代替TD误差 更新 |
