DDPG 深度解析：确定性策略梯度 DPG 原理，连续动作空间强化学习开山算法

一、前言：连续动作空间的算法困境与DDPG的诞生

强化学习算法在离散动作空间（如Atari游戏）取得了巨大成功，但现实世界中绝大多数控制任务都属于连续动作空间：机器人关节角度、车辆速度与转向、机械臂抓取力度等，这些动作都是连续取值的实数向量，无法用传统DQN算法直接处理。

1.1 传统算法的三大核心局限

1.2 DDPG的历史地位与学术背景

DDPG（Deep Deterministic Policy Gradient，深度确定性策略梯度）是连续动作空间强化学习的开山之作，它成功解决了上述所有问题，首次将深度神经网络应用于高维连续控制任务，取得了比肩传统规划方法的效果。

DDPG的理论与实现源自两篇里程碑式论文：

• 理论基础：2014年David Silver等人，ICML《Deterministic Policy Gradient Algorithms》，DPG定理理论奠基；
• 工程落地：2015年Lillicrap等人，ICLR2016《Continuous Control with Deep Reinforcement Learning》，提出完整DDPG。

二、理论基石：确定性策略梯度(DPG)定理

DPG定理是DDPG算法的核心，它证明了确定性策略也可以计算梯度，并且梯度形式比随机策略梯度更简单、采样效率更高。

2.1 符号定义与基础概念

• $\mathcal{S}$：状态空间；$\mathcal{A}$：连续动作空间 $\mathcal{A}\in {\mathbb{R}}^n$
• 确定性策略：${\mu }_{\theta }:\mathcal{S}\to \mathcal{A},a={\mu }_{\theta }(s)$，$\theta$为策略网络参数
• $V^{\mu }(s)$：状态价值；$Q^{\mu }(s,a)$：动作价值；${\rho }^{\mu }(s)$：策略$\mu$诱导的稳态状态分布

2.2 随机策略梯度(SPG)回顾

$${\nabla }_{\theta }J({\pi }_{\theta })={\mathbb{E}}_{s\sim {\rho }^{\pi },a\sim {\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)\cdot Q^{\pi }(s,a)\right]$$

缺点：期望包含状态+动作双重采样，采样量大、梯度方差高。

2.3 确定性策略梯度(DPG)定理

∇θJ(μθ)=Es∼ρμ[∇θμθ(s)⋅∇aQμ(s,a)∣a=μθ(s)]
\\nabla_\\theta J(\\mu_\\theta) = \\mathbb{E}_{s \\sim \\rho^\\mu} \\left[ \\nabla_\\theta \\mu_\\theta(s) \\cdot \\nabla_a Q^\\mu(s,a) \\bigg|_{a=\\mu_\\theta(s)} \\right]
∇θ​J(μθ​)=Es∼ρμ​[∇θ​μθ​(s)⋅∇a​Qμ(s,a)​a=μθ​(s)​]
推导链式法则：
$${\nabla }_{\theta }J={\mathbb{E}}_s\left[{\nabla }_{\theta }Q(s,{\mu }_{\theta }(s))\right]={\mathbb{E}}_s\left[{\nabla }_{a}Q{|}_{a=\mu (s)}\cdot {\nabla }_{\theta }\mu (s)\right]$$

2.4 DPG与SPG对比

三、DDPG算法核心架构：DPG+DQN工程技巧融合

DDPG在DPG理论之上引入经验回放、双目标网络、软更新，经典Actor-Critic四网络结构。

3.1 Actor-Critic双主网络

• Actor(${\theta }^{\mu }$)：策略网络 $a=\mu (s)$，优化目标：最大化$Q(s,\mu (s))$；
• Critic(${\theta }^Q$)：价值网络 $Q(s,a)$，拟合真实动作价值，用TD损失训练。

作用：真正在学习、不断更新的网络
Actor 主网络：输出动作，并不断被策略梯度更新，学得越来越好。
Critic 主网络：评估动作好坏，并不断被 TD 误差更新，学得越来越准。

3.2 双目标网络+软更新

目标网络：${\theta }^{{\mu }^{\prime }},{\theta }^{Q^{\prime }}$，用于稳定目标Q值计算，软更新而非周期硬拷贝：
$$\begin{gathered} {\theta }^{{\mu }^{\prime }}\leftarrow \tau {\theta }^{\mu }+(1-\tau ){\theta }^{{\mu }^{\prime }} \\ {\theta }^{Q^{\prime }}\leftarrow \tau {\theta }^Q+(1-\tau ){\theta }^{Q^{\prime }} \end{gathered}$$
$\tau \ll 1$（常用$0.001$），目标参数平滑缓慢变化。
作用：有一个 “不动” 的网络来计算目标 Q 值
目标 Actor网络 计算下一状态动作：$a^{\prime }={\mu }^{\prime }(s^{\prime })$
目标 Critic 网络计算目标 Q 值：$y=r+\gamma Q^{\prime }(s^{\prime },a^{\prime })$

3.3 经验回放池ReplayBuffer

存储$(s,a,r,s^{\prime })$离线样本，随机批次采样，打破时序相关性，DDPG为Off-Policy离线算法。

3.4 动作噪声实现探索

确定性策略本身无随机性，需外加噪声实现探索：
OU奥恩斯坦-乌伦贝克噪声（时序相关噪声，适配连续物理控制）
$$d{x}_t=\theta (\mu -x_t)dt+\sigma d{W}_t$$

公式符号详解

• $x_t$：表示t时刻的噪声值，是最终输出的噪声信号，会直接叠加到Actor网络输出的动作上。
• $\theta$：均值回复速度，典型取值为0.15，控制噪声回到长期均值的快慢，数值越大，噪声的波动越剧烈。
• $\mu$：长期均值，DDPG中固定为0，是噪声围绕其波动的中心值。
• $\sigma$：噪声幅度，典型取值为0.2，控制噪声的整体大小，直接决定了探索的强度。
• $d{W}_t$：维纳过程（布朗运动）增量，是公式中的随机源，满足$d{W}_t\sim \mathcal{N}(0,dt)$，即服从均值为0、方差为dt的正态分布。

公式两项的本质含义

四、DDPG完整数学损失与训练流程

4.1 损失函数

（一）Critic损失（MSE TD-loss）

$$L({\theta }^Q)=\frac{1}{N}\sum _{i=1}^N[y_i-Q(s_i,a_i;{\theta }^Q){]}^2$$
$y_i$ 不是直接来自经验回放池，它是一个计算生成的目标值，但它的基础数据确实来自经验回放池。

（二）Actor策略梯度损失（最大化Q等价最小化负期望）

$$L({\theta }^{\mu })=-\frac{1}{N}\sum _{i=1}^{N}Q(s_i,\mu (s_i;{\theta }^{\mu });{\theta }^Q)$$

• $L({\theta }^{\mu })$：Actor网络的损失函数，仅用于更新Actor参数 ${\theta }^{\mu }$
• $-\frac{1}{N}{\sum }_{i=1}^N$：对批量样本求平均后取负，负号实现"最大化转最小化"的工程转换
• $s_i$：从经验回放池采样的第i个状态，来自真实环境交互数据
• $\mu (s_i;{\theta }^{\mu })$：Actor网络根据状态$s_i$输出的动作，由当前Actor参数决定
• $Q(\cdot ;{\theta }^Q)$：主Critic网络对状态动作对的价值评估。计算Actor损失时，Critic网络参数${\theta }^Q$完全固定，不参与梯度更新

梯度：

∇θμJ≈1N∑i=1N∇aQ∣a=μ(si)⋅∇θμμ(si)
\\nabla_{\\theta^\\mu}J\\approx \\frac1N\\sum_{i=1}^N \\nabla_a Q\\big|_{a=\\mu(s_i)}\\cdot \\nabla_{\\theta^\\mu}\\mu(s_i)
∇θμ​J≈N1​i=1∑N​∇a​Q​a=μ(si​)​⋅∇θμ​μ(si​)

$${\nabla }_{{\theta }^{\mu }}J={\mathbb{E}}_s\left[\frac{\partial Q(s,a)}{\partial a}\cdot \frac{\partial a}{\partial {\theta }^{\mu }}\right]$$
其中 $a=\mu (s;{\theta }^{\mu })$。

∇θμJ≈1N∑i=1N[∇aQ(si,a)∣a=μ(si)⋅∇θμμ(si;θμ)]
\\nabla_{\\theta^\\mu} J \\approx \\frac1N \\sum_{i=1}^N \\left[ \\nabla_a Q(s_i,a) \\bigg|_{a=\\mu(s_i)} \\cdot \\nabla_{\\theta^\\mu} \\mu(s_i;\\theta^\\mu) \\right]
∇θμ​J≈N1​i=1∑N​[∇a​Q(si​,a)​a=μ(si​)​⋅∇θμ​μ(si​;θμ)]

梯度公式由两个部分相乘组成，各自有非常直观的物理意义：

两者相乘的结果：就是Actor参数的更新方向，让动作朝着"能获得更高Q值"的方向调整，最终实现最大化期望回报的目标。

4.2 DDPG算法训练步骤

五、超参数推荐与训练排错

5.1 通用超参

5.2 常见问题

六、DDPG优缺点与适用场景

6.1 优点

6.2 缺点

6.3 适用场景

机械臂控制、小车倒立摆、自动驾驶转向调速、连续型赛车游戏等中低维连续控制。

七、后续衍生算法演进

• TD3：双Critic抑制过估计、Actor延迟更新，DDPG工业优化版；
• SAC：最大熵+随机策略，鲁棒性更强、少调参；
• D4PG：分布式+分布价值+N步回报，面向大规模复杂控制。

八、总结

DDPG依托DPG确定性策略梯度理论，结合DQN经验回放与目标网络，奠定现代连续动作强化学习的基准架构。虽原生缺陷较多，但仍是学习TD3、SAC等进阶算法必不可少的前置基础。