部分可观测马尔可夫决策过程（POMDP）入门：概念、理论与优化方法

部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）是强化学习中处理智能体无法直接观测环境完整真实状态场景的核心理论框架。现实中绝大多数决策问题都属于部分可观测场景：机器人仅能通过传感器获取局部信息、自动驾驶依赖有限的感知数据、棋牌游戏中对手手牌不可见等。POMDP 在标准 MDP 的基础上引入观测不确定性，能够建模更贴近真实世界的决策问题。

一、基本概念：从 MDP 到 POMDP

1. 核心动机：MDP 的局限性

标准马尔可夫决策过程（MDP）假设智能体在每一步都能获得完整、无噪声的环境状态，策略只需基于当前单步状态即可做出最优决策。但真实场景中，智能体往往只能获得环境的局部、噪声观测，无法直接得知真实状态，此时 MDP 框架不再适用，需要 POMDP 来建模这种 “状态不可知” 的不确定性。

2. POMDP 形式化定义

2. POMDP 形式化定义

POMDP 由一个七元组 $⟨S,A,O,T,R,Z,\gamma ⟩$ 构成，我们结合经典入门案例 \\\\ 老虎问题（Tiger Problem）\\\\ 逐一解释：

• **状态集合 **$S$：环境所有可能的真实状态，智能体无法直接观测。在老虎问题中，包含老虎在左门 $s_L$、老虎在右门 $s_R$，共 2 个状态。

• **动作集合 **$A$：智能体可执行的所有动作。在老虎问题中，包含开左门、开右门、听声音（探测），共 3 个动作。

• **观测集合 **$O$：智能体执行动作后能接收到的观测信号。在老虎问题中，包含听到老虎在左、听到老虎在右，共 2 个观测。

• **状态转移函数 **$T$：定义为 $T(s^{\prime }|s,a)=P(s^{\prime }\mid s,a)$，表示在状态$s$执行动作$a$后转移到$s^{\prime }$的概率。在老虎问题中，「听」动作不改变状态；开门后回合重置，状态随机初始化。

• **奖励函数 **$R$：定义为 $R(s,a)$，表示在状态$s$执行动作$a$获得的即时奖励。在老虎问题中，开对门（无老虎）获得 + 10 奖励，开错门（有老虎）获得 – 100 惩罚，听声音消耗 – 1 奖励。

• **观测函数 **$Z$：定义为 $Z(o|s^{\prime },a)=P(o\mid s^{\prime },a)$，表示执行动作$a$到达状态$s^{\prime }$后，得到观测$o$的概率。在老虎问题中，「听」动作有 85% 概率得到正确观测，15% 概率观测错误。

• **折扣因子 **$\gamma$：取值满足 $0\le \gamma <1$，用于衡量未来奖励的权重，保证累积奖励收敛。在老虎问题中通常取 0.95。

老虎问题：面前有左右两扇关闭的门，其中一扇门后藏有老虎，打开会遭受大额惩罚，另一扇门后藏有宝藏，打开可获得奖励；你无法直接看到门后的真实情况，每次可以选择打开左门、打开右门，或是贴门倾听来判断老虎位置，其中倾听动作不会结束当前回合，但需要付出少量成本，且观测结果存在误差，有 85% 的概率准确识别老虎位置，15% 的概率出现听反的错误，一旦选择打开任意一扇门，当前回合立即结束，随后老虎位置随机重置，开启下一回合。和完全可观测的 MDP 问题不同，这个问题里环境的真实状态对智能体是不可见的，智能体无法直接基于真实状态做出最优决策，只能通过观测间接推断状态，动作也不再仅服务于获取即时奖励，还承担了收集信息、降低状态不确定性的作用，需要在信息收集的成本和决策收益之间找到最优平衡，

3. POMDP 与 MDP 的核心区别

• 信息不对称：MDP 中智能体 “全知”，POMDP 中智能体只能通过观测间接推断状态，存在状态不确定性。

• 策略依赖：MDP 的最优策略是单步状态到动作的映射；POMDP 的最优策略需要依赖完整的历史动作 – 观测序列，因为单步观测不足以确定状态。

• 探索的特殊意义：POMDP 中动作不仅用于获取奖励，还用于收集信息、降低状态不确定性，存在 “信息获取 – 奖励获取” 的权衡（比如老虎问题中，听声音有成本，但能提升后续决策的正确率）。

4. POMDP 的核心难点

二、核心理论基础：信念状态与信念 MDP

POMDP 求解的核心思路是：将部分可观测问题转化为完全可观测问题，转化的桥梁就是「信念状态」。

1. 历史与信念状态

（1）历史（History）

智能体从初始时刻到当前时刻的所有动作与观测构成的序列，记为：
$h_t=(a_0,o_1,a_1,o_2,\dots ,a_{t-1},o_t)$
理论上，完整的历史包含了所有可用于推断当前状态的信息，因此 POMDP 的策略可以表示为 $\pi (a_t\mid h_t)$，即从历史到动作的映射。但历史长度随时间增长，直接基于历史决策不具备可扩展性。

（2）信念状态（Belief State）

信念状态是对当前真实状态的概率分布估计，是历史信息的充分统计量：
$b(s)=P(s\mid h_t)$
直观来说，信念状态就是 “基于所有历史信息，我认为当前环境处于各个真实状态的概率分别是多少”。比如老虎问题中，初始信念 $b_0=[0.5,0.5]$ 表示 “老虎在左右门的概率各 50%”。

（3）信念更新（贝叶斯更新）

当智能体执行动作 $a$ 并接收到新观测 $o$ 时，可以通过贝叶斯定理更新信念，得到新的信念状态 $b^{\prime }$：
$b^{\prime }(s^{\prime })=\frac{Z(o\mid s^{\prime },a)\cdot {\sum }_{s\in S}T(s^{\prime }\mid s,a)\cdot b(s)}{P(o\mid b,a)}$
其中分母 $P(o\mid b,a)={\sum }_{s^{\prime }}Z(o\mid s^{\prime },a){\sum }_{s}T(s^{\prime }\mid s,a)b(s)$ 是归一化常数，保证新信念的概率和为 1。

老虎问题计算示例：
初始信念 $b_0=[0.5,0.5]$，执行「听」动作后观测到 “老虎在左”：

• 观测概率：$Z(o_L|s_L,listen)=0.85$，$Z(o_L|s_R,listen)=0.15$

• 转移概率：听动作不改变状态，$T(s|s,listen)=1$

• 计算分子：$b^{\prime }(s_L)\propto 0.85\times 0.5=0.425$；$b^{\prime }(s_R)\propto 0.15\times 0.5=0.075$

• 归一化后新信念：$b^{\prime }=[0.85,0.15]$

即一次正确观测后，我们有 85% 的把握老虎在左门。

2. 信念 MDP（Belief MDP）：POMDP 的等价转化

基于信念状态，我们可以将 POMDP 转化为一个完全可观测的连续状态 MDP，称为信念 MDP：

• 状态空间：所有可能的信念状态构成的连续空间（$|S|$维概率单纯形）

• 动作空间：与原 POMDP 一致

• 转移函数：信念更新规则（给定信念$b$和动作$a$，得到下一个信念$b^{\prime }$）

• 奖励函数：信念下的期望奖励 $R(b,a)={\sum }_{s\in S}b(s)R(s,a)$

• 折扣因子：与原 POMDP 一致

核心结论：POMDP 的最优策略等价于其对应信念 MDP 的最优策略。
这意味着所有 MDP 的求解思路（值迭代、策略迭代）理论上都可以迁移到 POMDP 上，但信念空间是连续高维的，无法直接离散化求解，因此需要专门的优化方法。

3. 价值函数的关键性质：分段线性凸性

对于有限地平线的 POMDP，信念空间上的价值函数 $V(b)$ 具有 \\\\ 分段线性凸（Piecewise Linear and Convex, PWLC）\\\\ 的性质：
$V(b)={\max }_{\alpha \in \Gamma }{\sum }_{s\in S}\alpha (s)\cdot b(s)$
其中 $\Gamma$ 是一组有限的 $\alpha$ 向量（每个向量维度与状态数一致），价值函数是这些向量的上包络。

这一性质是 POMDP 精确求解算法的理论基础：不需要在整个连续信念空间计算价值，只需维护一组 $\alpha$ 向量即可表示完整的价值函数。

三、POMDP 优化求解方法

根据问题规模和适用场景，POMDP 的求解方法可以分为四大类：精确解法、近似离线解法、在线规划法、深度强化学习方法。

（一）精确求解方法：仅适用于极小规模问题

精确方法严格利用价值函数的 PWLC 性质，通过迭代更新 $\alpha$ 向量集合得到全局最优策略，仅能处理状态数、观测数极少的场景（通常 $|S|<20$）。

局限性：$\alpha$ 向量的数量随状态数和地平线长度指数增长，稍大的问题就会出现 “向量爆炸”，无法实用。

（二）近似离线解法：中等规模离散问题

这类方法放弃精确求解整个信念空间的价值，仅对部分可达的信念点进行价值计算，用有限的点近似整个信念空间，大幅降低计算量，可处理数百个状态的问题。

（三）在线规划方法：大规模离散问题

离线方法需要提前求解全局策略，而在线规划方法不预计算全局策略，仅在每次决策时，针对当前的信念状态做局部搜索，得到当前步的最优动作，适合状态空间极大、需要实时决策的场景。

（四）深度强化学习方法：高维观测 / 状态场景

当观测是高维连续数据（如图像、语音）、状态空间连续时，传统的离散 POMDP 方法完全失效，此时需要结合深度神经网络的方法。

1. 循环强化学习（Recurrent RL）

• 核心思路：用循环神经网络（LSTM/GRU）编码历史观测序列，将循环网络的隐状态作为信念的近似表示，输入策略网络输出动作。

• 代表算法：

  • DRQN（Deep Recurrent Q-Network）：将 DQN 的全连接层替换为 LSTM，处理单帧观测不足以描述完整状态的场景（如闪烁的 Atari 游戏）。

  • Recurrent PPO：在 PPO 算法中加入循环层，是目前处理连续控制 POMDP 问题的主流基线。

• 特点：实现简单，兼容绝大多数现有 RL 算法，是工程中最常用的方案。

2. 变分潜在状态模型（世界模型）

• 核心思路：用变分自编码器（VAE）从历史观测中学习一个低维的潜在状态空间，将 POMDP 转化为潜在空间中的完全可观测 MDP，再在潜在空间中做策略学习或规划。

• 代表算法：

  • World Models：最早提出用 VAE+RNN 构建环境模型，在潜在空间中训练策略。

  • Dreamer 系列：端到端的模型基强化学习算法，通过学习潜在世界模型，在想象中规划和训练策略，是高维 POMDP 场景的 SOTA 方向之一。

3. 注意力序列建模

• 核心思路：用 Transformer 的自注意力机制建模长历史序列的依赖关系，比循环网络更擅长处理长序列的部分可观测问题。

• 代表：Decision Transformer、Gato 等序列建模类 RL 算法，将历史观测、动作、奖励作为序列输入，通过自注意力提取特征并输出动作。

4. 信息增益驱动的探索

POMDP 中探索的核心是降低状态不确定性，这类方法将 \\\\ 信息增益（信念的熵减少量）\\\\ 作为内在奖励，引导智能体主动收集信息，比如 VIME、IMEX 等算法，专门解决强部分可观测场景下的探索难题。

四、入门学习建议