非齐次马尔可夫决策过程

在强化学习的实际落地过程中，我们常常会遇到一种理想化假设失效的情况：环境 dynamics（动态特性）并非一成不变。传统的马尔可夫决策过程（MDP）通常假设状态转移概率和奖励函数是静态的，或者至少是随时间平稳分布的。然而，在真实的业务场景中，无论是电商平台的用户点击率、金融市场的波动规律，还是智能交通系统中的车流密度，都表现出强烈的时间依赖性。昨天有效的策略，今天可能就会因为外部环境的周期性变化或趋势性漂移而失效。这种“非平稳”特性如果得不到妥善建模，会导致智能体在训练收敛后迅速性能衰退，甚至产生严重的决策偏差。

面对这一挑战，引入时间维度作为显式变量成为了关键突破口。非齐次马尔可夫决策过程（Non-homogeneous Markov Decision Process, NHMDP）正是为了解决这一问题而生的理论框架。它不再将时间视为隐式的背景板，而是将其直接纳入状态空间或转移概率的定义中，允许模型参数随时间步 $t$ 发生明确的变化。这意味着，我们的算法能够感知到“现在是周一早晨”还是“周五深夜”，并据此调整对未来的预期和当前的行动策略。对于从事推荐系统、量化交易、资源调度等领域的工程师而言，理解并掌握 NHMDP 的核心原理，是从“玩具实验”走向“复杂现实”的必经之路。

本文将深入拆解非齐次马尔可夫决策过程的底层逻辑，通过具体的数学推导与直观的案例演示，展示如何构建随时间演化的决策模型。我们将不仅仅停留在理论公式的罗列，更会结合实际的代码片段，演示如何在常见的强化学习框架中实现时间感知的状态转移。无论你是正在为策略失效而苦恼的算法工程师，还是希望拓展理论边界的研究者，希望通过本文的分享，能为你提供一个处理时变环境的全新视角，让决策模型真正具备“与时俱进”的能力。

非齐次马尔可夫决策过程的原理

要理解非齐次马尔可夫决策过程，首先得回顾一下标准 MDP 的局限性。在经典的五元组 $(S,A,P,R,\gamma )$ 中，状态转移概率 $P(s^{\prime }|s,a)$ 被假定为与时间无关。也就是说，无论在第 1 步还是第 1000 步，只要处于状态 $s$ 并采取动作 $a$，转移到 $s^{\prime }$ 的概率是恒定的。这种“齐次性”假设极大地简化了贝尔曼方程的求解，使得价值迭代和策略迭代等经典算法得以高效运行。但在现实世界中，这种恒定往往是不存在的。例如，在一个库存管理系统中，周末的需求分布与工作日的需求分布截然不同；在广告竞价中，晚高峰时段的点击转化规律也与凌晨时段大相径庭。

非齐次马尔可夫决策过程（NHMDP）通过打破这一假设，将时间 $t$ 显式地引入到模型核心。其状态转移概率变为 $P_t(s^{\prime }|s,a)$，奖励函数变为 $R_t(s,a)$。这里的下标 $t$ 明确表示这些函数是时间的依赖项。从数学形式上看，NHMDP 可以定义为一个六元组 $(S,A,T,P,R,\gamma )$，其中 $T$ 代表时间集合（可以是离散的步骤 $0,1,\dots$ 或连续的时间点）。在这种框架下，系统的动态特性不再是静态的地图，而是一部随时间播放的电影，每一帧的规则都可能不同。

这种时间依赖性带来了两个层面的影响。首先是状态空间的扩展。一种直观的处理方法是将时间 $t$ 直接拼接到原始状态 $s$ 中，形成增广状态 $\bar{s}=(s,t)$。这样一来，原本非齐次的问题就被转化为了一个在更大状态空间上的齐次问题。虽然这在理论上可行，但当时间跨度很大或时间是连续变量时，状态空间会急剧膨胀，导致“维数灾难”，使得传统的表格型方法完全失效，必须依赖函数近似（如深度神经网络）来处理。

其次是贝尔曼方程的修正。在 NHMDP 中，价值函数 $V_t(s)$ 不仅依赖于当前状态，还显式依赖于当前时刻。此时的贝尔曼最优方程需要改写为包含时间索引的形式：
$$V_t^{\ast }(s)=\underset{a\in A}{\max }\left(R_t(s,a)+\gamma \sum _{s^{\prime }\in S}{P}_t(s^{\prime }|s,a)V_{t+1}^{\ast }(s^{\prime })\right)$$
注意这里 $V$ 的下标从 $t$ 变成了 $t+1$，这反映了价值的传递是沿着时间轴向前推进的。对于有限 horizon（horizon）的问题，我们通常采用逆向归纳法（Backward Induction），从终止时刻 $T$ 开始倒推，逐步计算出每个时刻的最优价值函数和策略。这种机制确保了策略能够预见到未来环境的变化，从而在当前做出更具前瞻性的决策。

在实际算法实现中，处理非齐次性的难点在于如何高效地估计随时间变化的 $P_t$ 和 $R_t$。如果环境变化是有规律的（如周期性），我们可以利用傅里叶变换或时间序列模型来捕捉这种模式；如果变化是随机或非平稳的，则需要引入滑动窗口机制或在线学习算法，让模型能够快速适应最新的分布。此外，折扣因子 $\gamma$ 在非齐次场景下也可能被设计为时间的函数，以反映不同时间段对未来回报的重视程度差异。

非齐次马尔可夫决策过程的案例

为了更具体地说明 NHMDP 的运作机制，我们构建一个简化的“动态定价与库存管理”案例。假设一家电商平台销售某种季节性商品，需要在一天内的不同时段决定商品价格（动作 $a$）和补货量，以最大化总利润。在这个场景中，用户的购买意愿（状态转移概率）和单次交易的利润（奖励函数）都强烈依赖于当前的小时数 $t$。

我们设定状态 $s_t$ 为当前的库存水平，动作 $a_t$ 为设定的价格档位（高、中、低）。环境 dynamics 如下：在工作时间（9:00-18:00），用户对价格敏感度较低，高价成交的概率较高；而在深夜（23:00-6:00），流量稀少且用户对价格极度敏感，只有低价才可能产生交易。如果使用标准 MDP 建模，模型可能会学习到一个“平均”策略，比如始终定中等价格，结果导致白天少赚了钱，晚上又卖不出去货。

下面我们用一段 Python 代码来模拟这个非齐次的环境，并展示如何计算随时间变化的转移概率。这段代码并不涉及复杂的深度学习框架，而是专注于展示 $P_t$ 如何随 $t$ 变化。

import numpy as np

class NonHomogeneousEnv:
def __init__(self, total_steps=24):
self.total_steps = total_steps
self.inventory_levels = [0, 10, 20, 30] # 离散化的库存状态
self.prices = [100, 80, 50] # 高、中、低三个价格档位

def get_transition_prob(self, t, state_idx, action_idx):
"""
获取时刻 t，状态 s，动作 a 下的转移概率分布
这里模拟了白天和夜晚不同的购买转化率
"""
# 定义时间特征：0-8 为夜间，9-18 为白天，19-23 为傍晚
is_daytime = 9 <= t <= 18

current_stock = self.inventory_levels[state_idx]
price_level = self.prices[action_idx]

# 基础购买概率受价格和时间影响
if price_level == 100: # 高价
base_prob = 0.1 if is_daytime else 0.02
elif price_level == 80: # 中价
base_prob = 0.3 if is_daytime else 0.1
else: # 低价
base_prob = 0.6 if is_daytime else 0.4

# 构建转移概率向量 (对应下一个状态的库存变化)
# 假设每次最多卖出 1 个单位，或者卖不出
probs = np.zeros(len(self.inventory_levels))

if current_stock > 0:
# 卖出的概率
sell_prob = base_prob
next_stock_sold = current_stock – 1
idx_sold = self.inventory_levels.index(next_stock_sold)
probs[idx_sold] = sell_prob

# 没卖出的概率
idx_keep = state_idx
probs[idx_keep] = 1.0 – sell_prob
else:
# 库存为 0，只能保持为 0
probs[0] = 1.0

return probs

def get_reward(self, t, state_idx, action_idx):
"""
获取即时奖励，同样随时间变化（例如夜间可能有额外运营成本）
"""
price = self.prices[action_idx]
current_stock = self.inventory_levels[state_idx]

# 简单模拟：如果卖出则获得价格收益，否则为 0
# 实际项目中这里会调用上面的概率来计算期望奖励
is_daytime = 9 <= t <= 18
cost_factor = 1.0 if is_daytime else 1.2 # 夜间运营成本高，净收益略低

# 这里返回的是期望奖励的简化版，实际应结合转移概率计算
# 仅为演示 R_t 的概念
base_reward = price * (0.5 if is_daytime else 0.3)
return base_reward / cost_factor

# 使用示例
env = NonHomogeneousEnv()
t_noon = 12
t_night = 2
state_high_stock = 3 # 对应库存 30

prob_noon = env.get_transition_prob(t_noon, state_high_stock, 0) # 白天高价
prob_night = env.get_transition_prob(t_night, state_high_stock, 0) # 夜晚高价

print(f"中午 12 点，高价策略下卖出商品的概率：{prob_noon[2]:.2f}") # 索引 2 对应库存 20
print(f"凌晨 2 点，高价策略下卖出商品的概率：{prob_night[2]:.2f}")

在上述代码中，get_transition_prob 函数清晰地展示了 $P_t$ 的非齐次性。当时间 $t$ 从 12（中午）变为 2（凌晨）时，即使状态（高库存）和动作（高价）完全相同，卖出商品的概率也从 0.1 降到了 0.02。如果在训练强化学习 agent 时忽略这个 $t$ 参数，Agent 就无法区分这两个场景，最终学到的策略将是两者的模糊平均，导致在两个时段都无法达到最优。

通过这个案例可以看出，NHMDP 的核心优势在于它能够精细地刻画环境随时间波动的细节。在求解过程中，如果我们采用动态规划，就需要为每一个时间步 $t$ 维护一张独立的价值表 $V_t$ 或策略表 ${\pi }_t$。虽然计算量增加了 $T$ 倍，但换来的策略精度提升在波动剧烈的环境中是至关重要的。对于更复杂的状态空间，我们通常会使用时间嵌入（Time Embedding）技术，将 $t$ 编码为向量输入到神经网络中，让网络自动拟合 $P_t$ 和 $R_t$ 的非线性变化规律。

非齐次马尔可夫决策过程的应用场景

非齐次马尔可夫决策过程的理论价值最终体现在其广泛的应用场景中。凡是环境规则随时间显著变化的领域，都是 NHMDP 的用武之地。以下列举几个典型且具有高度实操价值的场景。

首先是金融量化交易。金融市场是典型的非平稳系统，市场波动率、流动性以及资产间的相关性都在随时间剧烈变化。早盘的震荡规律可能与尾盘完全不同，财报发布日前后的市场反应机制也迥异。传统的交易策略往往基于历史统计平均值，容易在市场风格切换时遭遇大幅回撤。利用 NHMDP，可以将交易时刻、距离收盘的时间、甚至是宏观事件的时间窗口作为时间变量 $t$，构建随时间演化的状态转移模型。这样，交易 Agent 可以学习到在特定时间段内（如流动性枯竭的午休时段）应采取保守策略，而在趋势明显的开盘时段采取激进策略，从而实现动态风险管控。

其次是智能交通信号控制。城市交通流具有极强的周期性和突发性。早高峰的潮汐车流、晚高峰的拥堵扩散、节假日的出游高峰，使得路口的车流量分布随时间呈现巨大的差异。如果使用固定的配时方案或基于平均流量的 MDP 模型，很难应对实时的拥堵变化。基于 NHMDP 的信号控制系统，能够将一天中的具体时间、甚至是一周中的第几天作为状态的一部分，预测未来几分钟的车流到达率（即转移概率）。这使得信号灯能够提前在高峰期到来前调整绿信比，或在夜间低流量时段自动切换为感应控制模式，显著提升通行效率。

再者是个性化推荐与广告投放。用户的行为模式在一天之内存在明显的节律。早晨用户可能更倾向于浏览新闻资讯，通勤路上喜欢短视频，而深夜则可能进行深度阅读或购物。此外，电商大促期间（如双 11）的用户点击和转化逻辑与平日截然不同。将时间上下文纳入 MDP 框架，可以让推荐系统识别出“当前时刻的用户意图分布”，从而动态调整探索与利用（Exploration vs Exploitation）的平衡。例如，在用户疲劳度较高的深夜时段，减少强干扰性的广告推送，转而提供温和的内容，以避免用户流失。

最后，在能源管理与微电网调度中，NHMDP 也发挥着关键作用。太阳能和风能的发电量高度依赖于时间（日照强度、风速变化），而电力负荷也随人们的作息规律波动。调度系统需要在发电侧和用电侧双重非齐次动态下，决定电池的充放电策略。通过建模随时间变化的能源产出概率和负荷需求概率，NHMDP 能够帮助系统在电价低谷期储能、高峰期放电，同时保证电网的稳定性，实现经济效益与系统安全的双重优化。

综上所述，非齐次马尔可夫决策过程不仅仅是一个理论上的修正，它是连接静态算法与动态现实世界的桥梁。在处理具有时间敏感性的复杂决策问题时，承认并利用环境的非齐次性，往往是提升系统鲁棒性和决策质量的关键一步。随着数据采集能力的提升和计算算力的增强，越来越多的实时决策系统将采纳这一框架，以更细腻的粒度去理解和响应这个瞬息万变的世界。