学习协调偏好用于多目标多智能体强化学习

学习协调偏好用于多目标多智能体强化学习

来源： arXiv:2606.14693v1 代码仓库： PengxinWang/PrefMARL

📖 概述

本文提出协调偏好多智能体策略优化（PCMA），一种用于多目标多智能体强化学习（MOMARL）的新型框架。PCMA使智能体能够学习协调的、智能体特定的偏好，从而诱导互补的权衡，提高团队性能并减少行为冲突。该方法在**集中式训练-分布式执行（CTDE）**范式下运行，并在粒子世界、无人机、 locomotion、星际争霸和真实世界交通控制环境中得到验证。

🎯 问题形式化与动机

• 核心挑战： 在MOMARL中，冲突不仅出现在目标之间，还出现在具有不同观测、角色和优先级权重的智能体之间。使用固定共享偏好向量的标准标量化强制同质行为，导致竞争或效率低下。
• 关键洞察： 对多样协调偏好进行策略 conditioning 允许智能体占据帕累托前沿的不同区域，实现角色专业化更好的团队协调。
• 形式化： 合作MOMARL被框架化为团队最优均衡问题：找到偏好配置 $\mathbf{p}$

📐 理论基础

🔹 一阶团队改进与偏好多样性

• 团队改进矩阵： $B_{i,k}:=({\nabla }_{{\theta }_i}{J}_{\mathrm{team}}(\theta ){)}^{\top }{\nabla }_{{\theta }_i}{J}_{i,k}(\theta )$
• 假设 4.1（偏好-改进对齐）： 中心偏好 ${\tilde{p}}_i$
• 定理 4.2（团队改进分解）：

J_{\\mathrm{team}}(\\theta_{\\mathrm{new}}) – J_{\\mathrm{team}}(\\theta) \\geq \\eta \\sum_{i=1}^N \\|\\nabla_{\\theta_i} J_{\\mathrm{team}}(\\theta)\\|_2^2 + \\eta N (\\bar{p}^\\top \\bar{b} + \\kappa \\mathcal{D}_p)

其中

D

p

=

1

2

N

2

∑

i

,

j

∥

p

i

−

p

j

∥

2

2

\\mathcal{D}_p = \\frac{1}{2N^2}\\sum_{i,j}\\|p_i – p_j\\|_2^2

Dp​=2N21​∑i,j​∥pi​−pj​∥22​ 是成对偏好距离。多样性

D

p

\\mathcal{D}_p

Dp​ 直接提升一阶团队改进。

🔹 均衡追踪

• 引理 4.3： 在非奇异雅可比条件下，局部纳什均衡 ${\theta }^{\ast }(\mathbf{p})$
• 定理 4.6（均衡追踪）： 在缓慢偏好更新下，追踪误差 $e_t=\Vert {\theta }^t-\theta ({\mathbf{p}}^t)\Vert$

e_{t+1} \\leq \\rho e_t + C \\|\\mathbf{p}^{t+1} – \\mathbf{p}^t\\| \\implies \\limsup_{t\\to\\infty} e_t \\leq \\frac{C}{1-\\rho}\\delta

保证当偏好配置缓慢变化时稳定收敛。

⚙️ 方法：PCMA算法

🧩 架构与训练范式

• CTDE框架： 集中式批评家训练；分布式演员执行。
• 偏好条件演员： 偏好 $p_i$
• 双批评家设计：
  • 集中式团队批评家估计 $A^{\mathrm{team}}$
  • 个体向量批评家估计 ${\mathbf{A}}_i^{\mathrm{ind}}$

📉 损失函数

批评家损失：

\\mathcal{L}_{\\mathrm{critic}} = \\mathbb{E}_\\tau \\left[ (V^{\\mathrm{team}}(\\mathbf{o}) – R^{\\mathrm{team}})^2 + \\sum_{i=1}^N \\|\\mathbf{V}^i(o_i) – \\mathbf{R}^i\\|_2^2 \\right]

演员更新（基于PPO）：

\\mathcal{L}_{\\mathrm{actor}}(\\theta) = \\mathcal{L}_{\\mathrm{PPO}}\\left(\\pi_\\theta(\\cdot|o_i, p_i), A_{U_i}\\right), \\quad A_{U_i} = A^{\\mathrm{team}} + \\lambda p_i^\\top \\mathbf{A}_i^{\\mathrm{ind}}

🎲 协调偏好规划

• 每个智能体学习随机规划器输出Dirichlet参数：${\alpha }_i={\varphi }_{\psi }(o_i)$
• 多样性正则化： 通过 ${\mathcal{D}}_{\alpha }=\mathbb{E}[{\mathcal{D}}_p]$
• 规划器损失：

\\mathcal{L}_{\\mathrm{plan}}(\\psi) = \\mathcal{L}_{\\mathrm{PPO}}\\left(\\phi_\\psi(\\cdot|o_i), A^{\\mathrm{team}}\\right) – \\lambda_1 \\mathcal{D}_\\alpha

🧪 实验验证

🌍 环境与设置

📊 性能摘要

PCMA始终优于或持平基线（MADDPG、IPPO、MAPPO）在成功率和奖励指标上。

示例结果：

CARLA交通控制（OpenCDA-MARL）

消融与行为分析

• 移除多样性正则化（${\lambda }_1=0$
• 最优 ${\lambda }_1\in [0.02,0.10]$
• 在SMAC中，智能体自然分裂为激进攻击者 vs 前线防御者（通过伤害造成 vs 伤害承受衡量）。

🖼️ 论文中的图片

图片URL（基础路径）

所有图片的基础URL为：https://arxiv.org/html/2606.14693v1/

完整URL示例：

• 2026-06-20jywnqc2cvzo.png
• 2026-06-205w5ob132d4y.png
• 2026-06-20fuf3npbxqoh.png

🔗 相关资源与链接

💡 专家分析

核心贡献

关键洞察

• 偏好多样性是团队改进的关键： 理论证明表明，偏好距离 ${\mathcal{D}}_p$
• 均衡追踪稳定性： 缓慢偏好更新允许策略稳定追踪移动均衡而不振荡。
• 角色自动专业化： 在SMAC实验中，智能体自动分裂为攻击者和防御者角色，无需人工指定。

应用前景

• 自动驾驶： 多车辆协调（如一个优先安全，一个优先效率）
• 无人机编队： 多无人机任务分配与协调
• 游戏AI： 多智能体角色专业化与团队协作
• 交通控制： 真实世界路口车辆协调

📝 实验步骤与参数

训练参数（参考）

• 优化器： Adam
• 学习率： $3\times 10^{-4}$
• 折扣因子 $\gamma$
• PPO裁剪参数： 0.2
• 批次大小： 2048
• 训练轮数： 5000（根据环境调整）

偏好规划参数

• Dirichlet初始参数： ${\alpha }_0=1.0$
• 多样性权重 ${\lambda }_1$
• 偏好平滑权重 ${\lambda }_2$

评估协议

• 每个实验运行 10次 随机种子
• 报告 均值 ± 标准差
• 使用 滑动窗口平均 评估稳定性