欢迎光临
我们一直在努力

OneReward的理解3——多维成对奖励模型训练

文章目录

  • 一、前言
  • 二、OneReward
  • 4 方法论
  • 4.2 人类偏好数据收集
    • 问题1:解释一下
      • 核心流程(这张图在干什么)
      • 关键细节拆解
      • 一句话总结
    • 问题2:不需要人类选择吗?
      • 1. 数据收集阶段:人类必须参与
      • 2. 模型训练好后:VLM 替代人类
      • 通俗类比
  • 4.3 多维成对奖励模型训练
    • 问题1:解释一下
      • 1. 为什么要做这件事?(问题背景)
      • 2. 传统方法的缺陷
      • 3. OneReward 的解决方案
      • 4. 查询公式的含义
      • 5. 总结:OneReward 的设计精髓
      • 一句话概括
    • 问题2:为什么文本查询 q 可以控制VLM的评估呢?这里面具体用的什么技术?
      • 1. 生成式二元比较(Generative Pairwise Comparison)
      • 2. 非对称条件训练(Asymmetric Query Conditioning)
      • 3. 多维偏好数据构建(Multi-dimensional Best-of-N/Worst-of-N)
      • 4. 为什么不需要任务特定的输出头?
    • 回到原文
    • 问题3:解释一下
    • 1. 为什么要用比较评估(Comparative Evaluation)?
    • 2. 输入输出定义
    • 3. 数据来源:Best-of-N / Worst-of-N 标注
    • 4. 多标签学习(Multi-label Learning)
    • 5. 损失函数详解
      • 第一项:

        log

        ⁡

        P

        ϕ

        (

        y

        +

        ∣

        x

        w

        ,

        x

        l

        ,

        q

        )

        \\log \\mathbb{P}_\\phi(y^+ \\mid x^w, x^l, q)

        logPϕ​(y+∣xw,xl,q)

      • 第二项:

        log

        ⁡

        P

        ϕ

        (

        y

        −

        ∣

        x

        l

        ,

        x

        w

        ,

        q

        )

        \\log \\mathbb{P}_\\phi(y^- \\mid x^l, x^w, q)

        logPϕ​(y−∣xl,xw,q)

    • 6. 非交换性(Non-commutative)的含义
    • 总结:这套机制的核心价值
    • 回到原文
    • 问题4:奖励模型准确率的影响
      • 1. 奖励模型在 RL 中的真实角色
      • 2. Pairwise Comparison 的容错性更强
      • 3. 与业界标准的对比
      • 4. 多任务统一模型的 Trade-off
      • 5. 实践中如何缓解噪声
      • 结论

一、前言

仅供参考,未经实验验证。

二、OneReward

论文标题:OneReward: Unified Mask-Guided Image Generation via Multi-Task Human Preference Learning 作者:Yuan Gong, Xionghui Wang, Jie Wu, Shiyin Wang, Yitong Wang, Xinglong Wu 机构:字节跳动 论文地址: https://arxiv.org/pdf/2508.21066 Github地址:https://github.com/bytedance/OneReward 发表时间:2025年8月28日

4 方法论

4.2 人类偏好数据收集

To support the development and evaluation of our unified image editing framework, we constructed a large-scale, high-quality human preference dataset for multi-task image generation. This dataset spans four major editing tasks: image fill, image extend, object removal, and text rendering, each presenting unique challenges and requiring distinct evaluation perspectives. 为了支持我们统一图像编辑框架的开发和评估,我们构建了一个大规模、高质量的人类偏好数据集,用于多任务图像生成。该数据集涵盖四个主要的编辑任务:图像填充、图像扩展、物体移除和文本渲染,每个任务都呈现出独特的挑战,并需要不同的评估视角。

In image fill and image extend, the model is required to synthesize plausible content in user-specified regions, guided by natural language prompts. These prompts typically describe the content to be generated, along with contextual details to ensure stylistic and semantic consistency with the surrounding image. 在图像填充和图像扩展任务中,模型需要根据自然语言提示在用户指定的区域内合成合理的内容。这些提示通常描述要生成的内容,并提供上下文细节以确保与周围图像在风格和语义上的一致性。

In contrast, the object removal task centers on the elimination of specified elements from the input image. Its objective is not to insert new content, but rather to achieve visually seamless completion of the masked area. Since removal does not involve user-defined content, there is no need to provide a unique prompt as condition for each sample. 与之相反,目标移除任务侧重于从输入图像中消除指定元素。其目标不是插入新内容,而是实现被遮蔽区域在视觉上的无缝补全。由于移除不涉及用户定义的内容,因此无需为每个样本提供唯一的提示作为条件。

To ensure input format consistency across all tasks, we apply a fixed, generic prompt (e.g., “remove the specified object”) to all object removal instances. Each sample is structured as a triplet

(

I

s

r

c

,

M

,

P

)

(I_{src}, M, P)

(Isrc​,M,P) , where

I

s

r

c

∈

R

H

×

W

×

3

I_{src} \\in \\mathbb{R}^{H \\times W \\times 3}

Isrc​∈RH×W×3 is the source image,

M

∈

R

H

×

W

M \\in \\mathbb{R}^{H \\times W}

M∈RH×W is the binary mask indicating the region to be edited, and

P

P

P is the corresponding text prompt. 为确保所有任务的输入格式一致性,我们将一个固定的、通用的提示(例如,“移除指定对象”)应用于所有对象移除实例。每个样本的结构为一个三元组

(

I

s

r

c

,

M

,

P

)

(I_{src}, M, P)

(Isrc​,M,P),其中

I

s

r

c

∈

R

H

×

W

×

3

I_{src} \\in \\mathbb{R}^{H \\times W \\times 3}

Isrc​∈RH×W×3 是源图像,

M

∈

R

H

×

W

M \\in \\mathbb{R}^{H \\times W}

M∈RH×W 是指示要编辑区域的二值掩码,P是相应的文本提示。

This unified input representation enables consistent processing across different tasks within our framework. In the data collection pipeline, we employ a pre-trained diffusion model as the base generator and produce a set of candidate images for each sample by varying key inference parameters, thereby promoting diversity in output quality. 这种统一的输入表示使得在我们的框架内跨不同任务进行一致的处理成为可能。在数据收集流程中,我们采用预训练的扩散模型作为基础生成器,并通过改变关键推理参数为每个样本生成一组候选图像,从而促进输出质量的多样性。

This parameter randomization introduces controlled variability across the candidates, enabling the learning of nuanced human preferences. Specifically, we randomly sample the following parameter in the diffusion inference pipeline: 该参数随机化在候选者之间引入了可控的变异性,从而能够学习细微的人类偏好。具体而言,我们在扩散推理管线中随机采样以下参数: • Inference Steps: Uniformly sampled from different denoise steps, controlling the quality of generation. • 推理步骤:从不同的去噪步骤中均匀采样,控制生成质量。 • Negative prompt: Including optional descriptors like “nsfw”, “blurry” or “low quality”, which guide the generator away from undesired content. • 负面提示:包括诸如“nsfw”(不宜工作场所内容)、“模糊”或“低质量”等可选描述符,引导生成器避开不需要的内容。 • Classifier-Free Guidance Scale: Sampled from a range of values, controlling the trade-off between prompt adherence and creativity. • 无分类器引导尺度:从一系列值中采样,控制提示遵循度和创造力之间的权衡。 • Initial Noise Strength: Sampled from a predefined range to simulate varying levels of denoising starting point. • 初始噪声强度:从预定义的范围采样,以模拟不同程度的去噪起始点。

在这里插入图片描述 Figure 4: Illustration of the pairwise annotation process. Given multiple candidate outputs for the same prompt and binary mask, annotators identify the best and worst samples under each evaluation dimension to form a winner/loser pair. If the differences between candidates are negligible, the dimension is discarded (denoted by ∅), ensuring that only informative comparisons are retained. To clarify, this showcase uses an all-one mask, meaning the entire image region is generated. 图4:成对标注过程的说明。对于同一提示和二元掩码的多个候选输出,标注者在每个评估维度下识别出最佳和最差的样本,以形成胜者/败者对。如果候选者之间的差异可以忽略不计,则该维度将被丢弃(用∅表示),从而确保仅保留信息丰富的比较。为了清楚起见,此展示使用全一掩码,这意味着生成整个图像区域。 (图中提示词是“一张雀斑红发孩童的特写肖像,身着浅色上衣” )

英文中文翻译含义
Aesthetics 美学质量 图像整体的视觉吸引力、色彩协调度、艺术感
Structure 结构合理性 画面构图、物体布局、空间层次、透视关系是否合理
Alignment 图文对齐度 生成图像与输入文本提示(Prompt)的匹配程度
Consistency 一致性/连贯性 画面内部逻辑自洽(如光照统一、风格统一、物体间关系合理)

To meet the needs of multi-tasking and multi-dimensional evaluation, we design a task-specific annotation protocol: 为了满足多任务和多维度评估的需求,我们设计了一个特定于任务的标注协议: • Structure: Measures whether the generated content maintains spatial and geometric coherence with the original image layout, such as object contours, perspective, and scene topology. • 结构:衡量生成的内容是否与原始图像布局保持空间和几何一致性,例如对象轮廓、透视和场景拓扑。 • Consistency: Evaluate how smoothly the edited region integrates with its surroundings in terms of color, texture, and illumination, ensuring visual seamlessness. • 一致性:评估编辑区域在颜色、纹理和光照方面与其周围环境的融合程度,确保视觉上的无缝衔接。 • Text Alignment: Assesses how accurately the generated image content aligns with the semantics of the input prompt, especially in terms of object identity, attributes, and positioning. • 文本对齐:评估生成的图像内容与输入提示的语义对齐的准确程度,尤其是在对象标识、属性和定位方面。 • Aesthetic: Reflects the overall visual appeal of the result, including composition, realism, and fidelity to high-quality image standards. • 审美性:反映结果的整体视觉吸引力,包括构图、真实感以及对高质量图像标准的保真度。 • Removal Quality: Judging the effectiveness of object removal, focusing on whether the target is completely eliminated and whether the area is cleanly filled without visible artifacts or unintended content. • 移除质量:判断物体移除的有效性,重点在于目标是否被完全消除,以及该区域是否被干净地填充,没有可见的伪影或意外的内容。

For image fill and image extend, each set of candidate images is evaluated along the first four dimensions. And for object removal, where no user text is present, we reduce the evaluation to the final single criterion. As shown in Fig.4, annotators are presented with the input triplet

(

I

s

r

c

,

M

,

P

)

(I_{src}, M, P)

(Isrc​,M,P) , and

N

N

N generated candidate images. 对于图像填充和图像扩展,候选图像的每组都沿着前四个维度进行评估。而对于没有用户文本的对象移除,我们将评估简化为最终的单一标准。如图4所示,向标注者呈现输入三元组

(

I

s

r

c

,

M

,

P

)

(I_{src}, M, P)

(Isrc​,M,P) 以及

N

N

N 个生成的候选图像。

For each evaluation dimension, they are instructed to perform a Best-of-

N

N

N and Worst-of-

N

N

N selection, identifying the most and least preferred outputs. This process yields a winner/loser pair for each dimension of one sub-task, enabling fine-grained and dimension-specific preference supervision. Since judgments are made independently across multiple dimensions, the same candidate may be selected as a winner in one dimension and a loser in another. 对于每个评估维度,他们被指示执行最佳N项(Best-of-N)和最差N项(Worst-of-N)选择,以识别最受欢迎和最不受欢迎的输出。此过程为单个子任务的每个维度产生一个获胜者/失败者对,从而能够进行细粒度且特定于维度的偏好监督。由于判断是独立跨多个维度进行的,因此同一个候选者可能在一个维度上被选为获胜者,而在另一个维度上被选为失败者。

For instance, a particular output may exhibit stronger semantic alignment with the prompt than another candidate, while simultaneously being less aesthetically appealing. The design retains disagreements across evaluation dimensions, instead of forcing them into a fixed but potentially misleading label. 例如,某个输出可能比另一个候选输出在语义上与提示的对齐程度更强,同时在美学上吸引力较低。该设计保留了评估维度之间的分歧,而不是将它们强制纳入一个固定但可能具有误导性的标签。

By collecting preference pairs at the metric level, rather than through holistic or averaged scoring, our annotation strategy overcomes a major limitation of prior work by enabling the disentanglement of conflicting judgments across distinct evaluation dimensions. This comparative and multidimensional evaluation scheme promote high-quality and robust human perference data, which serves as a strong foundation for training reward models in multi-objective image generation tasks. 通过在指标层面收集偏好样本对(而非整体评分或平均打分),我们的标注策略克服了前人工作的一大局限:实现了不同评估维度间冲突判断的解耦。这种对比式多维评估机制催生了高质量、高鲁棒性的人类偏好数据,为多目标图像生成任务中奖励模型的训练奠定了坚实基础。 在这里插入图片描述 Figure 5: The detail of our one reward model. We utilize VLM to judge whether the first image is better than the second one. In the process of reward feedback learning, the probability of

y

+

y^+

y+ token is treated as the reward to the diffusion models. We simply add the edit task and the evaluation dimensions to the user query, achieving the goal of training for different task and dimensions. The content of angle brackets is optional, only add when the evaluation dimension is Text Alignment. 图5:我们的单一奖励模型的细节。我们利用VLM来判断第一张图像是否优于第二张图像。在奖励反馈学习的过程中,

y

+

y^+

y+ token的概率被视为扩散模型的奖励。我们简单地将编辑任务和评估维度添加到用户查询中,从而达到针对不同任务和维度进行训练的目标。尖括号中的内容是可选的,仅在评估维度为文本对齐时添加。

问题1:解释一下

这是 OneReward 论文中的奖励模型(Reward Model)架构图,通俗解释如下:


核心流程(这张图在干什么)

想象你是一位美术老师,面前放着两张学生作品(左图和右图)。你不需要给每张画单独打分,只需要回答一个问题:“第一幅画比第二幅画好吗?答 yes 或 no。”

这个"美术老师"就是图中的 VLM(视觉语言模型,比如 Qwen-VL、GPT-4V 等)。


关键细节拆解

1. 输入是什么?

  • 两张图片:一张叫"Evaluate image"(待评估的图),一张叫"Reference image"(参考图/对比图)
  • 一段文字查询(Query):告诉 VLM 这是什么任务(如"局部重绘")、按什么维度评估(如"美学质量"或"文本对齐"),以及两张图对应的提示词是什么

2. VLM 输出什么?

  • VLM 不会说"这张图 8.5 分",而是输出两个 token 的概率:
    • y⁺(对应"yes"的概率)
    • y⁻(对应"no"的概率)
  • y⁺ 的概率被直接当作"奖励值"(Reward),送给扩散模型去调整生成方向

3. 奖励反馈学习怎么工作?

  • 扩散模型生成了一张图 → 拿这张图和另一张图对比 → VLM 说"yes"的概率高 → 奖励高 → 扩散模型就知道"这次生成方向对了,以后往这个方向走"
  • 这其实就是 ReFL(Reward Feedback Learning) 的核心:用 VLM 的偏好判断来微调扩散模型

4. 怎么做到"多任务、多维度"?

  • 看右侧 Query 模板里的 [TASK] 和 [DIMENSION]:
    • 把 [TASK] 换成"图像修复"、“局部重绘”、"文生图"等不同任务
    • 把 [DIMENSION] 换成"美学"、“结构”、"文本对齐"等不同维度
  • 同一个 VLM,换一段查询词,就能变成不同任务/不同维度的奖励模型,不需要为每个维度单独训练一个模型

5. 尖括号 <> 里的内容为什么"可选"?

  • 只有当评估维度是 “Text Alignment(文本对齐)” 时,才需要告诉 VLM 这两张图原本的提示词(Prompt)是什么
  • 因为判断"图和文字是否对应"必须知道文字是什么
  • 评估"美学"或"结构"时,不需要知道 Prompt,所以这部分可以省略

一句话总结

这张图描述了一个万能裁判机制:用多模态大模型(VLM)做"二选一"的对比判断,把"选第一张更好"的概率作为奖励信号,去教扩散模型怎么生成更好的图。通过换一换问题里的"任务名"和"评估维度",同一个裁判就能同时负责多种任务、多个评分标准。

问题2:不需要人类选择吗?

意思是不需要人类去选择哪张好了吗?

不是完全不需要人类,而是分两个阶段:


1. 数据收集阶段:人类必须参与

在训练这个奖励模型之前,需要大量人类标注者来做"二选一"的判断:

  • 给人类看两张图,问"第一张是不是比第二张好?"
  • 在不同维度(美学、结构、文本对齐等)上分别收集这些偏好对
  • 论文里说的 “collecting preference pairs” 和 “human preference data” 就是指这个

没有人类标注,VLM 根本不知道什么叫"好"。


2. 模型训练好后:VLM 替代人类

图5展示的是第二阶段——当 VLM 已经通过人类数据学会了判断标准后:

  • 它就可以自动判断哪张图更好
  • 把 “yes” 的概率作为奖励信号,去微调扩散模型
  • 这时候不需要人类实时参与,全部由 VLM 自动完成

通俗类比

就像培养一位AI 美术考官:

  • 先找人教:让真人老师批改几千份试卷,告诉 AI"这张好、那张差"
  • AI 学会后:以后自动批改新试卷,不需要真人老师一直坐在旁边

所以人类的工作是"教会 VLM 什么是好图",而不是"每次生成都要人类来选"。

4.3 多维成对奖励模型训练

Designing a multi-task learning framework for image editing presents significant challenges, particularly in constructing a reward mechanism that is both scalable across heterogeneous tasks and robust against reward hacking. A naive solution, training separate reward models for each evaluation dimension within each task, is computationally expensive and difficult to tune, requiring considerable resources for both training and optimization. 为图像编辑任务设计多任务学习框架面临严峻挑战,尤其是在构建一个既能跨异构任务扩展又对奖励攻击具有鲁棒性的奖励机制方面。一种朴素的解决方案是为每个任务中的每个评估维度训练单独的奖励模型,但这种方法计算成本高昂且难以调整,需要大量的计算资源进行训练和优化。

Conventional scalar-based reward models are particularly inadequate for mask-guided generation tasks, as their assessments are easily dominated by unchanged background regions. As a result, they fail to capture the true quality of the edited content within the masked area, producing reward signals that are misaligned with the actual effectiveness of the intended edits. 基于标量奖励的传统模型对于掩码引导生成任务尤其不足,因为它们的评估很容易被未改变的背景区域所主导。因此,它们无法捕捉掩码区域内编辑内容的真实质量,产生的奖励信号与预期编辑的实际效果不一致。

To address these limitations, we propose OneReward, a unified reward model designed to assess outputs across multiple image editing tasks and evaluation dimensions with only one reward model. OneReward is built upon the perceptual capabilities of a pre-trained VLM, which serves as the backbone for all-dimension reward prediction. 为解决这些局限性,我们提出了一种统一奖励模型OneReward,该模型仅用一个奖励模型即可评估跨多个图像编辑任务和评估维度的输出现状。OneReward构建于预训练视觉语言模型(VLM)的感知能力之上,该模型作为全维度奖励预测的骨干。

Rather than introducing task-specific output heads, we guide the model through a textual evaluation query

q

q

q , which encodes both the task identifier

s

k

s_k

sk​ and the evaluation dimension

e

∈

E

k

e \\in \\mathcal{E}_k

e∈Ek​ . This formulation enables dynamic conditioning of the VLM on the specific aspect of quality to be evaluated. 与其引入特定任务的输出头,不如通过文本评估查询

q

q

q 来指导模型,该查询编码了任务标识符

s

k

s_k

sk​ 和评估维度

e

∈

E

k

e \\in \\mathcal{E}_k

e∈Ek​。这种表述使得视觉语言模型(VLM)能够根据要评估的质量的特定方面进行动态条件化。

Formally, the evaluation query is constructed as: 正式地,评估查询构建如下:

q

=

Φ

(

s

k

,

e

,

P

)

(

1

)

q = \\Phi(s_k, e, P) \\quad (1)

q=Φ(sk​,e,P)(1)

where

Φ

\\Phi

Φ is an instruction template as shown in Fig. 5,

P

P

P is the original input prompt, used only when evaluating prompt-image alignment. For all other dimensions, such as aesthetics or structure, the query remains prompt-free, ensuring that judgments reflect intrinsic visual quality without semantic bias. 其中

Φ

\\Phi

Φ 是如图 5 所示的指令模板,

P

P

P 是原始输入提示词,仅在评估提示词-图像对齐时使用。对于所有其他维度,例如美学或结构,查询保持无提示词状态,以确保判断反映的是内在视觉质量,而不受语义偏见的影响。

问题1:解释一下

这段文字介绍的是 OneReward 的核心设计思想——用一个统一的视觉语言模型(VLM)来评估图像编辑任务的质量。下面我逐层拆解其中的关键概念:


1. 为什么要做这件事?(问题背景)

图像编辑的多任务学习很难做,核心难点在于**奖励机制(reward mechanism)**的设计:

  • 异构任务(heterogeneous tasks):图像编辑包含很多不同类型的任务(如图像修复、风格迁移、局部重绘、背景替换等),每个任务评估的侧重点不同。
  • 奖励攻击(reward hacking):如果奖励模型设计有漏洞,模型会找到"钻空子"的方式获得高分,而不是真正做好编辑。例如,只让背景保持不变就能拿高分,但编辑区域其实一团糟。
  • 朴素方案不可行:为每个任务的每个评估维度(美学、结构、对齐度等)都单独训练一个奖励模型,计算成本太高,调参也困难。

2. 传统方法的缺陷

**传统标量奖励模型(scalar-based reward)**就是输出一个单一分数(比如 0-10 分)来判断图像好坏。

对于 mask-guided generation(掩码引导生成) 任务(比如只编辑图像中的某个区域,其余保持不变),这种模型有个致命问题:

背景区域 unchanged(未改变)的面积通常远大于编辑区域。

如果模型给整张图打分,背景"什么都没变"会贡献很大权重,导致编辑区域质量很差也能得高分。奖励信号和"实际编辑效果"完全错位。


3. OneReward 的解决方案

核心思想:一个模型,多种任务,动态评估

传统做法OneReward 做法
每个任务/维度单独训练一个奖励模型 只用一个 VLM backbone
加任务特定的输出头(output heads) 用**文本查询(query)**动态控制评估方向

具体做法:

通过构造一个文本查询

q

q

q 来"告诉"VLM:

  • 当前是什么任务(

    s

    k

    s_k

    sk​:如 inpainting、style transfer)

  • 要评估什么维度(

    e

    e

    e:如 aesthetics、structure、prompt-image alignment)

  • 原始输入提示词是什么(

    P

    P

    P,可选)


4. 查询公式的含义

q

=

Φ

(

s

k

,

e

,

P

)

q = \\Phi(s_k, e, P)

q=Φ(sk​,e,P)

  • Φ

    \\Phi

    Φ:指令模板(instruction template),相当于一个"填空模板",把任务、维度、提示词填入固定格式。

  • s

    k

    s_k

    sk​:任务标识符(如 “inpainting”)

  • e

    e

    e:评估维度(如 “aesthetics”)

  • P

    P

    P:原始提示词

关键设计:

P

P

P 是"条件性"使用的

评估维度是否使用

P

P

P原因

prompt-image alignment(提示词-图像对齐) ✅ 使用 需要知道"原本要求生成什么",才能判断"生成的是否符合要求"
aesthetics(美学) ❌ 不用 美不美是图像本身的属性,不需要知道提示词
structure(结构) ❌ 不用 结构是否合理也是内在视觉属性

为什么其他维度要 prompt-free?

防止语义偏见(semantic bias)。

如果评估"美学"时把提示词也输入进去,VLM 可能会因为"这个提示词描述的内容本身很有趣"而给高分,而不是因为图像真的好看。去掉提示词,迫使模型只根据图像本身的视觉质量做判断。


5. 总结:OneReward 的设计精髓

  • 统一性:一个 VLM backbone 搞定所有任务和维度,不用为每个场景单独训练模型。
  • 动态性:通过文本查询

    q

    q

    q 切换评估视角,类似"多选题阅卷老师,先看题目要求再看答案"。

  • 防 hack:对于 mask-guided 任务,VLM 可以关注到编辑区域(因为 query 指明了任务类型),不会被背景区域带偏。
  • 去偏见:非对齐类评估去掉提示词,确保评分反映的是内在视觉质量,而非语义偏好。

  • 一句话概括

    OneReward 把 VLM 当成一个"全能质检员",通过文本指令告诉它"按什么标准、检查什么任务",并且只在需要时才告诉它"原本的要求是什么",从而实现了一个模型、多种任务、公平评估。

    问题2:为什么文本查询 q 可以控制VLM的评估呢?这里面具体用的什么技术?

    文本查询

    q

    q

    q 能够控制 VLM 的评估,本质上是利用了预训练 VLM 强大的指令遵循(instruction following)和视觉理解能力。OneReward 基于 Qwen2.5-VL-7B-Instruct 构建,该模型经过大规模多模态指令微调,能够根据自然语言指令动态调整其关注点和判断标准。

    具体来说,里面用到的关键技术包括:

    1. 生成式二元比较(Generative Pairwise Comparison)

    OneReward 不是让 VLM 输出一个标量分数,而是把它当作生成式判别器:

    • 输入:两张图像(

      x

      w

      x^w

      xw 优胜图、

      x

      l

      x^l

      xl 劣胜图)+ 文本查询

      q

      q

      q

    • 输出:VLM 生成 “Yes” (

      y

      +

      y^+

      y+) 或 “No” (

      y

      −

      y^-

      y−) token 的概率

    • 奖励信号:直接取 “Yes” token 的概率

      P

      ϕ

      (

      y

      +

      ∣

      x

      w

      ,

      x

      l

      ,

      q

      )

      P_\\phi(y^+ \\mid x^w, x^l, q)

      Pϕ​(y+∣xw,xl,q) 作为强化学习的奖励值

    查询

    q

    q

    q 通过指令模板

    Φ

    \\Phi

    Φ 编码了任务类型(如"图像填充")和评估维度(如"结构"),相当于告诉 VLM:“现在请只关注结构合理性,判断第一张图是否比第二张图更好”。VLM 的注意力机制会根据这段文本指令,重新组织其对视觉内容的理解和比较逻辑。

    2. 非对称条件训练(Asymmetric Query Conditioning)

    为了让 VLM 真正学会"比较"而不是单纯 memorization,训练时采用了对称交叉熵损失:

    L

    (

    ϕ

    )

    =

    −

    1

    2

    E

    (

    x

    w

    ,

    x

    l

    ,

    q

    )

    ∈

    D

    [

    log

    ⁡

    P

    ϕ

    (

    y

    +

    ∣

    x

    w

    ,

    x

    l

    ,

    q

    )

    +

    log

    ⁡

    P

    ϕ

    (

    y

    −

    ∣

    x

    l

    ,

    x

    w

    ,

    q

    )

    ]

    \\mathcal{L}(\\phi) = -\\frac{1}{2}\\mathbb{E}_{(x^w, x^l, q) \\in \\mathcal{D}} \\left[ \\log \\mathbb{P}_\\phi(y^+ \\mid x^w, x^l, q) + \\log \\mathbb{P}_\\phi(y^- \\mid x^l, x^w, q) \\right]

    L(ϕ)=−21​E(xw,xl,q)∈D​[logPϕ​(y+∣xw,xl,q)+logPϕ​(y−∣xl,xw,q)]

    这意味着:

    • 当输入顺序是

      (

      x

      w

      ,

      x

      l

      )

      (x^w, x^l)

      (xw,xl) 时,期望回答 Yes

    • 当输入顺序是

      (

      x

      l

      ,

      x

      w

      )

      (x^l, x^w)

      (xl,xw) 时,期望回答 No

    这种设计强制 VLM 必须根据查询

    q

    q

    q 所指定的评估维度,对两张图进行相对质量判断,而不是输出一个与输入顺序无关的绝对分数。

    3. 多维偏好数据构建(Multi-dimensional Best-of-N/Worst-of-N)

    人类标注数据不是简单打总分,而是针对每个评估维度单独做 Best-of-N 和 Worst-of-N 选择。例如同一张图可能在"文本对齐"维度是 winner,在"一致性"维度是 loser。这种细粒度标注让 VLM 学会:同一个查询

    q

    q

    q 中的任务标识符

    s

    k

    s_k

    sk​ 和维度标识符

    e

    e

    e 会激活不同的评判模式。

    4. 为什么不需要任务特定的输出头?

    传统多任务模型需要给每个任务加单独的输出层(task-specific heads),但 OneReward 完全依赖文本指令的空间来控制模型行为。这类似于大语言模型中的 in-context learning——模型参数不变,仅通过改变输入文本(prompt)就能切换任务目标。VLM 的注意力层会根据

    q

    q

    q 中的关键词(如"aesthetics" vs “structure”)动态调整对图像不同区域和特征的关注权重。


    一句话总结:OneReward 把 VLM 当成一个"可编程的评审员",通过自然语言查询

    q

    q

    q 来设定"评审标准"和"评审任务",利用 VLM 本身的指令理解能力实现动态评估,无需修改模型结构。

    回到原文

    To further enhance robustness and address the shortcomings of absolute scoring, OneReward employs a comparative evaluation scheme. It receives a pair of generated images and is asked to identify the preferred one, based on relative quality. As illustrated in Fig. 5, the reward model takes a pair of images

    (

    x

    w

    ,

    x

    l

    )

    (x^w, x^l)

    (xw,xl) along with an evaluation query

    q

    q

    q as input, and outputs a binary classification that aligns with the human preference for that specific query. It is defined as: 为了进一步提高稳健性并解决绝对评分的缺点,OneReward 采用了一种比较评估方案。它接收一对生成的图像,并被要求根据相对质量来识别更优选的一个。如图 5 所示,奖励模型接收一对图像

    (

    x

    w

    ,

    x

    l

    )

    (x^w, x^l)

    (xw,xl) 以及一个评估查询

    q

    q

    q 作为输入,并输出一个二元分类,该分类与人类对该特定查询的偏好相一致。其定义如下:

    y

    =

    r

    (

    x

    w

    ,

    x

    l

    ,

    q

    )

    (

    2

    )

    y = r(x^w, x^l, q) \\quad (2)

    y=r(xw,xl,q)(2)

    Our training methodology derives directly from the Best-of-N and Worst-of-N annotation protocol in Sec. 4.2. Specifically, for each set of four candidate images, annotators independently select the best image

    x

    w

    x^w

    xw and the worst one

    x

    l

    x^l

    xl for each evaluation dimension, forming pairs of human preference for training. 我们的训练方法直接源自第 4.2 节中的 Best-of-N 和 Worst-of-N 注释协议。具体来说,对于每组四张候选图像,注释者独立地为每个评估维度选择最佳图像

    x

    w

    x^w

    xw 和最差图像

    x

    l

    x^l

    xl,形成用于训练的人类偏好对。

    This process allows each preference pair to be labeled with one or more evaluation dimensions, resulting in a multi-label learning scenario. For instance, in Fig. 4, the fourth image excels in text alignment, but underperforms in consistency. As a result, it is labeled as the winner for text alignment and the loser for consistency. For each training sample, we construct 该过程允许每个偏好对都带有一个或多个评估维度标签,从而产生一个多标签学习场景。例如,在图 4 中,第四张图像在文本对齐方面表现出色,但在一致性方面表现不佳。因此,它被标记为文本对齐的获胜者,一致性的失败者。

    For each training sample, we construct the corresponding evaluation queries q for all the annotated dimensions and compute the standard cross-entropy loss. The loss function is defined as follows: 对于每个训练样本,我们构建所有标注维度的相应评估查询q,并计算标准交叉熵损失。损失函数定义如下:

    L

    (

    ϕ

    )

    =

    −

    1

    2

    E

    (

    x

    w

    ,

    x

    l

    ,

    q

    )

    ∈

    D

    [

    log

    ⁡

    P

    ϕ

    (

    y

    +

    ∣

    x

    w

    ,

    x

    l

    ,

    q

    )

    +

    log

    ⁡

    P

    ϕ

    (

    y

    −

    ∣

    x

    l

    ,

    x

    w

    ,

    q

    )

    ]

    (

    3

    )

    \\mathcal{L}(\\phi) = -\\frac{1}{2}\\mathbb{E}_{(x^w, x^l, q) \\in \\mathcal{D}} [\\log \\mathbb{P}_\\phi(y^+ | x^w, x^l, q) + \\log \\mathbb{P}_\\phi(y^- | x^l, x^w, q)] \\quad (3)

    L(ϕ)=−21​E(xw,xl,q)∈D​[logPϕ​(y+∣xw,xl,q)+logPϕ​(y−∣xl,xw,q)](3)

    where

    y

    +

    y^+

    y+ denotes affirmative token (e.g. “Yes”),

    y

    −

    y^-

    y− denotes negative token (e.g. “No”), and

    P

    ϕ

    \\mathbb{P}_\\phi

    Pϕ​ represents the probability assigned to the corresponding token by the reward model.

    x

    w

    x^w

    xw and

    x

    l

    x^l

    xl refer to the winner and loser pair under a specific evaluation criterion. 其中 y+表示肯定标记(例如,“是”),y−表示否定标记(例如,“否”),Pϕ表示奖励模型分配给相应标记的概率。xw 和 xl指的是特定评估标准下的获胜者和失败者对。

    Note that this formulation is non-commutative, as the query is designed to expect the response

    y

    +

    y^+

    y+ when the image in the first position is of higher quality. Otherwise, the expected response is

    y

    −

    y^-

    y− . This training strategy enables the efficient utilization of our annotations, empowering the reward model with the capacity to perform nuanced, multidimensional evaluations across a range of tasks. 请注意,此公式是非交换的,因为当第一个位置的图像质量更高时,查询会期望响应 y+。否则,预期的响应是 y−。此训练策略能够高效地利用我们的标注,使奖励模型能够对一系列任务进行细致、多维度的评估。

    问题3:解释一下

    这段文字详细解释了 OneReward 的比较评估训练机制。我来逐层拆解:


    1. 为什么要用比较评估(Comparative Evaluation)?

    **绝对评分(absolute scoring)**的问题:

    • 给单张图打 0-10 分,标准很难统一,不同人打分尺度不同
    • 标量分数容易被"奖励攻击"(reward hacking)钻空子
    • 很难区分"好"与"更好"的细微差别

    比较评估的优势:

    • 相对判断比绝对判断更稳健:人类更擅长说"A比B好"而不是"A是8.5分"
    • 天然防 hack:模型必须真正理解两张图的差异才能给出正确排序
    • 与人类标注方式一致:人类标注时就是选"最好"和"最差",而不是打分

    2. 输入输出定义

    y

    =

    r

    (

    x

    w

    ,

    x

    l

    ,

    q

    )

    y = r(x^w, x^l, q)

    y=r(xw,xl,q)

    符号含义

    x

    w

    x^w

    xw

    winner(优胜图,质量更高的那张)

    x

    l

    x^l

    xl

    loser(劣胜图,质量更低的那张)

    q

    q

    q

    评估查询(指定任务类型 + 评估维度)

    y

    y

    y

    二元分类结果(Yes/No)

    流程:把两张图 + 查询文本一起输入 VLM,问它"第一张图是否比第二张图更好(在这个维度上)?"


    3. 数据来源:Best-of-N / Worst-of-N 标注

    标注协议:

    • 每组提供 4 张候选图(由不同模型/参数生成)
    • 标注者针对每个评估维度独立选择:
      • Best(

        x

        w

        x^w

        xw):该维度上最好的

      • Worst(

        x

        l

        x^l

        xl):该维度上最差的

    为什么用 4 选 1 而不是 2 选 1?

    • 4 张图能覆盖更多质量层次,更容易选出明显的好/坏
    • 可以构造更多的训练对(4 张图可以产生多对组合)

    4. 多标签学习(Multi-label Learning)

    这是 OneReward 的一个关键设计:同一张图在不同维度上可以是 winner 也可以是 loser

    举例(文中提到的图 4):

    • 某张图在 text alignment(文本对齐) 维度 → winner(文字生成准确)
    • 同一张图在 consistency(一致性) 维度 → loser(风格与背景不协调)

    训练时的处理:

    • 为每个标注维度单独构造一个查询

      q

      q

      q

    • 同一张图会参与多个不同维度的训练样本
    • 这让模型学会:同一个查询维度下判断质量,而不是给图打总体分

    5. 损失函数详解

    L

    (

    ϕ

    )

    =

    −

    1

    2

    E

    (

    x

    w

    ,

    x

    l

    ,

    q

    )

    ∈

    D

    [

    log

    ⁡

    P

    ϕ

    (

    y

    +

    ∣

    x

    w

    ,

    x

    l

    ,

    q

    )

    +

    log

    ⁡

    P

    ϕ

    (

    y

    −

    ∣

    x

    l

    ,

    x

    w

    ,

    q

    )

    ]

    \\mathcal{L}(\\phi) = -\\frac{1}{2}\\mathbb{E}_{(x^w, x^l, q) \\in \\mathcal{D}} [\\log \\mathbb{P}_\\phi(y^+ \\mid x^w, x^l, q) + \\log \\mathbb{P}_\\phi(y^- \\mid x^l, x^w, q)]

    L(ϕ)=−21​E(xw,xl,q)∈D​[logPϕ​(y+∣xw,xl,q)+logPϕ​(y−∣xl,xw,q)]

    这个损失函数包含两项,对应两种输入顺序:

    第一项:

    log

    ⁡

    P

    ϕ

    (

    y

    +

    ∣

    x

    w

    ,

    x

    l

    ,

    q

    )

    \\log \\mathbb{P}_\\phi(y^+ \\mid x^w, x^l, q)

    logPϕ​(y+∣xw,xl,q)

    • 输入顺序:(winner, loser)
    • 期望输出:Yes(

      y

      +

      y^+

      y+)

    • 含义:第一张图更好,回答"是"

    第二项:

    log

    ⁡

    P

    ϕ

    (

    y

    −

    ∣

    x

    l

    ,

    x

    w

    ,

    q

    )

    \\log \\mathbb{P}_\\phi(y^- \\mid x^l, x^w, q)

    logPϕ​(y−∣xl,xw,q)

    • 输入顺序:(loser, winner) —— 顺序交换了!
    • 期望输出:No(

      y

      −

      y^-

      y−)

    • 含义:第一张图更差,回答"否"

    前面的

    1

    2

    \\frac{1}{2}

    21​ 是取平均,因为有两项。


    6. 非交换性(Non-commutative)的含义

    “此公式是非交换的,因为当第一个位置的图像质量更高时,查询会期望响应

    y

    +

    y^+

    y+”

    什么是交换性?

    • 如果交换

      x

      w

      x^w

      xw 和

      x

      l

      x^l

      xl 的位置,结果不变 → 交换的(commutative)

    • 如果交换位置后结果改变 → 非交换的(non-commutative)

    为什么设计为非交换?

    • 模型必须感知到输入顺序才能给出正确答案
    • 这强制模型真正理解"哪张图更好",而不是输出一个与顺序无关的固定偏见
    • 防止模型总是输出"Yes"或总是输出"No"来偷懒

    训练效果:

    • 模型学会:根据查询

      q

      q

      q 指定的维度,比较两张图在该维度上的差异

    • 输入顺序决定了期望回答的方向
    • 这让一个模型能处理多个维度,因为查询

      q

      q

      q 会告诉它"现在按什么标准比"


    总结:这套机制的核心价值

    设计解决的问题
    比较而非评分 绝对分数不稳定、易被攻击
    多标签标注 一张图在不同维度上质量不同
    顺序敏感训练 防止模型偷懒,强制真正比较
    查询驱动 一个模型评估所有维度,无需多个输出头

    一句话概括:OneReward 通过"交换顺序+对比学习",让 VLM 学会根据文本指令指定的维度,对图像进行定向的相对比较,从而实现细粒度、多维度的质量评估。

    回到原文

    Accuracy(%)Text AlignmentConsistencyStructureAestheticsRemoval Quality
    Image Fill 83.77 74.23 74.63 72.10 –
    Image Extend 80.36 72.50 74.29 71.10 –
    Object Removal – – – – 84.93

    Table 1: Accuracy of the reward model across multiple editing tasks and evaluation dimensions. Each entry denotes the model’s accuracy in distinguishing winners from losers on the test set for a given dimension (e.g., Text Alignment, Consistency, Structure, Aesthetics, Removal Quality). Higher values indicate more reliable preference discrimination by the reward model. 表1:奖励模型在多个编辑任务和评估维度上的准确率。每个条目表示模型在给定维度(例如,文本对齐、一致性、结构、美学、删除质量)的测试集中区分获胜者和失败者的准确率。较高的值表示奖励模型更可靠的偏好区分能力。

    Table 1 reports the accuracy of our reward model in different sub-task and evaluation dimensions. The results show that text alignment achieves the highest accuracy, exceeding 80% in both image fill and image extend. Other dimensions such as consistency, structure, and aesthetics yield moderate but stable accuracies, mostly in the low–mid 70% range. 表1报告了我们的奖励模型在不同子任务和评估维度上的准确率。结果表明,文本对齐达到了最高的准确率,在图像填充和图像扩展两个任务中均超过了80%。其他维度如一致性、结构和美学则取得了中等但稳定的准确率,大多在70%中低段范围内。

    For the object removal task, the model reaches 84.93% in removal quality, indicating that it is particularly effective at capturing human preferences in this setting. Since the underlying VLM is pre-trained with multimodal supervision, it is naturally more sensitive to text–image correspondence, making text alignment easier to discriminate, whereas dimensions related to intrinsic visual quality remain more challenging. 在物体移除任务中,该模型在移除质量方面达到了 84.93%,表明其在该场景下特别擅长捕捉人类偏好。由于底层 VLM 经过多模态监督预训练,因此它自然对文本-图像对应关系更为敏感,使得文本对齐更容易区分,而与内在视觉质量相关的维度仍然更具挑战性。

    Overall, these results suggest that the model generalizes well across tasks and metrics. 总而言之,这些结果表明该模型在任务和指标上具有良好的泛化能力。

    问题4:奖励模型准确率的影响

    用一个准确率70%到80%的奖励模型去作为强化学习的反馈,这对吗?

    这是一个非常敏锐的质疑。简单来说:70%-80% 的准确率确实不完美,但在强化学习(RL)语境下,它通常"足够好用",甚至已经是业界可接受的标准。


    1. 奖励模型在 RL 中的真实角色

    RL 中的奖励模型(RM)不需要像人类裁判那样100%准确。它的核心作用是提供有方向的梯度信号,而不是给出终极真理。

    • 方向正确性:只要 RM 判断"图 A 比图 B 好"的趋势与人类偏好正相关,RL 就能沿着这个方向优化。
    • 噪声容忍:PPO 等 RL 算法本身对奖励噪声有一定鲁棒性。只要噪声是随机的而非系统性的偏差,模型仍然能收敛到更好的策略。

    换句话说,RM 是指南针,不是GPS 导航。它只需要指对大方向,不需要精确到厘米。


    2. Pairwise Comparison 的容错性更强

    OneReward 使用的是成对比较(pairwise)而非绝对评分:

    • 随机基线:二选一的随机准确率是 50%。
    • 70%-80% 的实际意义:相比随机猜测,OneReward 将判断准确率提升了 20-30 个百分点。这意味着它捕捉到了人类偏好的显著统计规律。

    在 RL 中,这相当于告诉模型:“你这次生成的图有 70%-80% 的概率比上次好/差”。这个信号虽然带噪,但期望方向是正确的,经过大量迭代后,噪声会被平均掉,策略仍会向高处移动。


    3. 与业界标准的对比

    这并非 OneReward 的特例,而是 RLHF/RLAIF 领域的常态:

    工作奖励模型准确率效果
    InstructGPT (OpenAI, 2022) ~70-75% 成功引导 GPT-3 产生显著改进
    Llama 2 (Meta, 2023) 未公开精确数字,但业界推测在类似区间 成为当时最强开源模型之一
    OneReward 70-80%(多任务统一模型) 论文后续实验表明 RL 后模型确实提升

    关键洞察:如果等到 RM 准确率达到 90% 以上才做 RL,往往意味着:

    • 要么任务极其简单(不需要 RM 了)
    • 要么 RM 过拟合了训练数据,泛化能力反而下降

    4. 多任务统一模型的 Trade-off

    OneReward 的特殊性在于它是一个模型覆盖 8 个任务 × 多个维度:

    • 如果为每个任务的每个维度单独训练专用 RM,准确率可能提升到 85-90%。
    • 但代价是:计算成本爆炸、维护困难、无法跨任务泛化。

    70-80% 是在"统一性"和"准确性"之间的有意权衡。论文的卖点正是"一个模型搞定所有",为此牺牲 10-15% 的绝对准确率是可接受的。


    5. 实践中如何缓解噪声

    论文虽然没有详述,但 RL 系统通常有内置机制防止 RM 的错误信号"带偏"模型:

  • KL 散度约束:限制 RL 策略与原始 SFT 模型的偏离程度。即使 RM 偶尔判断错误,模型也不会走得太偏。
  • Reward Hacking 防护:OneReward 本身就是为防 hack 设计的(pairwise + 多维度),低准确率反而降低了被 hack 的风险——模型很难找到一个"骗过 RM"的固定模式。
  • 多维度制衡:单一维度可能有噪声,但多个维度(美学+结构+一致性)同时优化时,误差会相互抵消。

  • 结论

    你的质疑在理论上完全成立:如果 RM 只有 70% 准确率,意味着 20-30% 的反馈是错误的。但在工程实践中:

    RL 问的不是"这个 RM 完美吗?“,而是"这个 RM 比原始模型自带的评估能力更好吗?”

    只要 RM 的判断比基线模型自己"觉得好"更接近人类偏好,它就能作为有效的反馈信号。70-80% 的 pairwise 准确率,加上 KL 约束和多维度制衡,足以驱动有意义的策略改进。

    当然,这也解释了为什么 RLHF 生成的图像有时仍然会有瑕疵——因为奖励信号本身就不完美,模型是在"有噪反馈"中寻找局部最优。

    赞(0)
    未经允许不得转载:171主机测评 » OneReward的理解3——多维成对奖励模型训练
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址