MIGC: Multi-Instance Generation Controller for Text-to-Image Synthesis（MIGC：用于文本到图像合成的多实例生成控制器）
原文链接： https://arxiv.org/abs/2402.05408[2]
摘要：
我们提出了多实例生成（MIG）任务，旨在在单张图像内同步生成多个实例，并实现对这些实例的多样化控制。给定一组预先定义的坐标及其对应的描述信息，该任务的核心要求是：生成的实例需精准匹配指定位置，且所有实例的属性均严格遵循其对应的描述内容。这一任务拓展了现有单实例生成的研究范畴，将其推向更具通用性与实用性的维度。受分治法思想的启发，我们提出了一种创新性方法 ——多实例生成控制器（MIGC），以此应对多实例生成任务面临的诸多挑战。具体而言，我们首先将多实例生成任务拆解为若干个子任务，每个子任务对应单个实例的着色操作；为确保每个实例着色的精准性，我们进一步引入了实例增强注意力机制。最后，我们对所有完成着色的实例进行整合，为在稳定扩散模型（SD）中精准生成多个实例提供所需信息。为评估生成模型在多实例生成（MIG）任务上的性能表现，我们构建了COCO-MIG 基准数据集，并配套设计了一套完整的评估流程。我们不仅在提出的 COCO-MIG 基准数据集上开展了大量实验，还在各类常用基准数据集上进行了验证。评估结果表明，我们的模型在数量控制、位置控制、属性控制以及实例交互这四个维度均展现出卓越的控制能力。相关代码与演示示例将在以下网址开源：https://migcproject.github.io/。
核心概要：核心任务是多实例生成，即在一张图像中生成多个实例，每个实例必须严格遵循其对应描述的内容（如颜色、位置等）。核心方法是MIGC，其思想是将复杂的多实例生成任务分解为多个子任务，引入增强注意力机制以强化各实例特征，最后将所有子任务的结果整合至单张图像中。
挑战：
-
实例需同时符合描述与布局：生成的实例需同时满足其文本描述和指定的空间位置。
-
实例间的全局对齐：需要确保所有实例在全局图像中协调一致。
-
文本编码器的局限性：现有文本编码器（如CLIP）难以从包含多个属性的提示词中，精确分离出每一项独立属性。
-
交叉注意力层缺乏位置控制：稳定扩散模型中的交叉注意力层不具备对生成内容进行精确空间位置控制的能力。
流程图：
输入任务与分解：
- 输入数据：
- Global Prompt (全局提示词)： 用户输入的完整句子，例如 “A blue cat is on the left of a green dog”。
- Layout (布局信息)： 用户指定的 Bounding Box（边界框）坐标。
- Image Feature (图像特征)： 来自 U-Net 上一层的中间特征图（Feature Map），这是需要被“上色”或“去噪”的对象。
- 预处理：
- 系统利用 NLP 工具（如 Stanza，论文中提到的）将 Global Prompt 拆解为多个 Instance Description (实例描述)，即 d1=“blue cat”，d2=“green dog”
- 将 Layout 坐标转换为二进制的 Attention Masks (注意力掩码)，记为 Mi。在 Mi 中，物体框内的像素值为 1，框外为 0。
- 同时生成一个 Background Mask (背景掩码)，即所有物体框以外的区域。
- 实例切分：
- 并行流构建： 模型将原本单一的 Cross-Attention 计算过程，拆分为 N+1 个并行的子任务流（N 个实例 + 1 个背景）。
- 图示中的箭头分叉表示：同一份 Image Feature 被分别送入不同的通道，准备与不同的 Text Embedding（蓝猫的词向量、绿狗的词向量）进行交互。
实例级特征生成：
冻结的交叉注意力层 (Frozen Cross-Attention )：
- 状态： Frozen (参数冻结)。这是直接复用预训练好的 Stable Diffusion 的权重，不参与训练。
- 输入：
- **Query (Q)：**来自 Image Feature。
- Key/Value (K,V)： 来自对应的实例提示词（如 “blue cat”）的 CLIP Text Embedding。
- 输出： 原始的 Attention Output，记为 RfiR_f^iRfi。
- 作用： 利用 SD 强大的先验知识，生成对应文本描述的基础视觉特征。
掩码操作 (Masking)：
- 生成的特征图会与对应的 Instance Mask (Mi) 进行点乘操作。
- 目的： 强制限制特征的响应区域。确保 “blue cat” 的特征只激活在左下角的框内，框外区域特征置零。
增强注意力层 (Enhancement Attention)：
- 状态： Trainable (可训练)。这是 MIGC 新引入的模块（MLP 或 额外的 Attention 层）。
- 输入： 原始 Image Feature 以及 冻结层的输出。
- 计算逻辑： 它计算一个残差项（Residual）。
- 目的： 解决“实例丢失”或特征微弱的问题。在Mask操作后，特征可能出现不连续或强度不足，此模块负责补充和增强特定区域的语义信息。
- 输出： 增强后的单实例特征图，即N个着色实例。
特征融合与聚合：
布局注意力 (Layout Attention – 顶部模块 )：
- 输入： Global Prompt（全局提示词）。
- **作用：**不关注具体的局部物体，而是关注整体画面的语义一致性与全局上下文，生成一个特征模板。这有助于处理物体间的交互关系和整体氛围。
阴影聚合控制器 (Shading Aggregation Controller – 竖向绿色长条)：
-
输入：
-
N个 Shading Instances（来自 Step 2，即猫和狗的特征）。
-
1 个 Shading Background（来自背景流）。
-
1 个 Shading Template（来自 Layout Attention）。
-
-
核心算法 (Softmax)： 这是一个像素级的门控机制（Gating Mechanism）。
- 对于特征图上的每一个像素位置(x,y)，控制器会计算上述所有输入流的权重。
- 如果位置(x,y)处于不同实例的重叠区，控制器会动态决定各实例的权重。
- 公式上表现为在通道维度或实例维度上进行 Softmax 操作，归一化权重。
-
输出： 加权求和后的 Final Shading Result。
残差连接 (Element-Wise Addition – 右下角 )：
- MIGC 输出的这个融合后的特征图，不是直接替换原图，而是作为一个 Residual (残差)，通过 Element-Wise Addition (逐元素相加) 的方式，加回到原始的 Image Feature 上。
- 这符合 Stable Diffusion 的去噪原理：根据文本提示预测出特征的修正量，然后应用于原特征。
核心技术实现：
3.1预备知识
主要修改Stable Diffusion里的Cross-Attention层
核心公式Attention(Q,K,V)=Softmax(QKTd)V\\text{Attention}(Q,K,V) = \\text{Softmax}\\left(\\frac{QK^T}{\\sqrt{d}}\\right)VAttention(Q,K,V)=Softmax(d
QKT)V
其中，Q代表图像特征，K和V代表文本提示的特征。
传统Cross-Attention中，图像特征（Q）会关注整个文本序列（K），以获取全局语义。而MIGC的目标是控制Q：使其在特定空间位置，只能关注对应的那个实例描述，而不能关注其他实例的描述。
3.2 概览
-
问题定义：
-
用户输入：全局提示词，位置框，局部描述
-
任务目标：生成一张图像I\\mathcal{I}I要求：框b1里必须长得像 d1（蓝猫），框 b2 里必须长得像 d2（绿狗），而且整张图要看起来自然（Global Alignment）。
-
-
MIG任务的难点：
-
**Textual Leakage（文本泄露）：**目标为生成“蓝猫、红狗”，但结果可能出现“红猫、蓝狗”或颜色混合的怪物。这是因为Stable Diffusion使用的CLIP文本编码器在处理长句时，由于因果注意力掩码机制，单词之间会互相干扰。
-
**Spatial Leakage（空间泄露）：**即使指定了猫在左下角的框内，猫仍可能出现在中间或与狗重叠。这是因为原始的Cross-Attention机制是全局性的，模型在生成左下角像素时，不仅会关注“猫”这个词，也会关注“狗”这个词，缺乏空间“边界感”。
-
-
动机：
- 采用分而治之策略。
3.3 任务分解
- 着色的定义：在Stable Diffusion中，图像初始为噪点，Cross-Attention是文本特征与图像特征交互以决定生成内容的唯一途径。作者将此过程类比为“着色”。
- 数学表示：Ri=argminRi(∥Ri−Rcorrect∥2,Mi)(2)\\boldsymbol{R}^i = \\arg \\min_{\\boldsymbol{R}^i} \\left( \\left\\| \\boldsymbol{R}^i – \\boldsymbol{R}^{\\text{correct}} \\right\\|_2, \\boldsymbol{M}^i \\right) \\tag{2}Ri=argRimin
