深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识（下篇）

写在前面

欢迎大家关注Rocky的知乎：Rocky Ding AIGC算法工程师/开发工程师面试面经秘籍分享：WeThinkIn/Interview-for-Algorithm-Engineer欢迎大家Star～

AIGC时代的 《三年面试五年模拟》AI算法工程师求职面试秘籍独家资源： 【三年面试五年模拟】AI算法工程师面试秘籍

Rocky最新撰写AI Agent（AI智能体）的深入浅出全维度解析文章： 深入浅出完整解析AI Agent（AI智能体）的核心基础知识

AIGC算法岗/开发岗面试面经交流社群（涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/33pJ0

码字不易，希望大家能多多点赞！

GAN的技术周期已经彻底结束，因此Rokcy将只撰写这一篇文章彻底总结GAN的在AI行业的本质价值与历史定位。

谨以此文，献给2018年那个曲折探索的传统深度学习时代和Rocky当时对GAN以及生成式AI技术的战略豪赌。

那些年遇到的灿烂的阳光、可贵的品质、鲜活的面容、坚强的精神和年轻的我们，相信是我们在AIGC时代和未来的AGI时代持续前进的认知底色。

大家好，我是Rocky。

2022年至今，Stable Diffusion、FLUX、Nano Banana、Seedream（即梦）、Midjourney、DeepSeek、Sora以及GPT-4o等AIGC大模型密集爆发，引领了全新的AI科技浪潮，AI行业正式进入AIGC时代。

生成对抗网络（GAN，Generative Adversarial Network）模型曾是传统深度学习时代图像生成领域无可争议的“王者”。 但进入 AIGC 时代后，其核心应用场景 —— 图像生成创作，与Stable Diffusion、FLUX等扩散模型高度重合，并且Stable Diffusion/FLUX的整体生成能力更加强大、开源生态更加繁荣。 一时间，“GAN已死”、“扩散模型全面取代GAN” 的论调在自媒体圈甚嚣尘上。

但GAN真的在 AIGC 时代一无是处、彻底凉了、被行业全面弃用了吗？

答案恰恰相反。GAN不仅没有被淘汰，反而在AIGC时代找到了最精准的定位与不可替代的价值 —— 成为AIGC图像创作领域的关键辅助模型。 在如今以"Stable Diffusion/FLUX系列AIGC基座大模型 + LoRA系列微调模型 + ControlNet系列控制模型 + 各类AIGC可控生成技术"为核心的主流AIGC图像创作解决方案/产品中，GAN已经化身为无处不在的"万金油"模块。它在数据增强、图像超分辨率重建、人脸修复、图像Low-Level处理、图像编辑、风格迁移、图像融合等细分方向上持续发挥着不可替代的作用。

可以说，这一次随着AIGC时代的全面到来，曾经被诟病"难以落地"的GAN模型，终于迎来了真正意义上的大规模产业落地。

在本文中，Rocky主要将对GAN模型在AIGC时代中的全维度各个方面的知识都做一个深入浅出的分析讲解，其中包括GAN模型的核心原理与架构讲解、GAN主流变体模型的跨周期创新点与核心价值讲解、GAN主流优化技术的原理讲解、StyleGAN系列和GigaGAN等AIGC时代依旧在细分领域挑大梁的核心模型原理讲解、GAN在AIGC时代的主流应用场景讲解、GAN模型的核心资源整合汇总等干货内容，希望能给大家带来帮助！

4. GAN的主流变体模型及其在AIGC时代的主流应用场景深入浅出完整讲解

4.1 AIGC时代主流的Low-Level技术概念及其核心GAN模型

在AIGC时代，虽然商业级的文生图、图生图、图像可控生成、图像文字渲染、图像补全等AIGC图像创作核心方向已经由Stable Diffusion/FLUX为主的扩散模型所接手，但是GAN在图像超分、图像去噪/Deblur、人脸修复、图像增强、图像补全、人脸磨皮、人像美白等Low-Level功能领域彻底落地。

GAN模型的优势在于低延迟 、端到端轻量 、 效果稳定，所以在这些AIGC细分任务中持续发挥着关键作用。

下面Rocky将详细阐述有价值的Low-Level技术领域的任务需求、主流GAN模型，以及这些模型如何实现相应功能。

在AIGC时代扩散模型和GAN融合​发展的生态中，以上的核心功能特点常作为复杂AIGC工作流中的一环，例如在Stable Diffusion、FLUX等扩散模型的前处理和后处理中，扮演“得力助手”的角色。

4.2 GAN模型在超分辨率重建场景的应用

超分辨率重建（Super-Resolution, SR）是指通过AI算法将低分辨率图像转换为高分辨率图像的过程。这个过程可以使用GAN模型和AIGC扩散模型来提升图像的细节和清晰度。这一过程对于许多AI应用场景至关重要，如作为AIGC图像创作解决方案的前/后处理、视频/图像增强等。

接下来，Rocky将以Real-ESRGAN模型为例，解析一下GAN模型在超分辨率重建领域的发展脉络。

Real-ESRGAN（Real-Enhanced Super-Resolution Generative Adversarial Networks） 是经典的采用生成对抗网络（GAN） 架构，核心由生成器（SR 网络） 和判别器两部分组成的主流超分辨率重建模型。

本系列的发展脉络为SRGAN -> ESRGAN -> BSRGAN -> Real-ESRGAN，Rocky在这里重点讲解Real-ESRGAN的核心原理，并在最后对整个系列模型的发展脉络与各系列的标志性创新点进行汇总分享。

【Real-ESRGAN生成器架构】

Real-ESRGAN 的生成器沿用了 ESRGAN 的残差密集块（RRDB） 主干网络，这是目前超分领域最成熟的生成器结构之一。论文在此基础上扩展了对×2、×1 超分的支持，并通过工程优化大幅降低了计算开销。

输入(LR) → 初始卷积层 → 23个串联RRDB块 → 上采样模块(×4) → 输出卷积层 → 输出(HR)

• RRDB 块：由多个残差块和密集连接组成，相比普通残差块具有更强的特征提取能力和梯度传播效率，能有效恢复高频细节。
• 上采样模块：采用像素洗牌（Pixel Shuffle） 操作实现×4 上采样，避免了转置卷积常见的棋盘格伪影。

为了支持×2 和×1 超分（×1 主要用于去噪、去伪影等图像增强任务），论文引入了像素反洗牌（Pixel Unshuffle） 操作作为输入预处理：

输入(任意尺度) → Pixel Unshuffle → 降维后的特征图 → RRDB主干 → 上采样模块 → 输出(HR)

• Pixel Unshuffle 原理：是 Pixel Shuffle 的逆操作，将空间维度的信息重排到通道维度。例如，×2 超分时，先将输入的 H×W×3 特征图转换为 (H/2)×(W/2)×12，再送入 RRDB 主干。
• 核心优势：将大部分计算转移到更低分辨率的特征空间，减少了70%以上的GPU显存占用和计算量，同时保持了与原生×4架构相当的性能。

Real-ESRNet 是生成器的PSNR 导向版本，仅使用 L1 损失训练，不包含 GAN 部分。它作为 Real-ESRGAN 训练的初始化权重，保证了基础重建质量，避免了 GAN 训练初期的模式崩溃问题。

【Real-ESRGAN判别器架构】

这是 Real-ESRGAN 与 ESRGAN 最大的区别。ESRGAN 采用 VGG 式的全局判别器，而 Real-ESRGAN 提出了带谱归一化的 U-Net 判别器，彻底解决了复杂退化场景下判别能力不足和训练不稳定的问题。

输入(HR/生成图像) → 下采样编码器(4层) → 瓶颈层 → 上采样解码器(4层) → 逐像素真实度输出
↓ ↑
└───跳跃连接─────┘

• 编码器：由4个带谱归一化的卷积层组成，逐步降低空间分辨率，提取高层语义特征。
• 解码器：由4个上采样卷积层组成，逐步恢复空间分辨率，同时通过跳跃连接融合编码器的低层细节特征。
• 输出：与输入图像同尺寸的逐像素真实度图，每个像素值表示该位置是真实图像的概率。

论文在 U-Net 判别器的所有卷积层都应用了谱归一化：

• 原理：约束判别器权重矩阵的谱范数为1，保证判别器满足 Lipschitz 连续性。
• 核心作用：

【Real-ESRGAN完整训练流程与损失函数】

Real-ESRGAN 采用两阶段训练策略，配合多损失函数联合监督，实现了重建精度和感知效果的平衡。

• 损失函数：仅使用 L1 损失（像素级重建损失）。
• 训练目标：让生成器学习基础的图像重建能力，保证输出图像的整体结构正确。
• 训练细节：在 DIV2K、Flickr2K 和 OutdoorSceneTraining 数据集上训练 1000K 迭代，学习率 2×10⁻⁴。

L

L

1

=

E

x

∼

p

L

R

(

x

)

,

y

∼

p

H

R

(

y

)

[

∥

G

θ

(

x

)

−

y

∥

1

]

\\mathcal{L}_{L1} = \\mathbb{E}_{x \\sim p_{LR}(x), y \\sim p_{HR}(y)} \\left[ \\left\\| G_{\\theta}(x) – y \\right\\|_1 \\right]

LL1​=Ex∼pLR​(x),y∼pHR​(y)​[∥Gθ​(x)−y∥1​]

符号定义：

• $G_{\theta }$
• $x$
• $y$
• $\Vert \cdot {\Vert }_1$
• $\mathbb{E}[\cdot ]$

• 初始化：使用第一阶段训练好的 Real-ESRNet 权重初始化生成器。
• 损失函数：三种损失加权组合，总权重为 1:1:0.1：

• 训练细节：训练 400K 迭代，学习率 1×10⁻⁴，采用指数移动平均（EMA）进一步稳定训练。

总损失公式：

L

t

o

t

a

l

=

λ

L

1

⋅

L

L

1

+

λ

p

e

r

c

e

p

⋅

L

p

e

r

c

e

p

+

λ

g

a

n

⋅

L

g

a

n

\\mathcal{L}_{total} = \\lambda_{L1} \\cdot \\mathcal{L}_{L1} + \\lambda_{percep} \\cdot \\mathcal{L}_{percep} + \\lambda_{gan} \\cdot \\mathcal{L}_{gan}

Ltotal​=λL1​⋅LL1​+λpercep​⋅Lpercep​+λgan​⋅Lgan​

论文官方权重设置：

λ

L

1

=

1

,

λ

p

e

r

c

e

p

=

1

,

λ

g

a

n

=

0.1

\\lambda_{L1}=1, \\quad \\lambda_{percep}=1, \\quad \\lambda_{gan}=0.1

λL1​=1,λpercep​=1,λgan​=0.1

L1 像素损失（与第一阶段一致）作用：保证生成图像与真值在像素级上的一致性，避免颜色偏移和结构失真。公式同第一阶段。

感知损失（Perceptual Loss）作用：在特征空间而非像素空间衡量图像相似度，更符合人类视觉感知，能有效提升图像的视觉质量。Real-ESRGAN 使用预训练 VGG19 网络的特征图计算感知损失，且采用激活前的特征图（比激活后效果更好）。具体公式如下：

L

p

e

r

c

e

p

=

E

x

,

y

[

∑

i

=

1

5

w

i

⋅

∥

ϕ

i

(

G

θ

(

x

)

)

−

ϕ

i

(

y

)

∥

1

]

\\mathcal{L}_{percep} = \\mathbb{E}_{x, y} \\left[ \\sum_{i=1}^{5} w_i \\cdot \\left\\| \\phi_i(G_{\\theta}(x)) – \\phi_i(y) \\right\\|_1 \\right]

Lpercep​=Ex,y​[i=1∑5​wi​⋅∥ϕi​(Gθ​(x))−ϕi​(y)∥1​]

符号定义：

• ${\varphi }_i(\cdot )$
• $w_i$

论文官方层权重设置：

逐像素 GAN 损失（Pixel-wise GAN Loss）是 Real-ESRGAN 与 ESRGAN 最核心的损失差异。ESRGAN 使用全局判别器输出单一标量的 GAN 损失，而 Real-ESRGAN 的 U-Net 判别器输出逐像素的真实度图，因此 GAN 损失是逐像素计算的。

生成器 GAN 损失（非饱和形式）：

L

g

a

n

G

=

E

x

[

−

1

H

×

W

∑

h

=

1

H

∑

w

=

1

W

log

⁡

D

ϕ

(

G

θ

(

x

)

)

h

,

w

]

\\mathcal{L}_{gan}^G = \\mathbb{E}_{x} \\left[ -\\frac{1}{H \\times W} \\sum_{h=1}^{H} \\sum_{w=1}^{W} \\log D_{\\phi}(G_{\\theta}(x))_{h,w} \\right]

LganG​=Ex​[−H×W1​h=1∑H​w=1∑W​logDϕ​(Gθ​(x))h,w​]

判别器 GAN 损失：

L

g

a

n

D

=

E

y

[

−

1

H

×

W

∑

h

=

1

H

∑

w

=

1

W

log

⁡

D

ϕ

(

y

)

h

,

w

]

+

E

x

[

−

1

H

×

W

∑

h

=

1

H

∑

w

=

1

W

log

⁡

(

1

−

D

ϕ

(

G

θ

(

x

)

)

h

,

w

)

]

\\mathcal{L}_{gan}^D = \\mathbb{E}_{y} \\left[ -\\frac{1}{H \\times W} \\sum_{h=1}^{H} \\sum_{w=1}^{W} \\log D_{\\phi}(y)_{h,w} \\right] + \\mathbb{E}_{x} \\left[ -\\frac{1}{H \\times W} \\sum_{h=1}^{H} \\sum_{w=1}^{W} \\log(1 – D_{\\phi}(G_{\\theta}(x))_{h,w}) \\right]

LganD​=Ey​[−H×W1​h=1∑H​w=1∑W​logDϕ​(y)h,w​]+Ex​[−H×W1​h=1∑H​w=1∑W​log(1−Dϕ​(Gθ​(x))h,w​)]

符号定义：

• $D_{\varphi }$
• $D_{\varphi }(I{)}_{h,w}$
• $H,W$

最后，Rocky在总结一下Real-ESRGAN vs ESRGAN vs BSRGAN vs SRGAN核心差异对比表（标志性创新）：

【GAN与UltimateSDUpscale组合进行超分辨率AI图像创作生成】

UltimateSDUpscale ComfyUI地址：ComfyUI_UltimateSDUpscale

UltimateSDUpscale WebUI地址：ultimate-upscale-for-automatic1111

4.3 GAN模型在盲人脸修复场景的应用

GFPGAN（Generative Facial Prior GAN）是腾讯PCG应用研究中心（ARC）提出的真实场景盲人脸修复模型，核心突破是将预训练人脸StyleGAN中封装的丰富生成先验融入修复流程，在单次前向推理中实现人脸修复的真实感与保真度的平衡，同时完成细节修复与色彩增强，解决了传统方法在真实低质人脸场景下效果差、泛化弱、落地难的核心痛点。

盲人脸修复的目标是从存在未知退化（低分辨率、模糊、噪声、JPEG压缩伪影等）的低质人脸中，恢复出高保真、高真实感的高清人脸。传统方法存在两大核心瓶颈：

• 几何先验失效：依赖人脸关键点、解析图、组件热力图等几何先验，但极低质输入下无法准确估计这些先验，且其仅能提供几何约束，缺少纹理、色彩等细节信息；
• 参考先验落地难：需要同身份的高质量参考图或人脸组件字典，现实中高质量参考图难以获取，字典的容量有限，无法覆盖人脸的多样性，对头发、耳朵、人脸轮廓等非字典区域修复效果差；
• GAN反演方法缺陷：传统GAN反演需将低质图像映射到预训练GAN的潜码空间，再通过逐图迭代优化生成结果，推理成本极高，且低维潜码无法精准保留输入人脸的身份与细节，保真度严重不足。

GFPGAN的核心逻辑是利用预训练人脸GAN（StyleGAN2）中隐式编码的生成人脸先验（Generative Facial Prior, GFP），替代传统的几何/参考先验，通过精细化的网络设计与损失约束，将生成先验无缝融入修复流程，在单次前向推理中实现真实感与保真度的较好平衡。

• 预训练的StyleGAN2在大规模人脸数据上学习到了人脸的几何结构、纹理细节、色彩分布等丰富且通用的先验知识，这些知识封装在模型权重中，无需从低质输入中估计，从根源上解决了传统先验的失效问题；
• 摒弃传统GAN反演的迭代优化模式，通过潜码映射+多分辨率通道拆分空间特征调制（CS-SFT），既利用GAN先验生成高真实感的人脸细节，又精准保留输入人脸的身份、姿态、表情等核心信息；
• 借助生成先验中包含的色彩先验，实现人脸修复与色彩增强/黑白上色的端到端联合处理，无需额外模型分支。

【GFPGAN模型架构】

GFPGAN是端到端的编解码架构，核心由退化去除模块、生成人脸先验模块、CS-SFT桥接模块、多维度损失约束模块四大部分组成，整体架构如下图所示：

低质人脸输入 → 退化去除U-Net → 潜特征Flatent + 多分辨率空间特征Fspatial
↓ ↓
潜码映射MLP → StyleGAN2 → GAN特征FGAN → CS-SFT层（粗到细）→ 修复高清人脸输出

退化去除模块。该模块采用7次下采样+7次上采样的U-Net结构，每个采样单元均包含残差块，是模型的前置核心模块，核心作用有两点：

• 潜特征Flatent：用于映射到StyleGAN2的潜空间，找到与输入人脸最匹配的潜码；
• 多分辨率空间特征Fspatial：用于后续对StyleGAN2的特征进行空间调制，保留输入的空间与身份信息。

同时，该模块引入金字塔重建损失做中间监督：对U-Net解码器每个分辨率的输出都施加L1损失，约束其与真值图像的高斯金字塔对齐，强化模型对复杂退化的去除能力。

生成人脸先验与潜码映射模块。该模块以预训练的512×512分辨率StyleGAN2为核心载体，是生成人脸先验（GFP）的来源，核心流程为：

通道拆分空间特征变换（CS-SFT）层。CS-SFT层是连接退化去除模块与预训练GAN模块的核心桥接，也是模型的核心创新单元，解决了生成先验融入时“真实感与保真度难以平衡”的行业难题。

• 分支1：恒等映射分支，直接保留原始GAN特征，确保生成结果的真实感，充分利用生成人脸先验；
• 分支2：SFT调制分支，用输入的Fspatial生成的α、β做空间特征变换，保留输入人脸的空间、身份、表情信息，确保保真度； 最终将两个分支的特征在通道维度拼接，公式为： $F_{output}=Concat\left[Identity(F_{GAN}^{split0}),\alpha \odot F_{GAN}^{split1}+\beta \right]$
• 部署方式：CS-SFT层以从粗到细的方式，部署在StyleGAN2的每个分辨率层级，实现多尺度的特征调制，同时降低了调制所需的计算量，提升了推理效率。

多维度损失约束模块。模型的整体训练目标由4类损失组合而成，公式为：

L

t

o

t

a

l

=

L

r

e

c

+

L

a

d

v

+

L

c

o

m

p

+

L

i

d

\\mathcal{L}_{total} = \\mathcal{L}_{rec} + \\mathcal{L}_{adv} + \\mathcal{L}_{comp} + \\mathcal{L}_{id}

Ltotal​=Lrec​+Ladv​+Lcomp​+Lid​

通过多维度损失约束，同时保障修复结果的像素一致性、真实感、细节精度与身份保真度。

GFPGAN的训练完全基于合成退化数据，同时构建了多维度测试集验证模型的泛化能力，具体构建方案如下：

模型的基础训练数据为FFHQ人脸数据集，该数据集包含70000张高质量高清人脸图像，覆盖不同种族、年龄、姿态、表情、光照条件，人脸多样性极强。训练阶段，所有图像均统一resize到512×512分辨率，为模型提供高质量的GroundTruth。

为模拟真实世界中未知、混合的人脸退化，论文设计了通用的退化模型，对FFHQ的高清真值图像做随机退化处理，生成配对的低质训练输入，退化公式为：

x

=

[

(

y

⊛

k

σ

)

↓

r

+

n

δ

]

J

P

E

G

q

x = \\left[\\left(y \\circledast k_{\\sigma}\\right) \\downarrow_{r} + n_{\\delta}\\right]_{JPEG_{q}}

x=[(y⊛kσ​)↓r​+nδ​]JPEGq​​

退化流程与参数范围如下：

训练阶段额外加入水平随机翻转与颜色抖动增强策略，进一步提升模型对不同人脸姿态、色彩偏移场景的鲁棒性，同时强化模型的色彩增强与上色能力。

为全面验证模型效果，论文构建了1个合成测试集与3个真实世界测试集，所有测试集均与训练集无重叠：

• CelebA-Test：合成测试集，包含3000张CelebA-HQ测试集图像，采用与训练一致的退化方式生成低质输入，用于量化评估模型的基础修复能力；
• LFW-Test：真实场景测试集，从LFW野生人脸数据集的验证集中提取1711张低质人脸图像，验证模型在野生场景的泛化性；
• CelebChild-Test：真实场景测试集，包含180张名人童年低质人脸图像，多为黑白老照片，验证模型对儿童人脸、老照片的修复能力；
• WebPhoto-Test：真实场景测试集，从互联网爬取188张真实生活中的低质照片，提取407张人脸，包含严重退化、色彩失真的老旧照片，验证模型在极端真实场景的鲁棒性。

4.4 GAN与MultiDiffusion组合进行超高清图像的精细化生成

在AIGC时代中，通过GAN+MultiDiffusion的组合，我们能够在6-8G的显卡上基于Stable-Diffusion创作4K超清大图！

MultiDiffusion中主要包括MultiDiffusion和Mixture of Diffusers两种方式，其核心思路是先基于一个预训练完成的扩散模型，将输入的噪声图像划分区块，针对每一个区块分别进行图像的生成。但是存在的问题是，不同的区块之间可能会存在区块边缘不连贯的问题，因此MultiDiffusion将不同区块的不连续部分进行融合，然后送入一个全局去噪采样后，即能保证最终生成图像的一致性。

下面是MultiDiffusion的核心代码，其提取图像各区块，并进行去噪采样的过程就生动的展现出来了：

with torch.autocast('cuda'):
for i, t in enumerate(self.scheduler.timesteps):
count.zero_()
value.zero_()

for h_start, h_end, w_start, w_end in views:
# TODO we can support batches, and pass multiple views at once to the unet
latent_view = latent[:, :, h_start:h_end, w_start:w_end]

# expand the latents if we are doing classifier-free guidance to avoid doing two forward passes.
latent_model_input = torch.cat([latent_view] * 2)

# predict the noise residual
noise_pred = self.unet(latent_model_input, t, encoder_hidden_states=text_embeds)['sample']

# perform guidance
noise_pred_uncond, noise_pred_cond = noise_pred.chunk(2)
noise_pred = noise_pred_uncond + guidance_scale * (noise_pred_cond – noise_pred_uncond)

# compute the denoising step with the reference model
latents_view_denoised = self.scheduler.step(noise_pred, t, latent_view)['prev_sample']
value[:, :, h_start:h_end, w_start:w_end] += latents_view_denoised
count[:, :, h_start:h_end, w_start:w_end] += 1

# take the MultiDiffusion step
latent = torch.where(count > 0, value / count, value)

在每个区块生成的同时，对每个区块使用GAN模型进行超分辨率重建，即可在6-8G的显卡上生成4k的超清大图。

4.5 GAN模型在交互式生成/编辑场景的应用

DragGAN是2023年SIGGRAPH最佳论文之一，由马普所、MIT等机构联合提出，核心是通过”点拖拽”实现GAN生成图像的像素级精准、交互式编辑，同时保持生成结果的真实性。它解决了传统GAN编辑依赖标注/3D先验、灵活性差、精度低的问题，支持跨类别（人物、动物、汽车、风景）的姿态、形状、表情、布局编辑。

DragGAN有一个核心洞察，即GAN生成器的中间特征空间具有极强的判别性，足以同时支撑两个核心任务：

• 驱动图像内容向用户指定方向移动（运动监督）
• 精准跟踪编辑过程中手柄点的语义位置（点跟踪）

所有编辑操作都在GAN学习到的生成图像流形上进行，因此即使是遮挡内容生成（如狮子张嘴露出牙齿）、刚性形变（如马腿弯曲）也能保持真实感。

DragGAN基于StyleGAN2实现，核心依赖其隐码空间和分层生成机制：

• 隐码空间：512维的w空间（全局一致）和更灵活的w+空间（每层独立隐码，支持更精细编辑）
• 分层控制：前6层主要控制图像的空间属性（姿态、形状），后层仅影响外观（纹理、颜色）
• 中间特征：生成器第6个block的特征图（256×256）在分辨率和判别性之间达到最优平衡，是DragGAN的核心计算载体

DragGAN的整体工作流程：

用户只需在图像上点击定义手柄点（红色，要移动的点）和目标点（蓝色，要到达的位置），可选绘制掩码（指定可编辑区域），系统通过迭代优化+点跟踪完成编辑：

DragGAN有两大核心组件。

目标：不依赖任何额外网络，通过优化隐码驱动手柄点向目标点移动。核心机制为移位特征块损失，定义为：

L

=

∑

i

=

0

n

∑

q

i

∈

Ω

1

(

p

i

,

r

1

)

∥

F

(

q

i

)

−

F

(

q

i

+

d

i

)

∥

1

+

λ

∥

(

F

−

F

0

)

⋅

(

1

−

M

)

∥

1

\\mathcal{L}=\\sum_{i=0}^{n} \\sum_{q_{i} \\in \\Omega_{1}\\left(p_{i}, r_{1}\\right)}\\left\\| F\\left(q_{i}\\right)-F\\left(q_{i}+d_{i}\\right)\\right\\| _{1}+\\lambda\\left\\| \\left(F-F_{0}\\right) \\cdot(1-M)\\right\\| _{1}

L=i=0∑n​qi​∈Ω1​(pi​,r1​)∑​∥F(qi​)−F(qi​+di​)∥1​+λ∥(F−F0​)⋅(1−M)∥1​

其中各参数含义：

• $p_i$
• $t_i$
• $d_i$
• ${\Omega }_1(p_i,r_1)$
• $F(q)$
• $M$
• $\lambda$
• 单向梯度传播：反向传播时不通过$F(q_i)$
• 分层隐码优化：仅优化StyleGAN2前6层的隐码，固定后层，保证编辑过程中图像外观（纹理、颜色）不变
• 掩码约束：第二项损失强制非掩码区域的特征与初始特征一致，实现”局部编辑、全局固定”

目标：在每次隐码优化后，精准更新手柄点的语义位置，避免后续运动监督作用于错误区域。

核心机制为特征空间最近邻搜索。传统点跟踪依赖光流模型（如RAFT、PIPs），存在效率低、累积误差大的问题。DragGAN直接利用GAN自身的特征判别性实现跟踪：

• 无需额外训练或加载跟踪模型，计算效率极高
• 避免了光流模型在GAN生成图像上的伪影和漂移问题
• 实验证明其跟踪精度优于RAFT和PIPs（人脸关键点跟踪平均误差仅2.44像素）

DragGAN的核心优势：

DragGAN的局限性：

5. StyleGAN系列模型基础知识详解

5.1 StyleGAN 系列的核心设计思想

StyleGAN 系列是 NVIDIA Tero Karras 团队打造的里程碑式生成对抗网络，从 2018 年首次提出至今，围绕生成质量、可控性、解耦性、训练稳定性、小数据适配、几何等变性六大核心方向持续迭代，彻底改变了高保真图像生成的技术范式。

在人脸高保真生成领域，在 StyleGAN 之前的 GAN 模型的生成器是典型的 “黑盒”，即输入隐向量

z

z

z 直接送入网络，通过前馈网络逐层上采样生成图像。这种设计存在三个缺陷：

StyleGAN 系列的核心突破，是借鉴风格迁移的思想，将图像生成拆解为 “风格编码” 与 “分层合成” 两个独立过程，通过中间隐空间

W

W

W 实现特征解耦，通过逐层风格调制实现对生成过程的细粒度控制，从根本上解决了在人脸高保真领域传统 GAN 的黑盒问题。

同时，所有StyleGAN系列的人脸编辑功能，都建立在同一个核心假设之上：人脸的所有语义属性，都对应隐空间中的一个线性方向。

编辑的过程，就是在隐空间中沿着某个语义方向，对隐向量

W

W

W 进行线性偏移：

w

′

=

w

+

α

⋅

d

w' = w + \\alpha \\cdot d

w′=w+α⋅d

其中：

• $w$
• $d$
• $\alpha$

StyleGAN系列的所有改进，本质都是让这个假设更接近现实。这个假设的成立程度，直接决定了编辑的精度、平滑性和无副作用程度。

主流的编辑方式分为风格特征差值、风格特征混合和隐空间向量运算，接下来Rocky带着大家详细了解三种编辑方式。

【风格特征插值：两个创意的”无缝渐变”】

StyleGAN的风格向量

w

w

w 空间都是连续的欧几里得空间。这意味着：如果我们有两个风格特征A和B，把它们转换成风格向量

w

A

w_A

wA​ 和

w

B

w_B

wB​ ，那么对这两个向量做线性插值（加权平均），得到的中间向量w_interp = α*w_A + (1-α)*w_B（α从0到1），对应的图像就是从A到B的平滑过渡。

值得注意的是：插值的是”语义特征”，也不是两张图的像素拼接。

Rocky举一个通俗的例子通俗，假设我们取四个角落的风格特征：

• 左上角：“现代风格的白色别墅，晴天”
• 右上角：“维多利亚风格的复古别墅，晴天”
• 左下角：“现代风格的白色别墅，日落”
• 右下角：“维多利亚风格的复古别墅，日落”

我们固定同一个随机隐向量z（保证整体构图、视角完全一致），然后对风格向量做二维插值：

• α=0.0：完全是左上角的现代白别墅晴天
• α=0.3：房子还是现代风格，但开始出现复古的雕花装饰，天空微微泛黄
• α=0.5：房子一半现代一半复古，天空是晴天到日落的过渡色
• α=0.7：房子变成维多利亚风格为主，天空变成橙红色
• α=1.0：完全是右下角的复古别墅日落

效果航整个过渡过程没有任何断层，房子的结构、风格、光影、天空颜色都是连续变化的，就像看一个”创意渐变动画”。

【风格特征混合：”结构不变，风格随便换”】

风格特征混合的本质就是：用风格向量A控制前几层（保留A的结构和布局），用风格向量B控制后几层（替换成B的风格和细节）。

Rocky接着举一个通俗例子，比如我们固定结构，换材质/画风：

• 基础图像内容：“一个立方体放在木质桌子上”（生成一个普通的白色立方体）
• 风格特征B1：“牛仔布纹理”
• 风格特征B2：“梵高油画风格”
• 风格特征B3：“金属拉丝质感”

操作：用A的风格向量控制前3层（保留”立方体在桌子上”的布局），用B1/B2/B3的风格向量控制后5层（替换细节）。

• 结果1：桌子上放着一个牛仔布做的立方体，纹理清晰，桌子还是木质的
• 结果2：桌子上放着一个梵高油画风格的立方体，笔触明显，整体色调是梵高的黄蓝色
• 结果3：桌子上放着一个银色金属拉丝的立方体，反光效果逼真

我们还可以固定物体，换场景/光影：

• 基础图像内容 A：“一只猫坐在草地上”
• 风格特征 B：“夜晚星空下，月光照亮”

操作：保留A的前几层（猫的姿态、位置），替换后几层为B的风格。

• 结果：还是那只猫，还是那个坐姿，但背景变成了星空，猫身上有月光的冷色调反光，草地变成了夜晚的暗绿色。

【隐空间向量运算：”加减属性，精准控图”】

我们已经知道在StyleGAN的

w

w

w 隐空间中，特定的方向对应着特定的语义属性。比如，存在一个”戴眼镜”的方向向量v_glasses，一个”女性化”的方向向量v_female，一个”变老”的方向向量v_old。

隐空间向量运算的本质就是：在基础图像的隐向量上，加上或减去某个属性的方向向量，就能让图像获得或失去对应的属性。

公式：w_new = w_base + λ * v_attribute

• λ是强度系数，λ越大，属性越明显；λ为负就是反向属性（比如”变年轻”就是减去v_old）。

Rocky举一个经典的”眼镜运算”例子：

• 基础向量w_man：对应图像"一个没戴眼镜的年轻男人"
• 向量w_man_glasses：对应图像"一个戴眼镜的年轻男人"
• 计算”戴眼镜”的方向向量：v_glasses = w_man_glasses – w_man

然后我们就可以用这个方向向量，给任意人脸加眼镜：

• w_woman + v_glasses：得到"一个戴眼镜的年轻女人"
• w_old_man + 1.5 * v_glasses：得到"一个戴厚眼镜的老年男人"
• w_man – 0.5 * v_glasses：得到"一个戴很薄眼镜的年轻男人"

更多常见的属性运算：

最后，Rocky总结了三者的核心概念对比表：

5.2 StyleGAN1的核心原理

StyleGAN1 是系列的开山之作，首次提出了基于风格的生成器架构，彻底重构了传统GAN的生成器设计。主要来解决在人脸高保证领域传统 GAN 生成器的黑盒特性、隐空间纠缠、分层可控性缺失、随机细节与高层语义无法解耦的问题。

StyleGAN中的**“Style”**是指训练数据集中人脸的主要属性，比如人物的姿态等信息，而不是风格转换中的图像风格，这里Style是指人脸的风格，包括了脸型上面的表情、人脸朝向、发型等等，还包括纹理细节上的人脸肤色、人脸光照等方方面面。

总的来说，StyleGAN 用风格（style）特征来影响人脸的姿态、身份特征等，用独立噪声 ( noise )特征来影响头发丝、皱纹、肤色等细节部分。

可能有读者会有疑问，上述的功能是如何实现的呢？Don‘t Worry，Rocky在接下来的章节中将为大家娓娓道来，深入浅出讲解StyleGAN的本质原理与思想。

【StyleGAN1的整体架构】

StyleGAN1的生成器分为映射网络（Mapping Network）、合成网络（Synthesis Network）两大核心模块，辅以显式噪声输入、AdaIN(自适应实例归一化)风格调制 和 混合正则化（Mixing Regularization） 三大关键机制，整体结构如下：

输入z(512维高斯) → 映射网络(8层MLP) → 中间隐向量w(512维)
↓
仿射变换(A模块) → 风格向量y
↓
常量输入(4×4×512) → 合成网络(18层卷积) → 生成图像(1024×1024)
↑
逐层高斯噪声输入(B模块)

映射网络

f

:

Z

→

W

f: Z → W

f:Z→W 包含8层全连接MLP，输入输出均为512维，将服从标准高斯分布的输入隐向量

z

z

z 映射到中间隐空间

W

W

W 。

为什么使用

w

w

w 空间，而不是原始

z

z

z 空间呢 ？

经典GAN的输入

z

z

z 直接从高斯分布采样，存在严重的 特征纠缠 。StyleGAN1论文中通过实验证明：

• $z$
• $w$
• 映射网络能够一定程度上”拉直”隐空间，将扭曲的高斯分布 $z$

合成网络

g

g

g 摒弃了传统GAN将

z

z

z 直接输入的设计，而是从一个固定的4×4×512可学习常量张量开始生成，完全通过风格向量控制生成过程。合成网络

g

g

g 共18层卷积，对应从4×4到1024×1024的9个分辨率，每个分辨率包含2层卷积；每层的核心执行模块为：3×3卷积 → 显式噪声注入 → AdaIN风格调制 → 非线性激活，低分辨率层后接2倍上采样。

StyleGAN的生成器架构

其中AdaIN风格调制 是风格控制的核心算子，公式如下：

A

d

a

I

N

(

x

i

,

y

)

=

y

s

,

i

x

i

−

μ

(

x

i

)

σ

(

x

i

)

+

y

b

,

i

AdaIN\\left( x_{i},y\\right) =y_{s,i} \\frac {x_{i}-\\mu (x_{i})}{\\sigma (x_{i})}+y_{b,i}

AdaIN(xi​,y)=ys,i​σ(xi​)xi​−μ(xi​)​+yb,i​

其中

x

i

x_i

xi​ 是卷积输出的第

i

i

i 个特征图，

y

=

(

y

s

,

y

b

)

y=(y_s, y_b)

y=(ys​,yb​) 是风格向量，由

w

w

w 通过仿射变换得到：

y

i

=

A

i

⋅

w

+

b

i

y_i = A_i \\cdot w + b_i

yi​=Ai​⋅w+bi​ 。

接着将

y

i

y_i

yi​ 按通道维度拆分为两部分，即得到该层的风格参数：

y

i

=

[

y

s

,

i

y

b

,

i

]

y_i = \\begin{bmatrix} y_{s,i} \\\\ y_{b,i} \\end{bmatrix}

yi​=[ys,i​yb,i​​]

先对每个特征图做实例归一化（零均值、单位方差），消除原有特征的统计信息；再用风格向量的缩放

y

s

y_s

ys​ 和偏置

y

b

y_b

yb​ 重新调制特征，实现风格对图像特征的控制。

显式噪声输入 同样是StyleGAN精妙的设计之一，为合成网络的每一层都注入独立的单通道高斯噪声，通过可学习的通道级缩放因子，加到卷积输出的特征图上。

x

i

′

=

x

i

+

σ

i

⊙

n

i

x_i' = x_i + \\sigma_i \\odot n_i

xi′​=xi​+σi​⊙ni​

其中：

• $x_i$
• $n_i$
• ${\sigma }_i$
• $\odot$

这样做的核心作用是将图像的 细节特征（毛发、雀斑、皮肤毛孔、背景纹理） 与高层语义（身份、姿态）完全解耦，显式噪声仅影响局部细节特征，不改变全局语义和整体构图。它将生成器从 “既要生成语义结构，又要生成细节特征” 的双重负担中解放，让风格向量专注于编码语义信息，让显式噪声专注于编码细节信息，从而实现了生成质量和真实感的巨大飞跃。

而 混合正则化（Mixing Regularization） 则是在训练时，随机选取一定比例的图像，用两个随机隐向量

z

1

/

z

2

z1/z2

z1/z2 生成

w

1

/

w

2

w1/w2

w1/w2 ，在合成网络的随机选择一层切换风格（

w

1

w1

w1 控制最一层和之前的所有层，

w

2

w2

w2 控制后续层）。

Rocky接下来对混合正则化技术进行深入浅出的讲解，首先我们要求区分两个概念：

简单来说：混合正则化是”因”，风格混合编辑是”果”。StyleGAN之所以能在推理时实现”换脸不换皮”、”换发型不换五官”，完全是因为训练时用了混合正则化。

混合正则化的训练流程非常简单，在正常训练时，每个样本的生成过程是：

在进行混合正则化训练流程时，对于每个训练样本，以固定概率触发混合正则化，流程如下：

StyleGAN官方默认超参数：

• 混合概率：0.9（即90%的样本使用混合正则化，10%的样本使用正常的单风格训练）
• 交叉点范围：所有可能的层边界（1到L-1），均匀随机选择
• 适用范围：合成网络的所有层，没有例外

如果没有混合正则化，合成网络的所有层永远接收同一个风格向量

w

w

w。在这种情况下，网络会自发地学习到相邻层风格的强相关性：

知道了第

i

i

i层的风格参数，就可以几乎完美地预测第

i

+

1

i+1

i+1层的风格参数。

这是因为，对于同一个

w

w

w，所有层的风格参数都是由同一个向量通过仿射变换得到的，它们之间天然存在相关性。网络会利用这种相关性来简化学习过程，导致：

这是混合正则化技术最精妙的地方，它通过随机打破相邻层的风格相关性，解决了上述的这些问题。在训练过程中，网络会不断遇到这样的情况：

• 第$i$
• 交叉点$k$

为了在这种情况下仍然生成真实的图像，网络别无选择，只能学会：

每一层的风格参数，必须只包含该层所需的信息，不能依赖其他层的风格参数。

换句话说，网络必须将不同层级的语义信息，完全分离到不同的层中：

• 粗层只能编码全局结构信息（姿态、脸型），不能编码细层的纹理信息
• 细层只能编码局部细节信息（肤色、纹理），不能编码粗层的结构信息

这就是混合正则化的核心机制：它不是通过损失函数直接惩罚相关性，而是通过构造对抗性的训练样本，迫使网络为了生存而自发地去相关。

混合正则化不仅让层与层之间解耦，还让隐空间中的不同语义属性之间更加解耦，这是因为：

• 不同的语义属性天然对应不同分辨率的层
• 当层与层之间解耦后，对应不同层的语义属性自然也解耦了

论文中的定量实验表明，加入混合正则化后，隐空间的互信息gap提升了约40%，解耦性显著增强。

正是因为训练时网络已经见过了所有可能的交叉点组合，所以在推理时，我们可以任意选择交叉点，将任意两个人脸的风格混合，生成自然、无伪影的新图像。如果没有混合正则化，推理时的风格混合会产生严重的伪影，比如人脸的上半部分和下半部分脱节、五官错位等。并且混合正则化还有一个意外的好处：它相当于一种数据增强技术，增加了训练样本的多样性，从而轻微提升了训练稳定性和生成质量。论文中的消融实验显示，加入混合正则化后，FID分数降低了约5%，生成图像的真实感略有提升。

总的来说，Rocky认为它的核心逻辑可以用一句话概括：

通过在训练时随机切断相邻层的风格联系，迫使网络将不同层级的语义信息完全分离到不同的层中，从而实现真正的分层风格控制。

没有混合正则化，就没有StyleGAN强大的人脸编辑能力，也就没有后来基于StyleGAN的一系列编辑技术。最后在StyleGAN的推理实验中，通过不同变量的控制实验，得出了如下不同层的特征控制经验：

• 粗尺度层（ $4^2-8^2$
• 中尺度层（ $16^2-32^2$
• 细尺度层（ $64^2-1024^2$

5.3 StyleGAN2的核心改进

StyleGAN1虽然有很多开创性的贡献，但也有一些不足。比如AdaIN会带来的水滴状伪影、渐进式增长架构会导致图像相位不一致，同时StyleGAN本身存在高分辨率生成细节失真、训练稳定性不足的问题。 StyleGAN2 针对 StyleGAN1 生成图像的伪影问题进行了优化，同时进一步提升了隐空间解耦性和训练稳定性。

【权重解调（Weight Demodulation）】

在StyleGAN2中，使用权重解调（Weight Demodulation）替代了AdaIN。StyleGAN1的AdaIN会对每个特征图独立归一化，破坏了特征图之间的相对幅值关系，是伪影的核心来源。StyleGAN2将风格调制从激活层转移到卷积权重上：

• 先通过风格向量对卷积核进行调制（Modulation），缩放卷积核的输出通道；
• 再对调制后的卷积核做解调（Demodulation），对每个输出通道的权重做归一化，保证输出特征的标准差为1。

Rocky接下来详细讲解一下StyleGAN的权重调制和解调的完整流程。

StyleGAN2的天才之处，就是发现了一个极其简单但极其深刻的事实：

风格调制不需要在激活层进行，完全可以在卷积核上进行。

这个小小的位置移动，从根本上解决了AdaIN的所有问题。

我们先看一个标准卷积操作的数学表达式：

y

j

,

k

=

∑

i

w

i

,

j

⋅

x

i

,

k

y_{j,k} = \\sum_{i} w_{i,j} \\cdot x_{i,k}

yj,k​=i∑​wi,j​⋅xi,k​

其中：

• $x_{i,k}$
• $w_{i,j}$
• $y_{j,k}$

现在，假设我们想对输入特征图的每个通道

i

i

i乘以一个缩放因子

s

i

s_i

si​（这就是风格调制的本质）：

y

j

,

k

=

∑

i

w

i

,

j

⋅

(

s

i

⋅

x

i

,

k

)

=

∑

i

(

s

i

⋅

w

i

,

j

)

⋅

x

i

,

k

y_{j,k} = \\sum_{i} w_{i,j} \\cdot (s_i \\cdot x_{i,k}) = \\sum_{i} (s_i \\cdot w_{i,j}) \\cdot x_{i,k}

yj,k​=i∑​wi,j​⋅(si​⋅xi,k​)=i∑​(si​⋅wi,j​)⋅xi,k​

看到了吗？对输入特征图的缩放，完全等价于对卷积核的输入通道维度进行缩放。

这就是权重调制的核心思想：

我们不需要先对输入特征图做缩放，再做卷积；我们可以先对卷积核做缩放，再做卷积。两者的数学效果完全等价。

结合之前Rocky讲过的仿射变换层，权重调制的完整流程是：

这就完成了风格信息的注入，完全不需要在激活层做任何操作。

现在权重调制解决了风格注入的问题，但它带来了一个新的问题：卷积核的缩放会导致输出特征图的标准差发生变化。

如果我们不对这个变化进行补偿，那么随着网络层数的加深，特征图的标准差会越来越大或越来越小，导致训练不稳定。这就是为什么我们需要权重解调。

假设输入特征图

x

i

x_i

xi​的每个元素都是独立同分布的随机变量，均值为0，标准差为1：

E

[

x

i

]

=

0

,

Var

[

x

i

]

=

1

\\mathbb{E}[x_i] = 0, \\quad \\text{Var}[x_i] = 1

E[xi​]=0,Var[xi​]=1

那么，卷积输出

y

j

y_j

yj​的方差为：

Var

[

y

j

]

=

Var

[

∑

i

w

i

,

j

′

⋅

x

i

]

=

∑

i

Var

[

w

i

,

j

′

⋅

x

i

]

=

∑

i

(

w

i

,

j

′

)

2

⋅

Var

[

x

i

]

=

∑

i

(

s

i

⋅

w

i

,

j

)

2

\\begin{align*} \\text{Var}[y_j] &= \\text{Var}\\left[ \\sum_{i} w'_{i,j} \\cdot x_i \\right] \\\\ &= \\sum_{i} \\text{Var}[w'_{i,j} \\cdot x_i] \\\\ &= \\sum_{i} (w'_{i,j})^2 \\cdot \\text{Var}[x_i] \\\\ &= \\sum_{i} (s_i \\cdot w_{i,j})^2 \\end{align*}

Var[yj​]​=Var[i∑​wi,j′​⋅xi​]=i∑​Var[wi,j′​⋅xi​]=i∑​(wi,j′​)2⋅Var[xi​]=i∑​(si​⋅wi,j​)2​

可以看到，输出特征图的方差完全由调制后的卷积核权重的平方和决定。如果

s

i

s_i

si​很大，那么输出方差也会很大；如果

s

i

s_i

si​很小，输出方差也会很小。这就是标准差漂移问题。

权重解调的目标非常明确：对调制后的卷积核进行归一化，使得每个输出通道的权重的平方和为1，从而保证输出特征图的标准差为1。

完整的解调公式是：

w

i

,

j

′

′

=

w

i

,

j

′

∑

i

′

(

w

i

′

,

j

′

)

2

+

ϵ

=

s

i

⋅

w

i

,

j

∑

i

′

(

s

i

′

⋅

w

i

′

,

j

)

2

+

ϵ

w''_{i,j} = \\frac{w'_{i,j}}{\\sqrt{\\sum_{i'} (w'_{i',j})^2 + \\epsilon}} = \\frac{s_i \\cdot w_{i,j}}{\\sqrt{\\sum_{i'} (s_{i'} \\cdot w_{i',j})^2 + \\epsilon}}

wi,j′′​=∑i′​(wi′,j′​)2+ϵ

​wi,j′​​=∑i′​(si′​⋅wi′,j​)2+ϵ

​si​⋅wi,j​​

其中：

• $ϵ$
• 归一化是在输入通道维度上进行的，对每个输出通道$j$

现在，我们再计算解调后的卷积输出的方差：

Var

[

y

j

]

=

∑

i

(

w

i

,

j

′

′

)

2

=

∑

i

(

s

i

⋅

w

i

,

j

)

2

∑

i

′

(

s

i

′

⋅

w

i

′

,

j

)

2

+

ϵ

≈

1

\\begin{align*} \\text{Var}[y_j] &= \\sum_{i} (w''_{i,j})^2 \\\\ &= \\sum_{i} \\frac{(s_i \\cdot w_{i,j})^2}{\\sum_{i'} (s_{i'} \\cdot w_{i',j})^2 + \\epsilon} \\\\ &\\approx 1 \\end{align*}

Var[yj​]​=i∑​(wi,j′′​)2=i∑​∑i′​(si′​⋅wi′,j​)2+ϵ(si​⋅wi,j​)2​≈1​

我们可以看到，权重解调保证了无论风格缩放因子

s

i

s_i

si​是多少，输出特征图的标准差始终近似为1。这就解决了标准差漂移问题，保证了训练的稳定性。

总的来说，这样的设计既保留了风格控制的能力，又完全保留了特征的空间相关性，消除了AdaIN带来的伪影，同时保持了前向传播的高效性。

【摒弃渐进式增长，重构多尺度架构】

此外，StyleGAN1继承了Progressive GAN的渐进式训练（从4×4逐步增长到1024×1024），虽提升了训练稳定性，但会导致生成特征的相位不一致，物体细节在分辨率增长时出现错位。

基于这个问题，StyleGAN2做了两大改进：

• 用残差连接+双线性上/下采样替代渐进式增长，保证高低分辨率特征的相位对齐；
• 用跳连结构重构生成器/判别器，生成器用残差块，判别器用残差连接，大幅提升高分辨率图像的生成质量和训练稳定性。

具体来说，它的核心思想是将跳跃连接从RGB空间移到特征空间，实现最高效的多尺度信息融合。

生成器结构（上图（c）上半部分，灰色标注）：

• 彻底移除了所有低分辨率的tRGB层，只保留最高分辨率的一个tRGB层作为最终输出
• 每个分辨率块先进行Up上采样，然后与下一个高分辨率块的输出逐元素相加（残差连接）
• 完整数据流： ${\text{Feat}}_{256}\stackrel{\text{Up}}{}$

判别器结构（上图（c）下半部分，绿色标注）：

• 彻底移除了所有低分辨率的fRGB层，只保留最高分辨率的一个fRGB层作为输入
• 每个分辨率块先进行Down下采样，然后与下一个低分辨率块的输出逐元素相加（残差连接）
• 完整数据流： $\text{Input}\stackrel{\text{fRGB}}{}$

同时Up和Down层中都包含一个1×1卷积，用于调整特征图的通道数，保证残差连接的两个特征图维度完全一致。这是残差连接能够正常工作的必要条件。

StyleGAN2构建全新架构的核心优势：

【针对性正则化技术】

StyleGAN2中加入了路径长度正则化（Path Length Regularization），强制隐空间

W

W

W 的微小变化与生成图像的变化呈线性关系，让

W

W

W 空间的插值更平滑，进一步提升特征解耦性。其核心逻辑是让生成器雅可比矩阵的范数保持恒定，避免隐空间的非线性扭曲，让用户对生成结果的控制更精准。

StyleGAN1通过映射网络已经将扭曲的

z

z

z 空间拉直成了相对平坦的

w

w

w 空间，但仍然存在一个致命缺陷：

w

w

w 空间中不同方向的”拉伸程度”差异巨大。我们想象

w

w

w 空间是一张被拉伸过的橡皮膜：

• 有些方向被拉得很长：沿着这些方向移动很小的距离，图像就会发生剧烈变化
• 有些方向被压得很短：沿着这些方向移动很大的距离，图像几乎没有任何变化

这个问题可以用生成器的雅可比矩阵来精确描述。对于生成器

G

(

w

)

G(w)

G(w)，它在点

w

w

w处的雅可比矩阵

J

w

J_w

Jw​是一个

H

W

C

×

512

HWC \\times 512

HWC×512的矩阵，其中每个元素

J

i

,

j

=

∂

G

(

w

)

i

∂

w

j

J_{i,j} = \\frac{\\partial G(w)_i}{\\partial w_j}

Ji,j​=∂wj​∂G(w)i​​，表示w的第j个维度的微小变化对图像第i个像素的影响。

雅可比矩阵的奇异值

σ

k

\\sigma_k

σk​，就对应了w空间中各个方向的拉伸程度：

• 奇异值大：该方向拉伸程度大，微小的w变化会导致巨大的图像变化
• 奇异值小：该方向拉伸程度小，巨大的w变化只会导致微小的图像变化

StyleGAN1的问题在于，雅可比矩阵的奇异值分布非常不均匀，极差可以达到几个数量级。

这个问题带来的严重后果：

在这个背景下，路径长度正则化的目标非常简单直接：强制w空间中所有方向的路径长度都相等。

换句话说，我们希望雅可比矩阵的所有奇异值都相等。这样，无论沿着哪个方向移动相同的距离，图像都会产生相同程度的变化。

论文中定义了期望路径长度的概念：

E

w

∼

p

w

,

ϵ

∼

N

(

0

,

I

)

[

∥

J

w

ϵ

∥

2

]

\\mathbb{E}_{w \\sim p_w, \\epsilon \\sim \\mathcal{N}(0,I)} \\left[ \\| J_w \\epsilon \\|_2 \\right]

Ew∼pw​,ϵ∼N(0,I)​[∥Jw​ϵ∥2​]

这个式子的含义是：随机采样一个w向量，再随机采样一个单位方向向量ε，计算沿着ε方向移动单位距离后，图像的平均变化量。我们希望这个期望路径长度是一个常数，不随w和ε的变化而变化。

论文中没有直接惩罚奇异值的方差，而是提出了一个更巧妙、计算更高效的方法。

第一步：利用雅可比向量积（JVP）简化计算

直接计算雅可比矩阵

J

w

J_w

Jw​的计算量是巨大的（对于1024×1024的图像，

J

w

J_w

Jw​有超过300万个元素）。但我们不需要完整的雅可比矩阵，只需要计算雅可比矩阵与一个随机向量的乘积

J

w

ϵ

J_w \\epsilon

Jw​ϵ。

幸运的是，雅可比向量积可以通过一次反向传播高效计算，时间复杂度与一次前向传播相同，不需要存储完整的雅可比矩阵。

第二步：引入移动平均a

我们不要求路径长度在每一点都精确等于某个固定值，只要求它的期望等于一个移动平均值a。a在训练过程中动态更新：

a

←

μ

a

+

(

1

−

μ

)

E

[

∥

J

w

ϵ

∥

2

]

a \\leftarrow \\mu a + (1-\\mu) \\mathbb{E} \\left[ \\| J_w \\epsilon \\|_2 \\right]

a←μa+(1−μ)E[∥Jw​ϵ∥2​]

其中μ是移动平均的衰减率，论文中使用μ=0.99。

第三步：最终的正则化损失

PL正则的损失函数就是路径长度与移动平均值a的平方差：

R

pl

=

E

w

∼

p

w

,

ϵ

∼

N

(

0

,

I

)

[

(

∥

J

w

ϵ

∥

2

−

a

)

2

]

\\mathcal{R}_{\\text{pl}} = \\mathbb{E}_{w \\sim p_w, \\epsilon \\sim \\mathcal{N}(0,I)} \\left[ \\left( \\| J_w \\epsilon \\|_2 – a \\right)^2 \\right]

Rpl​=Ew∼pw​,ϵ∼N(0,I)​[(∥Jw​ϵ∥2​−a)2]

这个损失函数会惩罚所有偏离平均路径长度的方向，让所有方向的路径长度逐渐趋近于同一个值。

论文中给出了PL正则的精确实现细节，这些细节对最终效果至关重要：

同时论文第4.3节通过大量实验证明了PL正则的效果：

持此之外还设计了懒惰正则化（Lazy Regularization） 的策略，使得R1正则化和路径长度正则化无需每轮迭代都计算，改为每16步计算一次，在不损失效果的前提下，将训练速度提升了近2倍。

5.4 StyleGAN3的核心改进

StyleGAN3是整个系列的又一次范式革新，从连续信号处理的底层理论出发，解决了之前版本的 纹理粘连（Texture Sticking） 问题，实现了生成图像的平移/旋转等变性，为GAN的数字人动画生成领域铺平了道路。

StyleGAN3是怎么做到的呢？首先，我们要知道，什么是几何等变性：先变换隐向量再生成图像，和先生成图像再变换图像，得到的结果完全一致。

严格的数学定义：对于生成器

G

G

G和任意几何变换

T

T

T（平移、旋转、缩放），如果满足：

G

(

T

(

z

)

)

=

T

(

G

(

z

)

)

G(T(z)) = T(G(z))

G(T(z))=T(G(z))

则称生成器

G

G

G对变换

T

T

T是等变的。

StyleGAN1/2中，生成人脸的细节（毛发、纹理、皮肤毛孔）会“粘在图像的像素坐标上”，而非物体表面；当隐空间插值让物体平移/旋转时，细节不会跟随物体移动，导致动画生成时出现严重的不自然感，缺乏几何等变性。

这说明StyleGAN2的生成器感知到了绝对像素坐标，它生成的纹理是”粘”在像素网格上的，而不是”长”在物体表面的。

上述问题的根源是由信号混叠（Aliasing） 和 坐标泄露 产生的。

信号混叠（Aliasing） 主要表现为高频信号的错误采样。很多主流的 GAN 的操作都违反了奈奎斯特采样定理， 为了无失真地重建一个连续信号，采样频率必须至少是信号最高频率的 2 倍。在GAN的生成器中，逐点非线性激活（如 Leaky ReLU） 是混叠的最大来源。当我们对一个带限信号应用逐点非线性时，会产生无穷多的高频谐波分量。这些高频分量超过了当前分辨率的奈奎斯特频率，会被错误地采样为低频分量，这就是混叠。

混叠的直观表现就是纹理粘连：当、我们平移或旋转图像时，这些错误的低频分量不会跟着物体一起移动，而是留在原地，看起来就像是纹理粘在了像素网格上。

绝对坐标泄露 表现为GAN生成器中有很多操作会向网络泄露绝对像素坐标。比如：

这两个问题相互作用，共同导致了之前的一些主流GAN生成器的不等变性。StyleGAN3 的所有设计，都是围绕着系统性消除混叠和全链路封堵坐标泄露这两个目标展开的。

【StyleGAN3核心思想：连续信号视角的建模重构】

StyleGAN3最伟大的贡献，就是提出了一个全新的生成器建模范式：

将网络中所有的离散特征图，都视为连续带限信号的离散采样。

这个思想转变是革命性的。之前的所有生成模型，都把特征图看作是一个个独立的像素格子；而StyleGAN3把特征图看作是对一个无限大、连续的二维函数的采样点。

在StyleGAN3的视角下，生成器不再是一个从隐向量到像素张量的映射，而是一个从隐向量到连续二维函数的映射：

G

:

W

→

(

R

2

→

R

C

)

G: \\mathcal{W} \\to \\left( \\mathbb{R}^2 \\to \\mathbb{R}^C \\right)

G:W→(R2→RC)

其中

R

2

\\mathbb{R}^2

R2是连续的二维平面，

R

C

\\mathbb{R}^C

RC是C通道的信号值。

我们最终看到的离散图像，只是这个连续函数在整数像素坐标上的采样：

I

[

i

,

j

]

=

G

(

w

)

(

i

,

j

)

,

i

,

j

∈

Z

I[i,j] = G(w)(i,j), \\quad i,j \\in \\mathbb{Z}

I[i,j]=G(w)(i,j),i,j∈Z

在这个新视角下，几何等变性变成了一个自然而然的属性：

• 平移图像，等价于平移连续函数的采样坐标
• 旋转图像，等价于旋转连续函数的采样坐标
• 缩放图像，等价于缩放连续函数的采样坐标

只要生成器生成的连续函数是正确的，那么无论我们在什么位置、什么角度、什么尺度采样，得到的图像都是正确的。纹理自然会跟着物体一起移动，不会有任何粘连。

这就是StyleGAN3解决纹理粘连问题的根本思路：它不再生成”像素”，而是生成”连续的纹理场”。

【第一步：混叠的系统性消除】

混叠是等变性的最大敌人。StyleGAN3对生成器的每一个操作都进行了重新设计，确保整个网络的所有环节都严格遵循奈奎斯特采样定理，不会产生任何混叠。

上采样/下采样滤波器的全面升级：传统的双线性和双三次上采样滤波器，频率响应都很差，会让大量高频信号通过，产生严重的混叠。

理想的低通滤波器是sinc函数：

sinc

(

x

)

=

sin

⁡

(

π

x

)

π

x

\\text{sinc}(x) = \\frac{\\sin(\\pi x)}{\\pi x}

sinc(x)=πxsin(πx)​

它的频率响应是一个完美的矩形，能完全滤除所有超过截止频率的信号。但理想sinc滤波器是无限长的，无法在实际中使用。

StyleGAN3使用了Kaiser窗截断的sinc滤波器，它在有限长度下实现了接近理想的频率响应：

• 滤波器长度：6×6个抽头
• 带外衰减：>100dB（这意味着超过截止频率的信号被衰减了10万倍以上）
• 过渡带宽度：仅为奈奎斯特频率的10%

相比之下，双线性滤波器的带外衰减只有约12dB，几乎无法有效滤除高频信号。

Kaiser窗sinc滤波器是可分离的（可以分解为水平和垂直两个一维滤波器），计算效率高，但它不是径向对称的。当旋转图像时，不同方向的频率响应不同，会产生混叠。

为了实现旋转等变性，StyleGAN3-R使用了径向对称的jinc滤波器：

jinc

(

r

)

=

J

1

(

π

r

)

π

r

\\text{jinc}(r) = \\frac{J_1(\\pi r)}{\\pi r}

jinc(r)=πrJ1​(πr)​

其中

J

1

J_1

J1​是第一类一阶贝塞尔函数。jinc函数是二维sinc函数的径向对称版本，它的频率响应是一个完美的圆形，在所有方向上都完全一致。

逐点非线性是混叠的最大来源，也是最难解决的问题。因为任何逐点非线性都会产生无穷多的高频分量。

StyleGAN3提出了一个简单但极其有效的解决方案：过采样非线性。 完整流程是：

这个流程的数学原理是：只要在足够高的分辨率下应用非线性，产生的所有高频分量都能被正确采样，然后再通过带限下采样滤除不需要的高频。

这个流程看起来计算量很大（上采样+非线性+下采样），但StyleGAN3开发了一个高度优化的自定义CUDA内核，将这三个操作融合成了一个单一的内核。它避免了中间结果的内存读写，同时利用了GPU的并行计算能力，最终实现了比原始非线性操作还要快的速度。

奈奎斯特采样定理要求采样频率至少是信号最高频率的2倍，这被称为”临界采样”。但在实际应用中，临界采样的抗混叠能力很差，因为滤波器不可能是理想的。

StyleGAN3采用了分层非临界采样策略：

• 低分辨率层：使用0.7×的截止频率（即采样频率是信号最高频率的2.8倍），为非线性操作留出充足的频谱余量，实现更强的抗混叠
• 高分辨率层：使用0.9×的截止频率（接近临界采样），保证输出图像的锐度和细节

这个策略在抗混叠和生成质量之间取得了较好的平衡。低分辨率层负责全局结构，需要更强的抗混叠；高分辨率层负责细节，需要更高的锐度。

【第二步：绝对坐标泄露的全链路封堵】

即使完全消除了混叠，如果网络能感知到绝对像素坐标，仍然无法实现等变性。StyleGAN3对生成器进行了全方位的检查，封堵了所有可能泄露绝对坐标的渠道。

StyleGAN1/2中的逐像素显式噪声，是最明显的坐标泄露源。噪声是和像素坐标绑定的，当我们平移图像时，噪声不会跟着物体一起移动，而是留在原地。

StyleGAN3用全局傅里叶噪声替代了逐像素噪声：

这样，噪声就不再是和像素坐标绑定的，而是和物体表面绑定的，会跟着物体一起移动。

接下来，传统的卷积操作都需要边界填充（零填充、反射填充等），这些填充方式都会在图像边界产生不连续，泄露绝对坐标。

StyleGAN3彻底移除了所有边界填充，改用固定边缘余量的策略：

• 生成器内部的所有特征图，都比目标分辨率大10个像素
• 卷积操作只在特征图的内部进行，不需要任何填充
• 最终输出图像时，只裁剪特征图的中心部分作为输出

这个策略虽然增加了一点计算量，但深度消除了边界带来的坐标泄露。

最后再用傅里叶特征替换固定常量输入，这是StyleGAN3最关键的改动之一。StyleGAN1/2最顶层的4×4常量输入，本身就包含了绝对坐标信息，是最大的坐标泄露源。

StyleGAN3用可学习的傅里叶特征输入替换了固定常量输入：

F

(

u

,

v

)

=

A

⋅

[

cos

⁡

(

2

π

(

f

u

u

+

f

v

v

+

ϕ

)

)

sin

⁡

(

2

π

(

f

u

u

+

f

v

v

+

ϕ

)

)

]

+

b

F(u,v) = A \\cdot \\begin{bmatrix} \\cos(2\\pi (f_u u + f_v v + \\phi)) \\\\ \\sin(2\\pi (f_u u + f_v v + \\phi)) \\end{bmatrix} + b

F(u,v)=A⋅[cos(2π(fu​u+fv​v+ϕ))sin(2π(fu​u+fv​v+ϕ))​]+b

其中：

• $(u,v)$
• $f_u,f_v$
• $\varphi$
• $A,b$

傅里叶特征天生具备完美的平移和旋转等变性：

• 平移坐标$(u,v)\to (u+\Delta u,v+\Delta v)$
• 旋转坐标$(u,v)\to R(\theta )(u,v)$

这意味着，通过调整傅里叶特征的相位和频率参数，就可以实现生成内容的全局平移和旋转，而不需要改变生成器的任何其他参数。

【最终实现：StyleGAN3-T与StyleGAN3-R的设计权衡】

在消除了混叠和坐标泄露之后，StyleGAN3提供了StyleGAN3-T与StyleGAN3-R两个不同的变体，分别针对平移等变性和旋转等变性进行了优化：

StyleGAN3-T保留了StyleGAN2的3×3卷积结构，实现了亚像素级的平移等变性。

为什么3×3卷积只能实现平移等变，不能实现旋转等变？

卷积操作的等变性条件是：卷积核必须与几何变换对易。

• 对于平移变换，任何卷积核都是平移等变的
• 对于旋转变换，只有当卷积核是径向对称的时候，才是旋转等变的

3×3卷积核不是径向对称的，所以StyleGAN3-T只能实现平移等变，不能实现完美的旋转等变。但它的生成质量和计算效率都很高，是大多数应用场景的首选。

为了实现完美的旋转等变性，StyleGAN3-R做了一个极端的设计选择：将所有3×3卷积替换为1×1卷积。

1×1卷积是逐点操作，本身就是完美的旋转等变的。像素之间的信息传播完全通过径向对称的jinc上采样/下采样滤波器来实现。这个设计虽然实现了完美的旋转等变性，但也带来了一些代价：

• 计算效率略有下降
• 生成质量比StyleGAN3-T略低
• 无法很好地建模长距离的空间依赖关系

因此，StyleGAN3-R主要用于需要精确旋转控制的特殊场景，如3D人脸动画、物体姿态生成等。

StyleGAN3通过这一系列的设计，最终实现了：

• 亚像素级的平移等变性：平移图像时，所有细节较好跟随，没有任何粘连
• 近似完美的旋转等变性：旋转图像时，所有细节较好跟随，没有任何扭曲
• 与StyleGAN2相当的生成质量：FID分数几乎没有下降，图像锐度和细节甚至略有提升

到此为止，Rocky再总结一下StyleGAN系列的迭代路径，方便大家更加清晰的梳理：

5.5 StyleGAN系列的损失函数解析

在开始全面讲解之前，Rocky先定义必要的符号和其含义：

• $p_{\text{data}}$
• $p_z$
• $z$
• $w$
• $G(\cdot )$
• $D(\cdot )$
• ${\mathbb{E}}_{x\sim p}[\cdot ]$
• ${\nabla }_x$
• $\lambda$

【StyleGAN1 完整损失函数】

StyleGAN1提供了两套损失方案，早期基线用WGAN-GP损失函数，后续优化切换为非饱和损失+R1正则，无额外专属辅助损失。

WGAN-GP损失函数通过梯度惩罚强制判别器满足1-Lipschitz约束，解决原始GAN的模式崩溃和训练不稳定问题。

• 判别器总损失：

L

D

=

E

G

(

z

)

∼

p

g

[

D

(

G

(

z

)

)

]

−

E

x

∼

p

data

[

D

(

x

)

]

⏟

WGAN核心损失

+

λ

gp

⋅

E

x

^

∼

p

x

^

[

(

∥

∇

x

^

D

(

x

^

)

∥

2

−

1

)

2

]

⏟

梯度惩罚项(GP)

\\mathcal{L}_D = \\underbrace{\\mathbb{E}_{G(z)\\sim p_g}[D(G(z))] – \\mathbb{E}_{x\\sim p_{\\text{data}}}[D(x)]}_{\\text{WGAN核心损失}} + \\underbrace{\\lambda_{\\text{gp}} \\cdot \\mathbb{E}_{\\hat{x}\\sim p_{\\hat{x}}}\\left[ \\left( \\|\\nabla_{\\hat{x}} D(\\hat{x}) \\|_2 – 1 \\right)^2 \\right]}_{\\text{梯度惩罚项(GP)}}

LD​=WGAN核心损失

EG(z)∼pg​​[D(G(z))]−Ex∼pdata​​[D(x)]​​+梯度惩罚项(GP)

λgp​⋅Ex^∼px^​​[(∥∇x^​D(x^)∥2​−1)2]​​

• 生成器损失：

L

G

=

−

E

z

∼

p

z

[

D

(

G

(

z

)

)

]

\\mathcal{L}_G = – \\mathbb{E}_{z\\sim p_z}[D(G(z))]

LG​=−Ez∼pz​​[D(G(z))]