欢迎光临
我们一直在努力

DG-Font: Deformable Generative Networks for Unsupervised Font Generation(DG-Font: 用于无监督字体生成的可变形生成网络)

输入通过编码器提取字体骨架信息(Zc使用可变形卷积保证不同风格的同一个字的骨架信息在特征图上位置不变),通过另一个编码器提取目标风格信息Zs。将Zc,Zs输入到解码器中,为了使笔画形变更加准确加入了FDSC(可变性卷积)模块,将Zc编码器的底层特征和解码器中对应层的Zs特征一起输入到FDSC中获得目标风格字体笔画特征输入到对应层的解码器中。生成目标字体风格,通过判别器进行判别真伪。

特征形变跳跃连接(FDSC):一个字符的两种字体的几何形变中,每笔都存在对应关系。基于这一观察,我们提出了一种特征形变跳跃连接(FDSC)模块,将几何形变卷积应用于特征空间中的内容图像,并将形变后的低级特征直接传递给混合器。具体来说,该模块基于引导码预测偏移量,以指示可变形卷积层对低级特征执行几何变换。

根据输入的骨架信息和目标风格信息计算出卷积核的偏移量Pk和掩码Mk,以适应风格迁移时字体笔画的几何形变

再将Kc和\\Theta输入到Fdc中,进行具体可变性卷积提取特征的工作

w表示权重,如果是3*3卷积R对应取9个点(权重),x是特征图,p对应3*3卷积的中心点,Pk对应离P最近的9个点,\\Delta P^{_{k}}表示最近9个点的偏移量,\\Delta M^{_{k}}是掩码(可学习的调制标量,范围通常在 [0,1] 之间,用于调节输入特征在采样位置 k 处的贡献强度。);通过可变形卷积,使得卷积在不规则位置 (P^{_{k}}+\\Delta P^{_{k}})上进行,使得笔画可以更好的向对应方向进行形变。

注意:\\Delta P^{_{k}} 可能是分数。 该操作通过使用双线性插值来实现就是用周围最近的四个整数点表示它

(63 封私信) 一篇文章为你讲透双线性插值 – 知乎

损失函数:

生成损失,判别器对于每种风格,判别器的输出是一个二元分类,判断输入图像是真实图像还是生成图像。由于训练集中有几种不同的字体风格,判别器输出一个二进制向量,其长度是风格的数量。

把生成的图像输入到内容编码器中与Zc进行L1损失使得图像骨架信息保持一致

图像重建损失:为了确保生成器在给定其原始风格时能够重建源图像Ic,施加了一个重建损失

可变形偏移能够实现采样网格的自由形变。由于输入图像和生成图像之间存在大量颜色相同的区域(例如背景颜色和字符颜色),这会导致非唯一解,难以优化。同时,字体生成侧重于内容字符图像和目标字符图像之间的笔画关系,例如笔画的粗细和笔尖。然而,对于内容相同但风格不同的图像,相同笔画在这两幅图像中的位置是接近的。为了有效地利用这种可变形卷积网络,我们对偏移量\\Delta P施加一个约束,当卷积核较小时,较大的卷积形变可能会对字体整体结构产生不好的影响。

赞(0)
未经允许不得转载:171主机测评 » DG-Font: Deformable Generative Networks for Unsupervised Font Generation(DG-Font: 用于无监督字体生成的可变形生成网络)
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址