DragOSM：通过对齐历史标签从航空图像中提取建筑屋顶和足迹

大家读完觉得有帮助记得关注和点赞！！！

摘要​

从遥感图像中提取多边形屋顶和足迹对于大规模城市分析至关重要。大多数现有方法依赖于基于分割的模型，这些模型假设屋顶具有清晰的语义边界，但这些方法在处理离天底点（off-nadir）图像时遇到困难，因为在这些图像中，屋顶和足迹显著位移，并且立面像素与屋顶边界融合。随着开放矢量地图标注（例如OpenStreetMap）的可用性日益增加，利用历史标签进行离天底点图像标注已变得可行，因为遥感图像在捕获后即进行了地理配准。然而，这些历史标签通常与新图像存在显著的位置差异，并且通常只有一种标注（屋顶或足迹），无法描述建筑物的正确结构。为了解决这些差异，我们首先引入了对齐令牌（alignment token）​​ 的概念，它编码校正向量以指导标签校正。基于此概念，我们提出了 ​Drag OpenStreetMap Labels (DragOSM)​，这是一个新颖的模型，旨在将错位的历史标签与屋顶和足迹对齐。具体来说，DragOSM将标签对齐表述为一个交互式去噪过程，将位置差异建模为高斯分布。在训练期间，它通过用随机高斯扰动模拟错位来学习校正这些误差；在推理期间，它迭代地细化输入标签的位置。为了验证我们的方法，我们进一步提出了一个新的数据集 ​Repairing Buildings in OSM (ReBO)​，包含179,265个建筑物，具有来自41个城市的5,473张图像的OpenStreetMap和手动校正的标注。在ReBO上的实验结果证明了DragOSM的有效性。代码、数据集和训练模型公开在 https://github.com/likaiucas/DragOSM.git 。

​索引术语：​​ 建筑足迹提取，建筑屋顶提取，学习偏移向量，离天底点航空图像。

​1 引言​

从遥感图像中提取建筑物的足迹和屋顶作为矢量多边形是地理信息学[1]中的一项基本任务。关于建筑多边形提取的初步研究主要集中于近天底点（near-nadir）图像​[2, 3, 4, 5, 6]，其中建筑物的屋顶和足迹是良好对齐的（见图1(a)）。这一特性使得这些方法可以通过针对屋顶或足迹（通常是屋顶，因为其可见性）来简化多边形提取。屋顶多边形提取通常分两个阶段进行：首先，应用语义分割生成栅格掩码，然后将这些掩码矢量化成多边形[2, 3, 4]。关于两步法中预测掩码和多边形之间差距的问题，最近的工作如HiSup [5]和SAMPolyBuild [6]从掩码到多边形的转换转向掩码引导的连接边界关键点，从而获得具有更高几何保真度的建筑多边形。

​图1：标签对齐问题的比较。(a) 在近天底点图像中，屋顶和足迹大部分重叠。(b) 在离天底点图像中，屋顶和足迹发生位移。(c) 由于地理配准偏移和人为因素，历史标签与更新后的图像错位。这种错位在离天底点视图(b)中更为复杂，因为屋顶-足迹的位移阻止了像近天底点视图(a)那样通过单一、均匀的校正进行重新对齐。特别是对于高层建筑，屋顶和历史标签可能完全分离，难以建立正确的对应关系。​​

尽管建筑多边形提取取得了相当大的进展，但最先进的方法主要仅对近天底点图像有效，并且在应用于离天底点图像​[7]时面临显著限制。如图1(b)所示，离天底点图像表现出建筑屋顶与其相应足迹之间的明显位移，这违反了大多数现有方法固有的对齐假设。这种位移迫使当前方法分别处理屋顶和足迹。在屋顶提取过程中，屋顶和立面像素之间的语义混淆常常导致不准确的屋顶轮廓。在足迹推断过程中，建筑立面的遮挡导致不完整的足迹掩码或缺失的边界关键点。这种情况在密集的城市街区中变得尤其具有挑战性，特别是当建筑物投下显著阴影时。此外，屋顶和足迹的独立处理阻碍了它们之间明确结构对应关系的建立，降低了这些方法在实际应用（例如，3D城市建模）中的实用性。

为了处理离天底点图像，专门的方法如LOFT [7]、MLS-BRN [8]、OBM [9]和PolyFootNet [10]被开发出来。它们通过同时预测屋顶多边形及其相对于相应足迹的偏移来利用屋顶和足迹多边形之间的几何相似性。估计的偏移随后用于定位足迹多边形。虽然这些方法相比早期专注于近天底点的方法展示了改进的性能，但它们仍然容易受到屋顶和立面元素之间的语义混淆的影响，限制了它们在建筑多边形提取中的性能。此外，它们对后处理算法的依赖（这些算法要么对参数选择敏感[7, 8]，要么需要繁琐的手动干预[9]），损害了它们在大规模场景中的实用性。

因此，我们考虑利用历史标签，这些标签通常是人工标注的，具有清晰的边界信息，以规避基于语义分割方法的固有问题。巧合的是，遥感图像的一个基本特征是其固有的元数据，例如采集时间和地理位置。利用这些信息，可以轻松地在开源、持续更新的全球地图（例如，OpenStreetMap¹、Google Maps²）上定位相应区域，其中地物使用矢量图元（即点、线、面）表示。

尽管历史标签通过地理位置仔细检索，但它们与遥感图像的对齐仍然很差。如图1(b)和(c)所示，这些标签与实际建筑多边形之间存在显著的位置差异。这种错位在离天底点图像中尤其明显。两个主要因素导致此问题：(1) 遥感图像地理配准过程中引入的误差，例如地面控制点选择不准确和使用不适当的几何变换模型[11, 12, 13]；(2) 历史标签通过众包标注模式更新，这个过程的质量受人为主观性和源数据固有误差的影响，可能导致不准确。

基于此见解，我们将建筑多边形提取重新表述为历史标签与遥感图像之间的对齐问题。最先进的方法通过预测全局流场来校正历史标签中的关键点来解决此对齐问题[14, 15, 16, 17]。在近天底点图像中，建筑足迹和屋顶之间的显著重叠，加上历史标签与实际建筑物之间的轻微位置差异，允许这些方法通过单次校正步骤产生有希望的结果。然而，当处理离天底点图像时，它们常常遇到显著的性能下降。如图1(c)所见，建筑高度的变化导致历史标签与屋顶多边形之间多样且可能很大的位置差异。此外，标签与足迹之间存在单独的差异，其方向和大小通常与标签到屋顶的差异不同。

在本文中，我们致力于开发一个有效的对齐框架，能够处理近天底点和离天底点图像，以实现精确的建筑多边形提取。为此，我们提出了DragOSM，它通过一种新颖的“拖动（dragging）​”机制将历史标签与遥感图像中的建筑足迹和屋顶对齐。此操作由对齐令牌（alignment tokens）​​ 实现，这是我们引入的一种表示，用于编码位置差异。解码这些令牌产生位移偏移，指导拖动过程。虽然可以直观地为标签到屋顶和标签到足迹的拖动定义单独的对齐令牌，但我们考虑到历史标签往往更接近足迹进行标注。因此，我们设计了两个令牌：一个用于标签到足迹对齐，将标签拖动到足迹多边形；另一个用于足迹到屋顶对齐，将这些进一步移动到屋顶多边形。

为了实例化拖动机制，我们将位置差异建模为高斯分布。在每次训练迭代中，我们通过用随机高斯噪声扰动真实足迹多边形来模拟历史标签与图像之间的各种错位情况。与直接使用真实标签（从开源地图获取）相比，此策略增强了DragOSM对不同成像视角和建筑高度造成的错位的适应性。给定输入图像和噪声标签，DragOSM使对齐令牌与两者交互，编码位置差异。这些令牌随后被解码为位移偏移，形成一个去噪过程。由于现实世界的错位通常是不可预测且可能极端的，单步去噪是不够的。幸运的是，DragOSM的架构原生支持迭代去噪，其中由当前步骤的偏移校正后的标签成为下一个去噪步骤的输入。通过累积每个去噪步骤中产生的偏移，形成一条轨迹，逐步将历史标签向建筑足迹移动，如图2可视化所示。此能力使DragOSM能够有效处理离天底点图像中常见的显著位置差异。

此外，我们对迭代去噪中的收敛行为进行了详细分析。我们的观察表明，去噪收敛到局部最优所需的迭代次数与预定义的累积调度有关。此调度控制着第 t步预测的偏移被纳入的比例。一旦设定了此调度，就可以估计收敛步数。此外，我们引入了两种简单而有效的测试时策略，应用于去噪迭代期间。第一种是在固定数量的去噪步骤后添加扰动，通过重复的去噪循环生成多个局部最优；第二种是在估计的收敛步数之后继续去噪，从后续步骤收集额外的局部最优。在这两种策略中，收集的局部最优被平均以产生鲁棒且准确的校正。利用这些增强，我们开发了我们框架的两个高级版本：​DragOSM-t1​（包含噪声扰动）和DragOSM-t1.5​（采用收敛感知去噪）。

​​

​图2：该图说明了提出的两阶段推理过程。首先(a)，一个连续的去噪过程逐步拖动一个带噪声的历史标签以与建筑足迹对齐。其次(b)，校正后的足迹一步平移至屋顶位置。​​

为了训练和评估我们的DragOSM，我们创建了一个新的建筑多边形提取数据集，称为ReBO（Repairing Building in OpenStreetMap）​。ReBO中的每个样本由遥感图像与来自OpenStreetMap的相应历史标签配对组成，并带有精心标注的屋顶和足迹的真实值多边形。该数据集包含5,473张图像和179,265个建筑实例，涵盖来自6大洲22个国家的41个城市。

本文的主要贡献总结如下：

• 我们将多边形建筑提取重新表述为将历史标签与遥感图像对齐的任务，从而实现了一个在近天底点和离天底点图像上都能有效执行的统一方法。

• 基于新的表述，我们提出了DragOSM，一个通过拖动机制将标签与图像对齐的新颖框架。这个过程由对齐令牌驱动，这是我们引入的一个新概念，通过与输入标签和图像的交互来编码位置差异。

• 为了提高DragOSM对不同错位的适应性，我们将位置差异建模为高斯分布。在训练期间，随机高斯扰动模拟错位以指导模型去噪。在推理期间，此去噪功能被迭代应用，进一步提高了多边形提取的准确性。

• 我们引入了ReBO，一个包含与历史和良好对齐标签配对的遥感图像的建筑多边形提取数据集。该数据集促进了基于对齐思想的提取方法的进展。

​2 相关工作​

本节从两个角度回顾先前的工作。首先，由于本文的核心任务是提供矢量化的建筑标签，第2.1节详细介绍了屋顶和足迹提取方法的演变。其次，鉴于我们的方法基于去噪框架，第2.2节将DragOSM的特定去噪设计与其它相关任务中采用的设计进行比较。

​2.1 提取屋顶和足迹​

从遥感图像中同时提取建筑屋顶-足迹对是一项非常重要的任务。以前，该领域的研究主要集中于从近天底点图像中提取屋顶[18, 5, 6]。在此类图像中，垂直视角导致屋顶和足迹大部分重叠，使得提取的屋顶可以用作足迹的代理。

成像技术的进步导致建筑物的遥感图像越来越清晰。然而，这一进展通常伴随着对卫星视角更高的敏感性，因为捕捉屋顶和立面的倾斜（离天底点）视角变得更加常见。虽然这些视图提供了更丰富的纹理细节，例如建筑外部特征、高度信息等，但它们也带来了一个重大挑战：屋顶和立面之间的语义边界变得模糊。这种模糊性使得同时提取定义明确的屋顶及其相应足迹变得复杂。

为了解决离天底点图像中视角位移的挑战，已经提出了几种方法来显式建模屋顶和足迹之间的关系。MTBRNet [19]开创了一种基于分类的方法，将空间位移编码为one-hot向量。在此基础上，LOFT [7]将偏移概念实例化为直接回归目标，将实例分割网络与矢量预测头结合以创建更直观的模型。为了解决具有显式位移标签的数据集稀缺问题，MLS-BRN [8]通过合并辅助高度预测任务进一步扩展了LOFT框架，从而增强了其预测屋顶和足迹的能力。

另一项工作试图完全绕过屋顶提取的困难。为了解决屋顶和立面之间模糊的语义边界，PolyFootNet [10]探索了一种建筑分割 + 偏移（Building Segmentation + Offset）​​ 策略。这些方法不是直接分割屋顶，而是分割整个更易识别的建筑边界，然后预测一个偏移来推导屋顶和足迹。虽然这种方法巧妙地绕过了屋顶-立面的模糊性，但掩码预测过程的随机性可能导致最终输出缺乏形态和时空一致性。

与先前的方法不同，我们提出了一种方法，首先利用遥感图像的固有地理信息检索历史标签，然后通过连续的位置校正获得与图像对齐的屋顶和足迹标注。我们的模型DragOSM将所有位置偏移统一在对齐令牌的单一概念下。这种方法提供了两个明显的优势：(1) ​高质量先验​：通过利用通常是人工标注的历史标签，我们的方法从一个高质量的初始猜测开始，该猜测已经具有清晰的语义边界和可靠的轮廓信息。(2) ​架构一致性​：DragOSM被设计为一个标签进-标签出（label-in-label-out）​​ 模型，其中输入和输出共享相同的模态。这种迭代架构确保了在整个细化过程中 exceptional 的一致性和鲁棒性。

​2.2 噪声训练​

噪声增强已成为基于检测变压器（DETR）[20]的模型训练中的常见策略，因为它有助于提高收敛性和模型鲁棒性。例如，Mask DINO [21, 22, 23]系列的模型通常在训练期间采用标签翻转策略，例如直接切换正确类别令牌的类型，以引入更丰富的噪声形式。这种方法加速了解码器对各种抽象标签令牌的理解和收敛。

另一方面，噪声注入和去噪训练策略也广泛用于生成式AI（GenAI）模型的训练。核心思想是从纯噪声开始增量训练和推断，最终生成符合有意义数据分布的图像[24]、视频[25]、文本[26]或多模态上下文[27]。

在标签对齐问题中，MapAlignment [14, 15, 17]的训练过程涉及在训练前向栅格真实值标签添加均匀的高斯噪声以创建固定的目标矢量场。然而，这种静态噪声的使用难以真实模拟现实世界位置误差的复杂性。此外，这种方法从根本上与离天底点场景不兼容，在这些场景中，校正场必须是非均匀的以处理每个建筑物因高度而异的位移。

与现有方法不同，DragOSM实例化了提出的对齐令牌核心概念，并将OSM标签的位置扰动解释为以真实值为中心的高斯过程。在多步推理中，校正过程被建模为高斯过程微分的累积效应。这种标签进-标签出框架使DragOSM能够显式利用标签和图像之间的空间关系，使其区别于先前的基于噪声的学习方法。

​3 方法论​

在第3.1节对图像-标签对齐问题进行一般性设置之后，第3.2节将介绍我们方法的物理结构。随后，第3.3节详细说明了我们的训练过程，解释了如何引导模型识别噪声标签扰动的高斯特性并将这些噪声标签准确映射到相应的屋顶和足迹位置。最后，第3.4节描述了我们如何使用DragOSM模型进行推理，将噪声标签映射到准确的屋顶和足迹标注。

​图3：DragOSM训练过程概述。在训练期间，真实值多边形通过添加高斯噪声进行扰动以模拟带噪声的历史标签。模型学习通过对齐令牌解码为基于图像上下文的校正偏移来恢复真实值位置。此外，使用辅助掩码监督任务来增强模型对建筑结构的理解。​​

​3.1 问题设置​

给定航空图像 I及其相应的历史标注 P，图像-标签对齐问题旨在准确匹配并将图像 I中的多边形建筑屋顶 R和足迹 F与给定的 P对齐。

在这项工作中，我们建议通过在给定数据 D上训练一个图像-标签交互模型来解决此问题，即：

其中 P, R, F是图像 I包含的建筑物的相应多边形。特别是，对于每个 P, R, F包含 m个建筑标注，包括真实值多边形屋顶 R = {r_j}_{j=1}^M，足迹 F = {f_j}_{j=1}^M和 OSM 多边形 P = {p_j}_{j=1}^M。对于每个 r_j, f_j和 p_j，包括一组关键点。

此外，R、F和 P中每两者之间的对齐关系记录为欧拉坐标下的偏移，即OSM位置到足迹位置 F→ = {f_j→}_{j=1}^M，OSM位置到屋顶位置 R→ = {r_j→}_{j=1}^M，以及足迹到屋顶位置 O→ = {o_j→}_{j=1}^M。f→_j, r→_j, 和 o→_j是一个二维向量。基于三个元素之间的几何关系，我们有：

方程2充当了OSM位置和真实值位置之间的桥梁；在DragOSM中，三个中的两个用于对齐标签。通过设计，我们引入 f_j→和 o_j→作为潜在变量，负责表示每个标签的校正对齐。因此，使用的数据将是：

这里，所提出的DragOSM的功能，当模型接收到图像 I和多边形 P时，可以理想地描述为：

第3.2节、第3.3节和第3.4节中使用的变量总结在表I中。

表I：第3.3节和第3.4节中的重要变量及其定义​

变量 (Variables)

# 定义 (Definitions)

​3.2 DragOSM的结构​

为了获得能更好表示建筑结构的多边形结果，我们设计DragOSM时遵循一个关键原则：它必须为输入和输出保持矢量化的多边形格式。我们在DragOSM中通过为每个输入多边形预测一个矢量偏移来实现这一点，这不同于先前基于分割的校正场[14]。相反，我们提出了对齐令牌（alignment token）​，一个受基础模型启发的概念，来直接编码和解码这种对齐信息。受SAM [28]、SAM 2 [29]、DINO-X [30]等交互式模型的启发，整个过程被表述为标签和图像模态之间的交互，我们最终在SAM框架上实例化了DragOSM。

如图3所示，我们的模型采用视觉变换器（ViT）[31]作为图像编码器。建筑关键点的多边形表示首先在像素空间中转换为掩码，然后由多边形编码器处理以生成多边形嵌入。多边形编码器实现为一个轻量级卷积网络，主要负责将多边形掩码映射到高维特征空间。

然后，多边形嵌入用作监督任务令牌和对齐令牌的位置嵌入。这些令牌与多边形嵌入一起分组并馈入双向变换器[28]以与图像嵌入交互。监督任务令牌和对齐令牌的功能类似于DETR [20]和DINO [22]等模型中的对象查询，充当一组在训练期间随机初始化的可学习参数。

最后，监督任务令牌与图像嵌入一起被解码以表示建筑的特定部分，即屋顶、足迹、建筑和输入多边形位置，从而帮助模型在训练期间学习更好的建筑结构理解。相比之下，对齐令牌通过一个简单的前馈网络（FFN）传递，并在多边形回归模块内，被解码为方程2中提到的两个偏移。在学习过程中，FFN被训练以学习编码的对齐偏移，而在推理阶段，FFN的输出将被解码为对齐偏移。f→, r→和 o→共享一个类似的编码-解码系统。编码过程定义为：

解码过程为：

其中 v→_e和 v→用于表示编码和解码后的 f→, r→, o→，α→是一个假设的平均中心。β是一个比例因子，将对齐偏移（以真实世界像素单位测量）归一化到适合模型学习的值范围。

最终的偏移与输入多边形关键点结合，在推理中回归最终更新的屋顶和足迹多边形。如图4所示，DragOSM提供两个核心功能：第一个是给定一个粗糙多边形 p_t，DragOSM将其匹配到输入图像上更接近足迹的位置 p_{t+1}。另一个功能是给定一个更接近足迹的多边形 p_{t+1}，DragOSM将其对齐到更接近屋顶的位置 r^。

一旦输入图像 I固定，那么屋顶和足迹之间的关系就固定了，这意味着 o→是固定的。这种确定性使得足迹到屋顶的估计比OSM到足迹的估计更简单。因此，OSM到足迹的对齐过程是迭代的，而足迹到屋顶的对齐过程是一个一步过程。

在以下各节中，将为DragOSM提供训练程序和推理过程的更详细描述。

3.3 训练中的噪声假设​

在现实世界场景中，历史标签相对于更新图像的位置差异是复杂且随机的。如果模型仅在数据集中提供的固定错位标签集上训练，它是在一个封闭集假设下操作的。这使得模型难以学习和泛化到现实中发现的全随机分布的标签偏移。

因此，DragOSM将给定图像中原始OSM标签与真实建筑位置之间的关系建模为高斯分布。相应地，在训练期间，向真实值标签添加高斯扰动以模拟位置噪声，并最终应用真实值足迹来学习屋顶和足迹之间的固定关系。

更具体地说，尽管数据集 D提供了错位的OSM多边形位置，但这些多边形是静态的。为了增强我们模型的鲁棒性，我们在训练期间动态地向真实值足迹添加高斯噪声，以模拟OSM数据中常见的位移。虽然类似的噪声注入策略已用于先前的近天底点标签校正算法[14, 15]，但这些方法通常对输入多边形应用固定偏移，导致相对于图像中建筑的静态错位。相比之下，我们的方法在每次训练迭代时应用动态生成的噪声，导致更真实和多样化的标注误差模拟。通过学习对这些扰动的标签去噪，DragOSM获得了准确更新和定位正确建筑标注的能力。

我们基于一个明确的理由从方程2中选择 f_j→, o_j→作为位置校正的中间变量：由于足迹代表建筑物的地面轮廓，其地理位置天生比屋顶更稳定。此外，对于任何给定图像，建筑足迹和屋顶之间的空间关系是固定的，为校正提供了可靠的几何关系。

我们现在详细说明训练过程。在训练期间，输入 m个标签被随机采样以获得每个训练迭代的 m'个实例，以更好地模拟现实世界标签的复杂性。对于 F = {f_j}_{j=1}^{m'}，每个多边形被扩展成一个形状为 m' × l × 2的矩阵 𝓕，其中 l表示所有多边形中关键点的最大数量。同时，采样的偏移集 F→和 O→同样扩展为相同形状的矩阵 𝐅→和 𝐎→。我们使用一个二进制矩阵 ℳ与 𝓕进行哈达玛积（Hadamard product）​，使我们能够区分实际关键点与扩展过程中引入的填充项。具体来说，有效关键点对应的元素在 ℳ中设置为1，而填充位置设置为0。

随后，一个加性高斯噪声 n→ ∼ 𝒩(0, σ²𝑰)被独立地应用于 𝓕中的每个关键点以模拟标注扰动，其中 𝑰是单位矩阵，σ是固定标准差。因此，这个噪声注入过程可以表述为：

在方程7中，我们使用生成的高斯噪声场 𝐍→替换 𝐅→作为系统位置误差，将真实值多边形 𝓕映射到其相应的带噪声OSM位置 𝓟~。请注意，尽管数据集提供了固定的OSM多边形 𝓟，但我们使用动态的 𝓟~来训练我们的模型。因此，DragOSM的去噪学习过程可以表述为：

其中 θ_f是与足迹对齐令牌（foot alignment token）​​ 相关的模型参数，𝐅→^是模型对 𝐅→的预测值。在训练中，𝐅→ = 𝐍→。

此外，由于在方程2中只有 f→_j和 o→_j被用作校正向量，并且 o→_j对OSM多边形中的噪声是不变的。这里，我们直接使用真实值 𝓕作为多边形输入，屋顶偏移状态转移矩阵由下式给出：

其中 θ_r是与屋顶对齐令牌（roof alignment token）​​ 相关的模型参数，𝐎→^是对 𝐎→的预测。

在噪声增强的训练过程中，由于添加的高斯噪声均值为 0，这有效地模拟了广泛的位移幅度，因此在每个训练迭代中仅执行单步去噪。相比之下，在推理期间，应用多步去噪以逐步细化标签位置。

因此，总体训练损失定义为：

其中 γ是一个缩放因子，ℒ_s^k表示监督任务的交叉熵损失（CrossEntropy Loss）​​[32]，ℒ_f和 ℒ_o表示相关对齐偏移学习的Smooth L1 损失​[33]。

​3.4 推理中的去噪过程​

由于历史标签中位置差异的复杂性，特别是在存在大误差的情况下，简单的单步去噪过程通常不足以进行校正。更关键的是，在离天底点场景中，模型必须产生至少两个不同的输出（屋顶和足迹）才能正确表示建筑物。因此，我们设计了一个多步迭代推理策略来处理这些具有挑战性的错位。同时，在第6.2节中，我们为DragOSM的推理提供了启发式分析，并在第6.3节中，我们设计了推理级策略，使用与普通推理相同数量的去噪步骤实现更高的准确性。

​图4：在推理过程中，DragOSM逐步调整每个足迹的位置。当达到最终步骤 t = T时，模型将直接一步预测屋顶位置。​​

DragOSM的多步去噪过程将去噪视为位置噪声导数的累积，利用了高斯过程的导数仍然是高斯的特性。换句话说，推理过程有效地充当了位置噪声的微分器。如图4，DragOSM通过一系列逐步校正迭代更新输入多边形，获得最终的屋顶和足迹标签。

具体来说，DragOSM的推理能力是从方程8和方程9的训练过程中获得的。对于输入对 (𝐈, 𝓟)，我们需要首先提取足迹位置。这里，我们定义一个离散序列 𝓟_0, …, 𝓟_T，并使用 t定义序列中的一个状态，其中 𝓟_0代表 𝓟的输入状态，𝓟_T代表足迹 𝓕^的最终估计位置。预测足迹的解码序列可以描述为：

其中 {a_t}_{t=1}^T是一个由去噪步骤 t索引的实值序列集，用作缩放因子。为了在本工作其余部分表示方便，我们将缩放序列设置为指数形式：

其中 δ是一个常数。

因此，𝓕^与输入 𝓟之间的关系由下式给出：

在第5节中，我们发现影响推理性能的最重要因素是 T和 δ，我们将在第6.1节通过分析级数 ∑_{t=1}^T δ^{t-1}来进一步理解DragOSM去噪的能力，并在第6.2节提供理论分析。

随后，有了 𝓕^的预测，一旦给定 𝐈，屋顶和足迹之间的关系就固定了。应用方程9，我们一步得到估计的屋顶位置 𝓡^：

​​

​图5：ReBO数据集中位于不同城市和相机角度的标签示例和标注样本。​​

从方程13和方程14可以看出，DragOSM的标签进-标签出（label-in-label-out）​​ 特性变得更加明显，其能力可以解耦为两个部分：给定匹配足迹的多边形，以及给定匹配屋顶的足迹。

由于输入 𝓟可以是任意的，这种解耦架构提供了显著的多功能性。这使得DragOSM不仅能对近天底点和离天底点图像中的标签进行去噪。具体来说，对于离天底点图像，当给定 𝓡作为输入时，它可以校正投影视差以找到 𝓕，或者相反，当给定足迹 𝓕时推断屋顶位置 𝓡。此外，可以同时根据偏移 o→的长度计算建筑物的相对高度。

​4 实验​

本节展示我们方法的验证。我们首先概述实验设置，包括数据集（第4.1节）、实现细节（第4.2节）和基线方法（第4.3节）。然后我们描述评估协议（第4.4节），随后在第4.5节对结果进行详细分析和可视化。

​4.1 数据集​

​ReBO。我们构建了ReBO，一个新的用于评估基于对齐的建筑多边形提取方法的数据集。ReBO包含配对的遥感图像和历史建筑标签，其中图像来源于Google Earth³，历史标签来源于OpenStreetMap。具体来说，遥感图像具有0.5米的高空间分辨率，确保捕获建筑结构的精细细节。图像集包括近天底点和离天底点视图，并涵盖广泛的地理分布，跨越6大洲22个国家的41个城市。这种广泛的覆盖范围呈现了高度多样化的建筑风格，对提取方法的泛化能力构成了重大挑战。

为了从历史标签生成真实值，专业标注员手动将初始多边形与相应图像中的建筑轮廓对齐。此过程产生准确的足迹和屋顶多边形。原始标签、屋顶多边形和足迹多边形之间的位移偏移被同时计算并存储为关键属性。足迹多边形、屋顶多边形和偏移向量这三者构成了ReBO中的真实值。图5提供了标注样本的代表性可视化。

完整的ReBO数据集包含总共5,473张图像中的179,265个建筑实例，所有图像尺寸为 512 × 512像素。为了便于监督训练，数据集被划分为两个标准子集：一个训练集（5,003张图像，162,170个实例）和一个测试集（470张图像，17,101个实例）。划分是在城市级别进行的：训练分割包含35个城市，而测试分割涵盖8个城市。值得注意的是，两个城市同时出现在训练和测试分割中，但具有严格不重叠的地理覆盖范围。

​表II：提出的ReBO数据集划分的统计信息。​​

分割

视角

图像数量

建筑数量

​BONAI 和 OmniCity。BONAI [7] 和 OmniCity [34] 是两个为建筑足迹检测设计的开源数据集，为每个建筑提供的标注包括其屋顶多边形、足迹多边形和屋顶到足迹的偏移。然而，与我们的ReBO数据集不同，它们缺乏与历史标签相关的标注，例如OSM标签以及相应的OSM到足迹或OSM到屋顶的偏移。因此，这些数据集的适用性仅限于专注于直接屋顶到足迹和足迹到屋顶转换的研究。

BONAI数据集包含3,300张遥感图像（1024×1024像素），空间分辨率为0.3米和0.6米，总共包含268,958个建筑实例。该数据集分为3,000张图像的训练集和300张图像的测试集。

OmniCity数据集提供了城市建筑的多视角视图，为相同的城市区域提供了五个不同的视角。在我们的实验中，我们使用OmniCity-view3子集，该子集被广泛用于离天底点图像上的足迹提取研究。它包含191,470个建筑，分布在17,092张训练图像和4,929张测试图像中，每张图像的形状为512×512像素。

​4.2 实现细节​

遵循图3中的流程，我们使用在SAM [28]上初始化的ViT-base [31]作为主干网络。所有模型都在8个NVIDIA RTX 3090 GPU（24GB RAM）上以批次大小8进行训练。我们使用48个训练周期（epoch），步进学习率为0.02，该学习率在500次迭代中从0预热，并在第32和第44个周期衰减0.1倍。在所有实验中使用随机梯度下降（SGD）​，权重衰减为0.0001，动量为0.9。方程10中的 γ设置为0.1，以平衡监督任务和对齐任务之间的损失范围。在解码期间，我们设置 δ = 1和 T = 5。所有模型均使用PyTorch构建，除了MapAlignment [14]，其发布的项目是用TensorFlow编写的。

​4.3 竞争对手​

DragOSM旨在同时提取建筑物的屋顶和足迹多边形，适用于近天底点和离天底点图像。为了评估其性能，我们选择了四个不同类别的方法进行比较。具体来说，第一类包括常见的基于分割的建筑提取方法，其架构可以轻松适应提取建筑屋顶和足迹。我们选择了三个实例分割模型（Mask RCNN [35]、Cascade RCNN [36] 和 HTC [37]）和两个语义分割模型（UNet [38] 和 HRNet [39]）。这些模型被广泛用作遥感图像解译的主干架构。在第二类中，我们选择了LOFT [7] 和 MLS-BRN [8]，这两种方法都可以同时预测建筑屋顶和足迹的掩码。这些方法包含了复杂的设计以解决离天底点图像中固有的挑战。第三类包括专门的模型，例如OBM [9] 和 PolyFootNet [10]，它们能够接受提示（例如，标记屋顶位置的边界框）来执行建筑提取。这种配置允许与我们的DragOSM进行更公平的比较，后者也利用历史标签作为额外输入。最后，为了评估我们对齐框架在建筑多边形提取中的优势，我们将DragOSM与MapAlignment [14, 15, 17]进行比较，这是一种专门为在近天底点图像中将历史标签与建筑屋顶对齐而开发的方法。

​4.4 评估协议​

采用两类定量指标来评估建筑提取性能。第一类包括基于掩码的指标，例如交并比（IoU）​、F1分数（F1）​、精确率（precision）​​ 和召回率（recall）​，因为大多数竞争对手只能预测屋顶和足迹掩码。为了实现全面评估，我们引入了两个宏平均指标：​宏F1（MF）​，计算为屋顶和足迹F1分数的平均值，以及宏IoU（MI）​，代表它们IoU分数的平均值。使用自定义后处理算法将这些掩码转换为多边形可能会引入偏差，因为后处理步骤本身会显著影响准确性。为了确保公平比较，我们将DragOSM的矢量输出栅格化为掩码，以与这些方法进行评估。

为了严格评估预测的和真实值的屋顶与足迹之间的位置差异，我们采用端点误差（EPE）​​ 指标。EPE通过计算预测多边形的质心与其相应真实值标签的质心之间的欧几里得距离来衡量定位精度。DragOSM估计建筑物相对高度的能力通过长度误差（LE）​​ 进行评估，其公式为：

其中 o→与方程2中的相同。

在评估中，我们使用aLE来表示数据集中所有建筑物的LE的平均值。因为aLE和EPE的计算需要预测值和真实值之间存在清晰的一一对应关系，所以我们只能使用这些指标评估OBM、PolyFootNet和我们自己的方法。

​4.5 主要结果​

我们使用ReBO数据集进行了基于历史标签的建筑屋顶和足迹多边形提取的实验。对于涉及从屋顶多边形提取足迹（或反之）以及建筑相对高度估计的任务，我们使用BONAI和OmniCity数据集。

表III：在ReBO数据集上基于历史标签的建筑多边形提取结果（%）。​​

模型 (Model)

屋顶 (Roof)

足迹 (Footprint)

整体 (Overall)

• ​•​ ​加粗突出最佳分数；下划线标记第二名。

• ​↑: 数值越高越好。

• ​↓: 数值越低越好。

• ​Prec.​: 精确率 (Precision)

• ​Rec.​: 召回率 (Recall)

• ​MF: 宏F1 (Macro F1)，屋顶和足迹F1分数的平均值。

• ​MI: 宏IoU (Macro IoU)，屋顶和足迹IoU分数的平均值。

• ​EPE: 端点误差 (Endpoint Error)，预测多边形与真实值质心之间的欧氏距离。

• ​aLE: 平均长度误差 (Average Length Error)，预测偏移向量与真实值之间的平均绝对长度差异。

• ​​-: 表示该模型未提供或无法计算此项指标（例如，某些模型不直接输出矢量结果，无法计算EPE或aLE）。

​总结说明：​​

此表对比了不同类别模型在ReBO数据集上的性能。可以看出：

​基于历史标签的建筑多边形提取。表III总结了所有基线和提出方法在ReBO数据集上的定量性能。早期的屋顶和足迹提取方法，通常基于实例或语义分割，难以处理离天底点图像，因为它们忽略了一个关键问题：立面与部分被遮挡的足迹之间模糊的语义边界。这种固有的限制阻碍了直接和准确的足迹分割，导致性能不佳。性能差异在屋顶和足迹指标之间的巨大差距中显而易见；例如，在模型中拥有最复杂编码器架构的HRNet，在屋顶和足迹提取方面提供了最佳的整体性能。然而，其屋顶和足迹结果之间仍然存在3.86%的显著F1分数差距。虽然MapAlignment可以对历史标签执行简单的位置校正，但它无法解决离天底点图像中屋顶和足迹之间的位移。这是因为位移在整个图像中是非均匀的，随着每个建筑物的高度而变化。因此，依赖于单一全局校正的方法（类似于预测光流场）变得无效。这一限制反映在其屋顶提取的较差性能上，仅获得64.91%的屋顶F1分数。LOFT采用软非极大值抑制（soft-NMS）​​ 算法进行后处理，该算法保留了大量低置信度的输出。此策略使其能够实现最高的屋顶和足迹召回率分数（分别为94.31%和92.06%）。然而，这种高召回率是以精确率为代价的，导致大量重复预测和误检。

OBM、PolyFootNet和我们的DragOSM模型代表了一类类似的方法，它们利用先验信息（例如，历史标签或提示）作为输入。这种方法相比传统模型带来了显著的性能提升；例如，OBM实现了令人印象深刻的84.4%的MF，总体排名第二。

然而，DragOSM展示了卓越的效率和能力。仅通过单步去噪，我们的模型已经实现了与OBM相当的性能。此外，在应用其多步去噪过程后，DragOSM确立了新的最先进水平（state-of-the-art）​，在所有关键指标上显示出主导性能，包括相对高度预测（aLE 2.04）、屋顶-足迹定位（EPE）和MF（91.55%）。

​图6：基线和我们的方法在ReBO数据集离天底点图像上的结果。对于每种方法，我们在左侧展示屋顶预测，右侧展示足迹结果。绿色、蓝色和红色边界分别表示TP（真阳性）、FP（假阳性）和FN（假阴性）。黄色节点是预测多边形的关键点。提供了三个案例，底行展示了局部细节的放大视图，以更好地说明模型性能的细微差别。​​

​可视化。为了更好地说明我们的方法与表III中专门的离天底点算法之间的差异，我们在图6和图7中可视化了几组定性结果，以帮助理解所呈现的指标。虽然LOFT通过使用soft-NMS等算法实现了极高的召回率，但它也产生了大量的误检和重复检测。虽然OBM对可控视觉提示的依赖导致误检较少，但其粗糙的屋顶和足迹掩码边界阻碍了结果的高质量矢量化。类似地，尽管PolyFootNet可以通过结合关键点预测任务直接预测屋顶和足迹多边形，但它容易出现显著错误。其对建筑物位移的不准确估计常常导致足迹放置错误。此外，它可能对同一建筑物产生不一致的边缘和关键点预测。这些放置错误和预测不稳定的问题在PolyFootNet和OBM中都很常见。这些问题在所有三个模型的屋顶和足迹提取结果中都很常见（见图6和图7）。

相比之下，我们的DragOSM模型使用历史标签作为输入。通过从这些人工标注的标签开始（它们提供了建筑物形状的一致且高质量的初始估计），并结合多步去噪推理过程，DragOSM在屋顶和足迹上都取得了最佳结果。

除了上述发现外，对图6的仔细分析揭示了失败模式的显著差异。OBM和PolyFootNet的失败案例主要集中在足迹提取上，而DragOSM的错误主要在屋顶预测中。我们将这种模式归因于它们各自两阶段过程中的错误累积：OBM和PolyFootNet首先预测屋顶，然后推导足迹，而DragOSM则相反，首先对齐足迹，然后推导屋顶。

​图7：方法在ReBO数据集近天底点图像上的可视化结果。绿色、蓝色和红色边界分别表示TP、FP和FN。黄色节点是预测多边形的关键点。​​

​双向屋顶-足迹对齐。表IV总结了DragOSM的屋顶和足迹对齐能力。这里，“w.”和“w/o.”表示相应的数据集是否用于训练。具体来说，我们专门使用BONAI和OmniCity数据集中的屋顶和足迹数据，要求模型在给定屋顶时预测相应的足迹，反之亦然。对于屋顶到足迹的对齐任务，DragOSM配置为 δ = 0.9并采用五个去噪步骤（T = 5）进行对齐。DragOSM表现良好，在几个关键指标上排名靠前。

总体而言，尽管DragOSM并非专门为这两项任务设计，但它始终优于某些能够访问真实值位置提示的基于提示的模型。然而，以屋顶或足迹位置为条件破坏了DragOSM训练过程中建立的数据空间的高斯分布假设，可能限制了模型泛化到自然错位的能力。

表IV：在BONAI和OmniCity数据集上双向屋顶-足迹对齐的结果（%）。​​

模型 (Model)

数据集 (Dataset)

训练情况 (Train)

足迹到屋顶对齐 (Footprint-to-roof alignment)

屋顶到足迹对齐 (Roof-to-footprint alignment)

• ​加粗突出最佳分数；下划线标记第二名。

• ​↑: 数值越高越好。

• ​↓: 数值越低越好。

• ​Train (训练情况)​:

  • ​w.​: 使用该特定数据集进行训练。

  • ​w/o.​: 未使用该特定数据集进行训练。

• ​Footprint-to-roof alignment (足迹到屋顶对齐)​: 任务是在给定真实足迹多边形的情况下预测屋顶多边形。

  • ​F1_r​, ​Prec._r​, ​Rec._r​: 屋顶预测的F1分数、精确率、召回率。

  • ​EPE_r↓: 预测的屋顶多边形与真实屋顶之间的端点误差。

  • ​aLE↓: （在此任务上下文中）可能表示预测的偏移向量（o→）与真实值之间的平均长度误差。

• ​Roof-to-footprint alignment (屋顶到足迹对齐)​: 任务是在给定真实屋顶多边形的情况下预测足迹多边形。

  • ​F1_f​, ​Prec._f​, ​Rec._f​: 足迹预测的F1分数、精确率、召回率。

  • ​EPE_f↓: 预测的足迹多边形与真实足迹之间的端点误差。

  • ​aLE↓: （在此任务上下文中）可能表示预测的偏移向量（f→或 o→的逆？）与真实值之间的平均长度误差。(注：根据表结构，aLE列似乎共享于两种任务，可能均指代与偏移向量o→相关的误差)。

​总结说明：​​

此表评估了模型在双向对齐任务上的性能，即：

关键观察：

5 消融实验 (Ablations)

在第5.1节中，我们首先确定对齐令牌（alignment tokens）的编码和解码参数 β。接着，在第5.2节中，我们探索了不同的训练策略，包括OSM到基底（osm-to-footprint）、OSM到屋顶（osm-to-roof）以及基底到屋顶（footprint-to-roof）偏移量的组合。在第5.3节中，我们分析了去噪推理（denoising inference）阶段步长设置对最终结果的影响。最后，第5.4节呈现了在数据集上的消融研究，分别评估了远天底（off-nadir）和近天底（near-nadir）图像对最终结果的影响。

5.1 解码和编码对齐偏移的参数 (Parameters for Decode & Encode Alignment Offsets)

在这部分，我们研究了所提出的对齐令牌概念的编码和解码参数。在现实场景中，真实偏移（ground-truth offset）标签代表像素空间中的值，通常范围从1到超过100，这些值远大于模型训练过程中通常遇到的中间值。为了评估这种影响，我们测试了不同解码参数组合。

​表V：令牌编码器中 δ 对一步整体准确率的影响​

屋顶 δ

基底 δ

宏F1 (Macro F1)

宏IoU (Macro IoU)

具体来说，我们通过使用不同的 β 重新训练，研究了公式5和公式6中屋顶和基底对齐令牌解码和编码的不同 β 值。

在表V中，我们比较了模型在一步推理（one-step inference）下的性能，发现 β=200 是对屋顶和基底对齐都更合适的设置。

5.2 对齐偏移组合 (Alignment Offset Combinations)

本节分析了在单步推理设置下，关键设计选择对模型性能的影响。受公式2中确定的三种可能对齐方向的启发，我们首先研究了各种对齐偏移组合的性能。为此，我们重新训练并比较了多个具有不同独特设置的 DragOSM 变体。此外，我们还评估了在训练期间加入噪声增强（noise augmentation）的效果。这些比较的结果用于确定最有效的模型配置。

如表VI所示，高斯噪声增强有利于学习标签对齐，并且使用基于 ​o→​（OSM到基底偏移）的对齐学习组合取得了更好的性能。这可能归因于 ​o→​ 的固有特性：给定一张图像，建筑物屋顶和基底之间的关系以及 ​o→​ 的值是确定的。在这种设置下，模型可以更轻松地直接从图像中学习建筑物相关信息，使得学习 ​o→​ 比学习 ​f→​（基底到屋顶偏移）和 ​r→​（OSM到屋顶偏移）更直接。

基于这些发现，DragOSM 采用了噪声增强策略，并使用 ​o→​ 和 ​f→​ 的组合进行训练。

​表VI：训练策略的组件消融研究​

r→

f→

o→

噪声增强 (D.N.)

宏F1 (Macro F1)

宏IoU (Macro IoU)

5.3 去噪推理的步长 (Stepsize for Denoise Inference)

在推理过程中，我们使用 {a_t}_{t=1}^T 来指导模型的迭代校正过程。由于指数序列可以通过灵活设置其底数来模拟不同步骤下的不同步长，我们设置 a_t = δ^(t-1)。为了更好地说明 δ 和 T 之间的相互作用，我们定义：

它量化了在整个去噪步骤中累积的“能量”。

从表VII中我们注意到，当步数较少时，模型的最终性能可能对 δ 和 T 的具体值相对不敏感。结果还表明，当累积能量 E 相当时，模型倾向于达到相似的性能。然而，当 δ 变得过大时，模型的性能似乎会下降。

为了进一步研究这一现象，我们进行了额外的实验，并从多个角度对推理过程进行了全面分析。通过使用恒定步长，我们发现早期直接设置较大的步长允许网络更快地拟合（参见第6.1节）。

​表VII：衰减因子 δ 和步数 T 对屋顶/基底 F1 和宏 F1 (MF) 的影响​

δ

T

E

屋顶 F1 (Roof F1)

基底 F1 (Footprint F1)

宏 F1 (MF)

另一方面，随着去噪步数的增加，模型的推理速度逐渐降低。为了量化不同 T 对推理效率的影响，我们在 ReBO 数据集上进行了五次重复实验，并在不同 T 设置下使用 FPS（每秒帧数）指标测量了平均推理速度（见表VIII）。

​表VIII：推理速度 (FPS) 与去噪步数 T 的关系​

T

1

2

4

5

8

10

30

5.4 近天底和远天底图像的影响 (Impact of the Near-nadir and Off-nadir Images)

ReBO 数据集旨在全面评估模型在远天底（off-nadir）和近天底（near-nadir）图像上的性能。虽然我们在第4.5节报告了整个数据集的总体结果，但这些汇总指标并未完全揭示近天底与远天底条件对每个模型的具体影响。为了提供更细粒度的分析，本小节的实验通过将数据集划分为不同的近天底和远天底子集，并评估模型在每个子集上的性能，来重新评估模型。

如表IX所示，传统模型试图直接从图像的语义信息中提取屋顶和基底。然而，远天底图像中固有的模糊语义边界（比近天底视图更明显）使模型解释像素级细节的能力复杂化。这导致提取的屋顶和基底结果之间存在显著的性能差距。例如，在远天底子集上，UNet 的屋顶 F1 比其基底 F1 高 13.7%。虽然更复杂的传统模型（如 HRNet）可以通过增加参数数量来提高整体性能，但屋顶和基底预测之间的基本性能差异仍然存在。

为了缓解这个问题，引入了“专家”模型，如 OBM 和 PolyFootNet，它们改进了建筑物表示（预测屋顶 + 偏移），专为远天底问题设计，以增强模型对建筑物的理解。然而，它们仍然存在缺陷；随着建筑物位移的增加，偏移预测的难度也增加，并且屋顶和基底提取之间的性能差距仍然存在。PolyFootNet 就是明证，它在远天底子集上仍然显示出 4.19% 的 F1 差距。

相比之下，我们的模型从历史标签开始，这种策略从一开始就避开了像素级语义模糊性问题。通过其多步去噪过程，DragOSM 显著增强了对投影和位置偏移的理解。这导致了对屋顶和基底始终如一的准确提取结果，表现为仅 0.95% 的最小 F1 差距和低得多的远天底 aLE（2.21）。

表IX：不同模型在ReBO测试集的远天底（Off Nadir）和近天底（Near Nadir）场景上的结果（%）​​

模型 (Model)

远天底 (Off Nadir)

近天底 (Near Nadir)

(aLE: 平均定位误差, F1r: 屋顶F1分数, F1f: 基底F1分数)

​6 深入探讨与分析 (Further Probing & Discussions)​​

在第6.1节中，我们从工程角度更详细地研究了如何在推理过程中设置步长和步数。然后，第6.2节对DragOSM的基本原理进行了启发式解释。最后，第6.4节和第6.5节分析了DragOSM的优势和局限性，及其对未来发展的潜在影响。

​6.1 步长策略与推理收敛 (Step Size Strategies and Inference Convergence)​​

在第5.3节中，我们观察到参数 δ 和 T 与模型在推理过程中的收敛行为之间存在潜在关系。为了进一步研究和分析不同建筑物之间的这种关系，我们可视化了在不同 δ 值下 E 和宏F1（Macro F1）的散点分布。这种可视化提供了一种直观的方法来检查和验证先前总结的结论。

图8说明了模型推理性能与 E 之间的关系。总体而言，给定一个固定的 δ，模型的性能与去噪过程中的 E 直接相关：在达到最佳性能之前，具有相似 E 值的模型倾向于获得可比的结果；即，较大的 δ 可以在早期步骤加速收敛。然而，随着去噪步骤数 t 的增加以及模型接近其最佳性能，δ 的值成为决定最终是否能实现收敛的关键因素。

因此，推理收敛的分析必须回到检查公式11中定义的级数 ∑(t=1)^T a_t 和 ∑(t=1)^T q(𝓟t | 𝓟(t-1); 𝜽_f, 𝐈) 的收敛行为。

在我们的实验中，我们设置 a_t = δ^(t-1)。根据公式16中的几何级数求和，很明显当 δ < 1 时，∑(t=1)^T a_t 收敛，确保模型收敛。对于 δ = 1，虽然 ∑(t=1)^T a_t = T 发散，但我们的实证结果表明模型的推理过程仍然收敛，表明DragOSM本身具有强大的收敛特性。此外，即使当 δ 设置为较大的值并且 ∑_(t=1)^T a_t 的发散变得更加明显时，我们在实验中仍然在特定区间内观察到收敛。

这些发现表明，模型确实通过预测一系列偏移量来校正标签位移误差。虽然较大的 δ 可能会在一定程度上降低去噪过程的鲁棒性，但适当设置 δ 和 T 可以为每个预测的偏移量提供有益的长度补偿，从而加速模型的收敛。具体来说，一些实用的组合包括 (δ, T) = (1, 5), (1.3, 4), 和 (2, 2)。

这突出了我们的方法与扩散模型之间的一个根本区别，尽管DragOSM的灵感来自扩散模型中使用的去噪策略。传统的生成扩散模型，如DDPM [24]，在训练期间向图像样本添加噪声，并利用KL散度来学习去噪过程，从而能够从纯噪声分布中恢复有意义的图像。这种推理过程通常需要几十甚至几百个迭代步骤。当检查同一图像在不同训练迭代中添加噪声后的情况时，生成的图像基本上是纯噪声，并不保留任何与原始图像内容相关的有意义的分布。相比之下，DragOSM将噪声添加到标签的空间位置，而不是图像像素本身，并使用Smooth-L1 Loss来学习添加的噪声。这种区别意味着，对于给定的图像和标签，不同训练迭代中添加的噪声遵循一个清晰的模式：聚合的噪声标签位置形成一个均值为 𝟎 的高斯分布，即 𝒩(0, σ²𝑰)。重要的是，该分布的均值恰好对应于真实标签位置。在推理过程中，DragOSM通过预测遵循此高斯分布的轨迹来校正标签位置，通常需要不到十步即可实现精确对齐，这比传统扩散模型要少得多。

​图8：能量 E 与推理收敛的关系。​​ 左图提供了整体的 E-MF 分布，而右图更详细地放大了收敛部分。

​6.2 启发式分析：DragOSM的理想推理 (Heuristic Analysis: Ideal Inference of DragOSM)​​

这部分将重新建模DragOSM的训练和推理。为了简化DragOSM的训练和推理讨论，我们将整个多边形的运动简化为多边形上一个代表点的运动。因此，对于基底多边形上的一个给定点 𝐱 ∈ ℝ²，我们添加一个高斯噪声 ϵ ∼ 𝒩(𝟎, σ²𝑰₂) 到 𝐱 上：

其中 𝐱~ 是模拟OSM多边形上的噪声样本点。

从公式8中，我们知道DragOSM实际上是在学习OSM多边形的噪声分布，并且这里有一个基于训练加噪过程的假设：OSM多边形通常围绕真实基底（ground truth footprints）呈正态分布。为了对去噪过程进行建模，我们将针对一个噪声点的DragOSM网络表示为 ϵ_θ(𝐱~)，它可以预测一个与 𝐱 维度相同的偏移量，从而能够直接校正输入。

在推理中，对于测试集中的真实OSM多边形，我们假设OSM点也围绕基底呈正态分布，分布为 𝜻 ∼ 𝒩(𝟎, ν²𝑰₂)。

​一步预测 (One-step Prediction)。​​ 在单步推理下，如果一个理想的DragOSM完美地学习了训练中观察到的OSM和基底位置之间的高斯分布关系，那么根据公式10中使用的Smooth L1 Loss，

这意味着，

并且对于一个输入为 𝐲~ 的理想DragOSM，其单步关系是：

其中 𝐲 表示测试集中的真实基底位置，而 𝐲^ 代表模型在给定输入 𝐲~ 时对 𝐲 的估计量，λ 是所需的长度补偿，用于弥合训练分布和测试集分布之间的差距。具体来说，如果 ν, σ 是固定的，那么 λ = ν/σ，这使得 𝜻 = λϵ。

​多步预测 (Multi-step Prediction)。​​ 然而，在现实世界的训练场景中，上述理想假设可能不成立。例如，虽然训练期间添加的噪声是采样自 ϵ ∼ 𝒩(𝟎, σ²𝑰₂)，但模型学习到的方差可能收敛到 σ̂²，且 σ̂ ≠ σ，这可能与真实的训练方差不同。此外，测试集中的噪声参数 𝜻 ∼ 𝒩(𝟎, ν²𝑰₂) 通常是未知的。因此，让我们考虑一个位置序列 𝐲~₀, …, 𝐲~t, …, 𝐲~T，其中 𝐲~₀ 表示初始位置 𝐲~。在公式11的框架下，我们将其与一个步长序列 a₁, …, a_t, …, a_T 关联起来，关系如下：

其中 a_t 是公式11中定义的步长。本质上，公式22假设对于测试集，标注位置和真实基底位置之间的位移遵循高斯分布。在此假设下，公式22中的 ϵ_θ(𝐲~_(t-1)) 可以解释为描述从基底位置到OSM标注变换的高斯过程的导数。

根据统计理论，高斯过程的导数也是一个高斯过程，前提是协方差函数是二次可微的。此外，高斯过程的任何线性组合也会产生高斯过程。基于我们的设计，训练中错放的多边形是通过加性高斯噪声和真实位置生成的。模型的任务是学习从当前位置到真实中心的连续高斯映射；然而，这种训练的结果在实践中并不理想。这意味着我们只能将模型的去噪函数 ϵ_θ(𝐲~t) 建模为与真实噪声 ϵ 成正比，而不是完全相等，即 ϵ_θ(𝐲~t) ∝ ϵ。

在这种理想化假设下，模型预测的偏移量 ϵ_θ(𝐲~t) 遵循 ϵ_θ(𝐲~t) ∼ 𝒩(𝟎, ν_t² 𝐈₂)，其中 ν_t² = b_t² ν²。为了表征DragOSM的收敛行为，我们引入一个序列 b₀, …, b_t, …, b_T 来反映DragOSM的收敛性，其中 b_t ≥ 0。特别是，对于任何确保模型收敛的序列 {a_t}_(t=1)^T，我们有 b_t < 1。

换句话说，对于公式22和公式13，我们有：

基于上述假设和高斯分布的可加性，估计值 𝐲^ 的分布为 𝐲^ ∼ 𝒩(𝟎, ∑(t=1)^T a_t² b(t-1)² ν² 𝑰₂)。这意味着，当DragOSM在多步推理中达到收敛时，模型的内在收敛性、步长补偿和假设的真实测试集分布之间存在一种隐含关系：

其中我们定义序列 a_t² = A[t] 和 b_t² = B[t]。B[t] 的值取决于输入 y~(t-1) 与均值中心之间的相对位置，并且在理想情况下，随着它越来越接近真实基底位置而趋近于零。因此，模型去噪推理的收敛等价于 f(T) 的收敛，这又归结为比较级数 ∑(t=1)^T A[t] 和 ∑_(t=1)^T B[t] 的收敛性质。

对于公式23中的关系，有两个结论。首先，一个理想的DragOSM总是有 f(T) → 1，当DragOSM处于可以完美将OSM拖拽到相关基底的设置下时。

​

​图9：提出的DragOSM-t1和DragOSM-t1.5在推理阶段的示意图。​​

其次，令 A[t] = c，其中 c 是一个常数，并考虑一个给定的 t = n。此时，输入位置 𝐲n 在 A[t] = c 的设置下达到局部最优。由于 B[t] 仅取决于输入 𝐲t 到中心（高斯分布的 𝟎 中心）的距离，我们有：

其中 C 是另一个常数。公式24意味着，在物理空间中，随着 T 的增加，y_T 的位置更新将不再接近均值中心，而是沿着以均值中心为中心的圆形路径振荡。公式24的收敛性也可以在图8中观察到。基于这一观察，在第6.3节中，我们尝试通过延长推理时间并利用 𝐲_T 在更新过程中的空间动态来提高模型性能。

​6.3 测试时增强 (Test-Time Augmentation)​​

从图4可以看出，DragOSM是一个“标签进-标签出”（label-in-label-out）的模型。因此，受多模态大语言模型[40]中思维链（Chain of Thought, CoT）范式的启发，我们的目标是通过综合多轮推理的输出来获得改进的结果。

如图9所示，我们设计了两种高级推理策略，通过聚合多个候选解（“局部最优点”）来获得更鲁棒的最终输出。对于表X中报告的实验，我们评估了这两种变体，DragOSM-t1和DragOSM-t1.5，它们都使用5步推理作为基础单元：(1) DragOSM-t1采用多轮运行策略来逃离局部最优。在一个5步推理循环之后，它向结果多边形添加随机噪声，并将这个扰动后的多边形用作新一轮5步循环的输入。重复此过程，最终输出是每次独立运行结束时获得的位置的平均值。(2) DragOSM-t1.5基于第6.1节的观察，即模型在初始步骤后倾向于收敛，因此我们让模型再运行额外的5步。然后仅对这些后期步骤（即第6-10步）的中间结果取平均来计算最终预测。

结果证实（表X），t1和t1.5策略都可以提高模型的整体性能。此外，这些迭代策略比简单地增加总推理步数更高效。

​表X：DragOSM及其t1、t1.5版本在ReBO数据集上基底掩码指标、MF和MI的性能比较​

模型 (Model)

T

F1

精确率 (Prec.)

召回率 (Rec.)

IoU

宏F1 (MF)

宏IoU (MI)

(T: 推理步数, Base: 基础DragOSM, t1/t1.5: 增强版本, +5表示在基础步数上增加5步)

​6.4 DragOSM的额外优势 (Extra Benefits of DragOSM)​​

除了实现更高的屋顶-基底掩码精度外，DragOSM方法还提供了其他方法所不具备的几个优势。最值得注意的是，它保持了不同时期标签-图像关系的时空连续性，如图6和图7所示。DragOSM产生的更新标签自然地保持了这种连续性，而基于提取的算法常常受到分割输出固有随机性的影响，例如，对于来自不同拍摄角度和卫星传感器的不同图像中的同一建筑物存在多个预测，这使得一致地更新空间关系具有挑战性。这种连续性对于下游的建筑物监测任务至关重要。例如，在非法建筑检测等土地调查应用中，具体案例的最终决定通常依赖于对图像和标注之间对应关系的手动验证。

此外，DragOSM的多边形“标签进-标签出”特性不仅带来了更高的精度和更好的建筑物轮廓匹配，而且相比于基于掩码的提取方法提供了实际优势，例如更高效的存储和更容易编辑。通过充分利用现有的人工标注数据，这种方法增强了过去标注工作的价值和效率。此外，这项工作为开放矢量地图的维护提供了一种新颖且低成本的算法方法：通过标签和图像之间的多轮交互来更新矢量数据。

​6.5 局限性与未来工作 (Limitations and Future)​​

使用DragOSM快速获取给定区域的屋顶-基底标注是一项基本任务，然而在该领域的许多方面仍需要进一步发展和改进。

基于屋顶-基底相似性的屋顶-基底提取算法通常建立在屋顶和基底具有相似形状的共同假设之上[7, 41, 19, 9, 42]。DragOSM算法的设计也利用了OSM标注中固有的类似假设关系。然而，少数建筑物由于不同设计师引入的独特建筑风格，可能不满足这一假设。此外，虽然历史标注可以提供相对可靠的建筑物标签信息，但某些标签的质量（例如，志愿者贡献的OSM标注或政府机构授权的数据）可能差异很大。因此，在实现基本的位置对齐之后，从单视图或多视图图像进一步细化标签形状代表了一个有前途的未来研究方向。

尽管ReBO数据集是重要的第一步，覆盖了41个城市，但这个开创性研究领域的数据仍然稀缺。作为一项基于矢量标注与超高分辨率（VHR）图像对齐的研究，合适的标签-图像对的可用性仍然有限。为了 enable 对此类对齐算法应用的更广泛研究，广大研究界创建和贡献更多数据集至关重要。

另一方面，在实现建筑物标注的精确对齐之后，有几个领域的算法进步潜力，例如跨时间远天底图像和标签的变化检测[42]，以及建筑物的单目3D重建[43, 8, 19]，这取决于标注本身的可靠性。同时，直接利用历史标签的大规模城市研究未来可以受益于DragOSM，以获得精确匹配的图像-标签数据源，即使在那些过去因校正不便而被忽略标注错误的情况下也是如此。

​7 结论 (Conclusion)​​

在本文中，我们解决了将历史建筑物标签与当代远天底遥感图像对齐的挑战性问题。我们引入了DragOSM，这是一个新颖的框架，将这一挑战重新表述为一个顺序对齐任务。通过提出“对齐令牌”（alignment token）来显式建模空间差异，并采用鲁棒的“加噪-去噪”（noise-and-denoise）训练范式，我们的方法有效地校正了历史矢量数据与新图像中建筑物之间的位置误差。我们在新创建的ReBO基准数据集上进行的广泛实验验证了这种方法。结果表明，DragOSM不仅显著优于现有方法，而且建立了新的最先进性能基准。对齐令牌和去噪策略的有效性证实了将标签校正建模为一个迭代优化过程是一个强大且可行的解决方案。