欢迎光临
我们一直在努力

Poly-DETR:用多边形检测 Transformer 重新定义实例分割

Poly-DETR:用多边形检测 Transformer 重新定义实例分割

引言:实例分割的困境

实例分割一直面临一个矛盾:高分辨率输入 vs 轻量级实时推理。

传统的 Mask R-CNN 系列方法采用密集的像素级掩码预测:

Mask = Decoder(Features) ∈ {0,1}^(H×W)

这种方式在高分辨率图像(如 Cityscapes 的 2048×1024)上会带来巨大的计算和内存开销。更要命的是,大部分像素其实是冗余的——我们真正关心的只是目标的边界。

2026年3月,来自多个机构的研究团队提出了 Poly-DETR(Polygon Detection Transformer),将实例分割重新定义为稀疏顶点回归问题,从根本上解决了这个矛盾。

论文信息:

  • 标题:Towards Instance Segmentation with Polygon Detection Transformers
  • arXiv ID:2603.09245v1
  • 发布时间:2026年3月10日
  • 作者:Jiacheng Sun, Jiaqi Lin, Wenlong Hu 等

核心思想:从密集掩码到稀疏顶点

1.1 问题重新定义

Poly-DETR 的核心洞察是:实例分割本质上是边界检测问题。

传统方法:

Input Image → Dense Mask (H×W pixels)

Poly-DETR:

Input Image → Sparse Vertices (N points)

其中 N 通常是 32-128,远小于 H×W(通常是数十万像素)。

1.2 极坐标表示(Polar Representation)

Poly-DETR 采用极坐标系统表示多边形:

给定中心点 (x_c, y_c),多边形顶点表示为:
V_i = (x_c + r_i * cos(θ_i), y_c + r_i * sin(θ_i))

其中:

  • θ_i = 2πi/N:均匀分布的角度
  • r_i:需要预测的半径

优势:

  • 参数化简洁:只需预测 N 个半径值
  • 旋转不变性:极坐标天然适合表示旋转目标
  • 拓扑一致性:保证多边形是闭合的

  • 技术架构

    2.1 整体流程

    ┌─────────────────────────────────────────────────────┐
    │ Input Image │
    └──────────────────┬──────────────────────────────────┘
    │
    ▼
    ┌─────────────────────┐
    │ Backbone (ResNet) │
    │ + FPN │
    └──────────┬──────────┘
    │
    ▼
    ┌─────────────────────┐
    │ DETR Encoder │
    │ (Self-Attention) │
    └──────────┬──────────┘
    │
    ▼
    ┌─────────────────────┐
    │ DETR Decoder │
    │ + Polar Deformable │
    │ Attention │
    └──────────┬──────────┘
    │
    ┌───────────┴───────────┐
    │ │
    ▼ ▼
    ┌───────────────┐ ┌───────────────┐
    │ Box Prediction│ │ Polygon │
    │ (x_c, y_c, │ │ Prediction │
    │ w, h) │ │ (r_1,…,r_N) │
    └───────────────┘ └───────────────┘

    2.2 核心创新:Polar Deformable Attention

    问题:标准的 DETR 使用矩形框作为参考点,但多边形的顶点分布在圆周上,存在 box-to-polygon reference shift。

    解决方案:Polar Deformable Attention

    class PolarDeformableAttention(nn.Module):
    def __init__(self, d_model=256, n_heads=8, n_points=4):
    super().__init__()
    self.n_heads = n_heads
    self.n_points = n_points

    # 学习采样偏移(极坐标)
    self.sampling_offsets = nn.Linear(d_model,
    n_heads * n_points * 2)
    # 学习注意力权重
    self.attention_weights = nn.Linear(d_model,
    n_heads * n_points)
    # 值投影
    self.value_proj = nn.Linear(d_model, d_model)

    def forward(self, query, reference_points, features):
    \”\”\”
    query: [B, N_q, C] – 查询特征(每个实例)
    reference_points: [B, N_q, 2] – 参考点(中心点)
    features: [B, H, W, C] – 特征图
    \”\”\”

    B, N_q, C = query.shape

    # 预测采样偏移(极坐标)
    offsets = self.sampling_offsets(query) # [B, N_q, n_heads*n_points*2]
    offsets = offsets.view

    赞(0)
    未经允许不得转载:171主机测评 » Poly-DETR:用多边形检测 Transformer 重新定义实例分割
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址