Poly-DETR:用多边形检测 Transformer 重新定义实例分割
引言:实例分割的困境
实例分割一直面临一个矛盾:高分辨率输入 vs 轻量级实时推理。
传统的 Mask R-CNN 系列方法采用密集的像素级掩码预测:
Mask = Decoder(Features) ∈ {0,1}^(H×W)
这种方式在高分辨率图像(如 Cityscapes 的 2048×1024)上会带来巨大的计算和内存开销。更要命的是,大部分像素其实是冗余的——我们真正关心的只是目标的边界。
2026年3月,来自多个机构的研究团队提出了 Poly-DETR(Polygon Detection Transformer),将实例分割重新定义为稀疏顶点回归问题,从根本上解决了这个矛盾。
论文信息:
- 标题:Towards Instance Segmentation with Polygon Detection Transformers
- arXiv ID:2603.09245v1
- 发布时间:2026年3月10日
- 作者:Jiacheng Sun, Jiaqi Lin, Wenlong Hu 等
核心思想:从密集掩码到稀疏顶点
1.1 问题重新定义
Poly-DETR 的核心洞察是:实例分割本质上是边界检测问题。
传统方法:
Input Image → Dense Mask (H×W pixels)
Poly-DETR:
Input Image → Sparse Vertices (N points)
其中 N 通常是 32-128,远小于 H×W(通常是数十万像素)。
1.2 极坐标表示(Polar Representation)
Poly-DETR 采用极坐标系统表示多边形:
给定中心点 (x_c, y_c),多边形顶点表示为:
V_i = (x_c + r_i * cos(θ_i), y_c + r_i * sin(θ_i))
其中:
- θ_i = 2πi/N:均匀分布的角度
- r_i:需要预测的半径
优势:
技术架构
2.1 整体流程
┌─────────────────────────────────────────────────────┐
│ Input Image │
└──────────────────┬──────────────────────────────────┘
│
▼
┌─────────────────────┐
│ Backbone (ResNet) │
│ + FPN │
└──────────┬──────────┘
│
▼
┌─────────────────────┐
│ DETR Encoder │
│ (Self-Attention) │
└──────────┬──────────┘
│
▼
┌─────────────────────┐
│ DETR Decoder │
│ + Polar Deformable │
│ Attention │
└──────────┬──────────┘
│
┌───────────┴───────────┐
│ │
▼ ▼
┌───────────────┐ ┌───────────────┐
│ Box Prediction│ │ Polygon │
│ (x_c, y_c, │ │ Prediction │
│ w, h) │ │ (r_1,…,r_N) │
└───────────────┘ └───────────────┘
2.2 核心创新:Polar Deformable Attention
问题:标准的 DETR 使用矩形框作为参考点,但多边形的顶点分布在圆周上,存在 box-to-polygon reference shift。
解决方案:Polar Deformable Attention
class PolarDeformableAttention(nn.Module):
def __init__(self, d_model=256, n_heads=8, n_points=4):
super().__init__()
self.n_heads = n_heads
self.n_points = n_points
# 学习采样偏移(极坐标)
self.sampling_offsets = nn.Linear(d_model,
n_heads * n_points * 2)
# 学习注意力权重
self.attention_weights = nn.Linear(d_model,
n_heads * n_points)
# 值投影
self.value_proj = nn.Linear(d_model, d_model)
def forward(self, query, reference_points, features):
\”\”\”
query: [B, N_q, C] – 查询特征(每个实例)
reference_points: [B, N_q, 2] – 参考点(中心点)
features: [B, H, W, C] – 特征图
\”\”\”
B, N_q, C = query.shape
# 预测采样偏移(极坐标)
offsets = self.sampling_offsets(query) # [B, N_q, n_heads*n_points*2]
offsets = offsets.view



