欢迎光临
我们一直在努力

论文深读:Enhancing Video Super-Resolution via Implicit Resampling-based Alignment

论文:Enhancing Video Super-Resolution via Implicit Resampling-based Alignment 作者:Kai Xu, Ziwei Yu, Xin Wang, Michael Bi Mi, Angela Yao(NUS) 会议:CVPR 2024 ArXiv:2305.00163v2


一、介绍:对齐里的\”隐形台阶\”

视频超分辨率(VSR)的核心卖点是利用时间维度的信息,而时间信息要能用的前提,是先把相邻帧对齐(Alignment)。

现有 VSR 方法在对齐上花的功夫不少:光流(Optical Flow)、可变形卷积(Deformable Conv)、可变形注意力(Deformable Attention)……但有个关键步骤一直被所有人默认忽略了——重采样(Resampling)。

对齐的本质是两步走:

  • 运动估计(Motion Estimation):算出像素位移场 M
  • 运动补偿(Motion Compensation):根据 M 把参考帧 warp 到当前帧
  • 第二步 warp 的时候,算出来的位移往往是亚像素精度(小数坐标),而参考帧只在整数坐标上有值。这时候

    赞(0)
    未经允许不得转载:171主机测评 » 论文深读:Enhancing Video Super-Resolution via Implicit Resampling-based Alignment
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址