一种深度学习框架下矩形边界保持的图像拼接方法技术

技术编号:39934205 阅读:30 留言:0更新日期:2024-01-08 22:03
本发明专利技术公开了一种深度学习框架下矩形边界保持的图像拼接方法,包括:S1,矩形边界保持的图像拼接数据集构建;S2,基于监督学习的矩形边界保持的图像拼接;S3,基于无监督学习的单例图像拼接优化。该方法构建了可解释性强且有效的卷积神经网络,能够高效、稳定地进行图像拼接,显著提升拼接方法在特征对齐、矩形边界保持以及显著结构保持等方面的性能。

【技术实现步骤摘要】

本专利技术属于深度学习框架下的图像编辑与处理,具体涉及一种深度学习框架下矩形边界保持的图像拼接方法


技术介绍

1、当前,图像拼接已经成为计算机视觉和图形学的热门研究课题,其主要任务是将多个有重叠区域的图像拼接起来,得到一个包含更加宽广视角的图像。图像拼接技术在虚拟现实、自动驾驶、视频监控等领域有着广泛应用。传统的图像拼接方法专注于准确的特征对齐、自然的图形变形以及直接保持等。尽管传统方法已经取得了较大的成功,但是他们依赖于重叠区域内的特征对齐的性能,以及能量优化的效果,在纹理模糊、低照度、低分辨率等恶劣条件下的拼接效果难以保证。此外,保持图像的几何结构和视觉特征通常需要构建复杂的优化方程且计算代价高,从而降低了传统方法的鲁棒性和普适性。

2、为了克服传统方法的不足,近年来基于深度学习的方法受到了广泛关注和研究。这些方法可以大概分为三类:监督学习方法、弱监督学习方法、无监督学习方法。这些方法能够鲁棒、高效地拼接图像,并且在大的视差、几何保持等方法性能优越。然而,当前基于深度学习的拼接方法很少考虑边界的规则性。最近提出的基于卷积神经网络的图像矩形本文档来自技高网...

【技术保护点】

1.一种深度学习框架下矩形边界保持的图像拼接方法,其特征在于,包括以下步骤:

2.如权利要求1所述的深度学习框架下矩形边界保持的图像拼接方法,其特征在于,S1中基于全局能量优化对待拼接的输入图像对进行图像拼接具体包括:首先对拼接过程中的输入图像进行初始拼接,得到边界不规则的变形网格;然后提取变形网格的外边界,并构建矩形边界约束;最后以特征对齐、形状保持、直线保持和矩形边界保持为约束构建全局能量优化,得到边界为矩形的图像拼接结果;拼接过程中的输入图像来源于拼接图像数据集,每组数据由两张图像组成,所有图像分辨率相同。

3.如权利要求1所述的深度学习框架下矩形边界保持的...

【技术特征摘要】

1.一种深度学习框架下矩形边界保持的图像拼接方法,其特征在于,包括以下步骤:

2.如权利要求1所述的深度学习框架下矩形边界保持的图像拼接方法,其特征在于,s1中基于全局能量优化对待拼接的输入图像对进行图像拼接具体包括:首先对拼接过程中的输入图像进行初始拼接,得到边界不规则的变形网格;然后提取变形网格的外边界,并构建矩形边界约束;最后以特征对齐、形状保持、直线保持和矩形边界保持为约束构建全局能量优化,得到边界为矩形的图像拼接结果;拼接过程中的输入图像来源于拼接图像数据集,每组数据由两张图像组成,所有图像分辨率相同。

3.如权利要求1所述的深度学习框架下矩形边界保持的图像拼接方法,其特征在于,s1中变形网格进行归一化处理具体包括:将拼接后的图像大小统一设置为ws*hs,wt和ht为拼接结果的外接矩形的宽和高,此时任一网格顶点坐标(x,y)变换为(x/wt*ws,y/ht*hs),得到数据集中拼接结果的网格标签。

4.如权利要求3所述的深度学习框架下矩形边界保持的图像拼接方法,其特征在于,s1中基于插值的方法进行拼接结果渲染具体包括:基于归一化的网格顶点,采用薄板样条模型的插值方法对拼接图像结果进行渲染,得到对输入图像对相应的变形后的拼接图像标签,并将渲染后的图像大小设置为ws*hs,得到数据集中的拼接结果图像标签。

5.如权利要求1所述的深度学习框架下矩形边界保持的图像拼接方法,其特征在于,s2中基于深度学习的方法得到边界不规则的拼接结果具体包括:采用基于深度学习框架的图像拼接模型进行初始的图像拼接,将单应性和薄板样条曲线参数化为统一的表示,得到不规则的图像拼接结果{mi}(i=1,2)和相应的变形网格{ξi}(i=1,2),通过一系列卷积和池化操作从{mi}中提取出高维图像特征,其中卷积和池化操作共有8个卷积层,且在第2,4,6个卷积层后面放置一个池化层;高维图像特征提取完成后,增加一个适应性的池化层用于规范化图像特征的分辨率;通过计算图像高维特...

【专利技术属性】
技术研发人员:张赟
申请(专利权)人:浙江传媒学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1