【技术实现步骤摘要】
本专利技术属于深度学习框架下的图像编辑与处理，具体涉及一种深度学习框架下矩形边界保持的图像拼接方法。
技术介绍
1、当前，图像拼接已经成为计算机视觉和图形学的热门研究课题，其主要任务是将多个有重叠区域的图像拼接起来，得到一个包含更加宽广视角的图像。图像拼接技术在虚拟现实、自动驾驶、视频监控等领域有着广泛应用。传统的图像拼接方法专注于准确的特征对齐、自然的图形变形以及直接保持等。尽管传统方法已经取得了较大的成功，但是他们依赖于重叠区域内的特征对齐的性能，以及能量优化的效果，在纹理模糊、低照度、低分辨率等恶劣条件下的拼接效果难以保证。此外，保持图像的几何结构和视觉特征通常需要构建复杂的优化方程且计算代价高，从而降低了传统方法的鲁棒性和普适性。
2、为了克服传统方法的不足，近年来基于深度学习的方法受到了广泛关注和研究。这些方法可以大概分为三类：监督学习方法、弱监督学习方法、无监督学习方法。这些方法能够鲁棒、高效地拼接图像，并且在大的视差、几何保持等方法性能优越。然而，当前基于深度学习的拼接方法很少考虑边界的规则性。最近提出的基于卷积神经网络的图像矩形化(rectangling)，能够将不规则的拼接结果通过变形生成矩形的拼接图像。尽管该方法在很多场景下具有较好的效果，但是没有在矩形化的同时考虑图像的拼接对齐。此外该方法依赖于初始拼接的结果，容易在矩形化的过程中放大初始拼接时的瑕疵，并容易产生过度扭曲。
3、为了克服先前传统的拼接方法和基于深度学习的拼接方法的不足，本专利技术提出了端到端的监督式深度学习网络用于矩形
技术实现思路
1、本专利技术要解决的技术问题是提供一种深度学习框架下矩形边界保持的图像拼接方法，该方法构建了可解释性强且有效的卷积神经网络，能够高效、稳定地实现图像拼接，显著提升拼接方法在特征对齐、矩形边界保持以及显著结构保持等方面的性能。
2、为解决上述技术问题，本专利技术采用如下技术方案：
3、一种深度学习框架下矩形边界保持的图像拼接方法，包括以下步骤：
4、s1，矩形边界保持的图像拼接数据集构建：图像拼接数据集包括待拼接的输入图像对、拼接结果的网格标签、拼接结果的图像标签；基于全局能量优化对待拼接的输入图像对进行图像拼接，得到边界为矩形的变形网格；对变形网格进行归一化处理，得到网格标签；基于归一化网格，采用插值的方法进行拼接结果渲染，得到图像标签；
5、s2，基于监督学习的矩形边界保持的图像拼接：基于深度学习的方法得到边界不规则的拼接结果；构建全连接卷积神经网络预测网格顶点运动，并基于数据集标签定义损失函数；基于网格顶点运动渲染拼接结果；
6、s3，基于无监督学习的单例图像拼接优化：提取预测的图像拼接结果的网格外边界；构建基于无监督学习的网格顶点优化；拼接结果渲染与合成。
7、一种可能的实施方式中，s1中基于全局能量优化对待拼接的输入图像对进行图像拼接具体包括：首先对拼接过程中的输入图像进行初始拼接，得到边界不规则的变形网格；然后提取变形网格的外边界，并构建矩形边界约束；最后以特征对齐、形状保持、直线保持和矩形边界保持为约束构建全局能量优化，得到边界为矩形的图像拼接结果；拼接过程中的输入图像来源于拼接图像数据集，每组数据由两张图像组成，所有图像分辨率相同。
8、一种可能的实施方式中，s1中变形网格进行归一化处理具体包括：将拼接后的图像大小统一设置为ws*hs，wt和ht为拼接结果的外接矩形的宽和高，此时任一网格顶点坐标(x,y)变换为(x/wt*ws,y/ht*hs)，得到数据集中拼接结果的网格标签。
9、一种可能的实施方式中，s1中基于插值的方法进行拼接结果渲染具体包括：基于归一化的网格顶点，采用薄板样条模型的插值方法对拼接图像结果进行渲染，得到对输入图像对相应的变形后的拼接图像标签，并将渲染后的图像大小设置为ws*hs，得到数据集中的拼接结果图像标签。
10、一种可能的实施方式中，s2中基于深度学习的方法得到边界不规则的拼接结果具体包括：采用基于深度学习框架的图像拼接模型进行初始的图像拼接，将单应性和薄板样条曲线参数化为统一的表示，得到不规则的图像拼接结果{mi}(i＝1,2)和相应的变形网格{ξi}(i＝1,2)，通过一系列卷积和池化操作从{mi}中提取出高维图像特征，其中卷积和池化操作共有8个卷积层，且在第2，4，6个卷积层后面放置一个池化层；高维图像特征提取完成后，增加一个适应性的池化层用于规范化图像特征的分辨率；通过计算图像高维特征之间的全局相关性构建待拼接图像之间的关系，将其与以上提取出的高维图像特征进行连接，得到{κi}(i＝1,2)，并以此作为后续网格运动回归的特征输入。
11、一种可能的实施方式中，s2中构建全连接卷积神经网络预测网格顶点运动具体包括：基于初始拼接结果，以高维图像特征{κi}为输入，通过全卷积神经网络得到相对于初始网格顶点位置的偏移{χi}，其中每个网格的分辨率为p*q，相应的顶点数量为(p+1)*(q+1)，全卷积神经网络由8个卷积层、3个池化层和3个全连接层组成，其中池化层位于第2、4、6个卷积层之后，全连接层位于第8个卷积层之后。
12、一种可能的实施方式中，s2中基于数据集标签定义损失函数中损失函数的定义如下：
13、
14、其中，lm，lp，ls表示网格标签约束、感知一致性约束、形状保持约束，分别表示以上约束的重要性权值。
15、一种可能的实施方式中，s2中基于网格顶点运动渲染拼接结果包括将网络预测得到的网格顶点运动{χi}与初始拼接网格{κi}相加，得到预测的网络顶点{ψi}，然后通过基于薄板样条模型的插值方法渲染出预测图像拼接结果。
16、一种可能的实施方式中，s3中提取预测的图像拼接结果的网格外边界具体包括：获取网格{ψi}(i＝1,2)的外部边界，并将其看成多边形p1和p2，采用多边形布尔的并集运算计算出拼接结果的外边界p＝p1∪p2。
17、一种可能的实施方式中，s3中构建基于无监督学习的网格顶点优化包括：输入预本文档来自技高网...
【技术保护点】
1.一种深度学习框架下矩形边界保持的图像拼接方法，其特征在于，包括以下步骤：
2.如权利要求1所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，S1中基于全局能量优化对待拼接的输入图像对进行图像拼接具体包括：首先对拼接过程中的输入图像进行初始拼接，得到边界不规则的变形网格；然后提取变形网格的外边界，并构建矩形边界约束；最后以特征对齐、形状保持、直线保持和矩形边界保持为约束构建全局能量优化，得到边界为矩形的图像拼接结果；拼接过程中的输入图像来源于拼接图像数据集，每组数据由两张图像组成，所有图像分辨率相同。
3.如权利要求1所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，S1中变形网格进行归一化处理具体包括：将拼接后的图像大小统一设置为Ws*Hs，wt和ht为拼接结果的外接矩形的宽和高，此时任一网格顶点坐标(x,y)变换为(x/wt*Ws,y/ht*Hs)，得到数据集中拼接结果的网格标签。
4.如权利要求3所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，S1中基于插值的方法进行拼接结果渲染具体包括：基于归一化的网格
5.如权利要求1所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，S2中基于深度学习的方法得到边界不规则的拼接结果具体包括：采用基于深度学习框架的图像拼接模型进行初始的图像拼接，将单应性和薄板样条曲线参数化为统一的表示，得到不规则的图像拼接结果{Mi}(i＝1,2)和相应的变形网格{ξi}(i＝1,2)，通过一系列卷积和池化操作从{Mi}中提取出高维图像特征，其中卷积和池化操作共有8个卷积层，且在第2，4，6个卷积层后面放置一个池化层；高维图像特征提取完成后，增加一个适应性的池化层用于规范化图像特征的分辨率；通过计算图像高维特征之间的全局相关性构建待拼接图像之间的关系，将其与以上提取出的高维图像特征进行连接，得到{κi}(i＝1,2)，并以此作为后续网格运动回归的特征输入。
6.如权利要求5所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，S2中构建全连接卷积神经网络预测网格顶点运动具体包括：基于初始拼接结果，以高维图像特征{κi}为输入，通过全卷积神经网络得到相对于初始网格顶点位置的偏移{χi}，其中每个网格的分辨率为P*Q，相应的顶点数量为(P+1)*(Q+1)，全卷积神经网络由8个卷积层、3个池化层和3个全连接层组成，其中池化层位于第2、4，6个卷积层之后，全连接层位于第8个卷积层之后。
7.如权利要求1所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，S2中基于数据集标签定义损失函数中损失函数的定义如下：
8.如权利要求6所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，S2中基于网格顶点运动渲染拼接结果包括将网络预测得到的网格顶点运动{χi}与初始拼接网格{κi}相加，得到预测的网络顶点{ψi}，然后通过基于薄板样条模型的插值方法渲染出预测图像拼接结果。
9.如权利要求8所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，S3中提取预测的图像拼接结果的网格外边界具体包括：获取网格{ψi}(i＝1,2)的外部边界，并将其看成多边形P1和P2，采用多边形布尔的并集运算计算出拼接结果的外边界P＝P1∪P2。
10.如权利要求9所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，S3中构建基于无监督学习的网格顶点优化包括：输入预测的网格{ψi}，以及相应的输入图像对{Ii}，输出是优化后的网格顶点运动{Πi}，其中每个网格的分辨率为P*Q，相应的顶点数量为(P+1)*(Q+1)，无监督学习网络由8个卷积层、3个池化层和3个全连接层组成，其中池化层位于第2、4，6个卷积层之后，全连接层位于第8个卷积层之后。
...【技术特征摘要】
1.一种深度学习框架下矩形边界保持的图像拼接方法，其特征在于，包括以下步骤：
2.如权利要求1所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，s1中基于全局能量优化对待拼接的输入图像对进行图像拼接具体包括：首先对拼接过程中的输入图像进行初始拼接，得到边界不规则的变形网格；然后提取变形网格的外边界，并构建矩形边界约束；最后以特征对齐、形状保持、直线保持和矩形边界保持为约束构建全局能量优化，得到边界为矩形的图像拼接结果；拼接过程中的输入图像来源于拼接图像数据集，每组数据由两张图像组成，所有图像分辨率相同。
3.如权利要求1所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，s1中变形网格进行归一化处理具体包括：将拼接后的图像大小统一设置为ws*hs，wt和ht为拼接结果的外接矩形的宽和高，此时任一网格顶点坐标(x,y)变换为(x/wt*ws,y/ht*hs)，得到数据集中拼接结果的网格标签。
4.如权利要求3所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，s1中基于插值的方法进行拼接结果渲染具体包括：基于归一化的网格顶点，采用薄板样条模型的插值方法对拼接图像结果进行渲染，得到对输入图像对相应的变形后的拼接图像标签，并将渲染后的图像大小设置为ws*hs，得到数据集中的拼接结果图像标签。
5.如权利要求1所述的深度学习框架下矩形边界保持的图像拼接方法，其特征在于，s2中基于深度学习的方法得到边界不规则的拼接结果具体包括：采用基于深度学习框架的图像拼接模型进行初始的图像拼接，将单应性和薄板样条曲线参数化为统一的表示，得到不规则的图像拼接结果{mi}(i＝1,2)和相应的变形网格{ξi}(i＝1,2)，通过一系列卷积和池化操作从{mi}中提取出高维图像特征，其中卷积和池化操作共有8个卷积层，且在第2，4，6个卷积层后面放置一个池化层；高维图像特征提取完成后，增加一个适应性的池化层用于规范化图像特征的分辨率；通过计算图像高维特...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。