网格约束图像拼接方法及模型构建方法技术

本申请涉及一种网格约束图像拼接方法及模型构建方法，通过建立一种基于深度学习的无监督神经网络图像拼接模型，用于从输入图像中动态提取图像特征，将训练完成的模型用于古代壁画图像拼接，为今后深度学习技术在文化遗产数字化保护中的应用和推广提供强有力的技术支撑，克服了现有图像拼接技术中存在的结果伪影以及细节缺失问题。影以及细节缺失问题。影以及细节缺失问题。

【技术实现步骤摘要】
网格约束图像拼接方法及模型构建方法


[0001]本申请涉及图像处理
，具体地，涉及一种网格约束图像拼接方法及模型构建方法。

技术介绍

[0002]随着信息技术的日益发展，文化遗产数字化保护与传承已是时代所趋。在深度学习的热潮下，图像拼接技术再一次进入人们的研究视野，科研工作者希望利用图像拼接技术将小尺度的图像还原成大尺度图像，恢复期原始状态。现有的图像拼接方法大致可分为两类：传统图像拼接方法和基于深度学习的图像拼接方法。
[0003]传统图像拼接方法主要是利用SIFT、SUFT、ORB等特征点提取技术从输入图像中提取特征，由于图像特征点数量很多，有效特征点的筛选难度很大，因此仅仅对于特征信息明显的图像具有较好的拼接效果，当图像特征点数量不足时拼接结果存在较大的伪影和视差。基于深度学习的图像拼接方法可以通过端到端的方式学习到图像中的特征，从而更加有效地对图像进行匹配，达到更好的拼接效果，其性能也超过了传统方法。早期的深度学习拼接网络往往仅局限于解决图像拼接过程中的某一步骤，如单应估计等，严格意义上并不能称之深度学习网络，对于特征较少的图像仍会出现拼接伪影。为了解决这一问题，有学者提出有监督的图像拼接网络，在输入拼接图像的同时输入图像标签，用来约束图像拼接的效果，该方法较传统拼接方法有了很大的提高，然而图像的标签往往难以获得，因此有监督的图像拼接方法在实际中的应用有限。其次，古代壁画的结构和纹理特征更加丰富，对于拼接技术的要求也更高，现有方法无法提供一个完善的解决方案，也无法达到理想的拼接效果。
[0004]古代壁画往往结构复杂且残缺破损不一，结构信息的缺失会造成大量纹理信息的丢失，严重影响图像拼接效果。现有基于深度学习的图像拼接方法不能很好地实现壁画图像的拼接，存在拼接伪影和拼接后图像区域缺失的情况。这些问题限制了现有图像拼接算法在古代绘画数字化保护中的应用。

技术实现思路

[0005]为了克服现有技术中的至少一个不足，本申请实施例提供一种网格约束图像拼接方法及模型构建方法。
[0006]第一方面，提供一种网格约束图像拼接模型构建方法，包括：
[0007]基于训练数据预训练单应估计网络模型，得到预训练模型；训练数据包括多个训练数据图像对，每个训练数据图像对包括参考图像和目标图像；
[0008]基于壁画数据对预训练模型进行训练，得到训练后的单应估计网络模型；壁画数据包括多个壁画数据图像对，每个壁画数据图像对包括参考图像和目标图像；训练后的单应估计网络模型的输出为多个扭曲图像对和扭曲图像对中的两个图像对应的内容掩码；
[0009]基于多个扭曲图像对和内容掩码对图像重建模型进行训练，得到训练后的图像重
建模型。
[0010]在一个实施例中，单应估计网络模型包括区域掩码模块、多尺度特征提取模块、网格生成模块和扭曲模块；
[0011]区域掩码模块包括2个区域掩码单元，2个区域掩码单元分别用于处理参考图像和目标图像，得到处理后的参考图像和处理后的目标图像；
[0012]多尺度特征提取模块包括2个多尺度特征提取单元，2个多尺度特征提取单元分别用于提取处理后的参考图像的不同尺度的参考图像特征和处理后的目标图像的不同尺度的目标图像特征；
[0013]网格生成模块用于根据不同尺度的参考图像特征和不同尺度的目标图像特征，得到最终扭曲网格；
[0014]扭曲模块用于基于最终扭曲网格对应的单应估计矩阵对参考图像和目标图像进行扭曲，得到扭曲图像对和扭曲图像对中的两个图像对应的内容掩码，扭曲图像对包括扭曲后的参考图像和扭曲后的目标图像。
[0015]在一个实施例中，区域掩码单元包括依次连接的多个卷积层。
[0016]在一个实施例中，多尺度特征提取单元包括依次连接的多个特征提取子单元，每个特征提取子单元包括依次连接的最大池化层、2个卷积层。
[0017]在一个实施例中，网格生成模块包括多个依次连接的网格生成单元，每个网格生成单元包括CBAM注意力模块和回归网络。
[0018]在一个实施例中，图像重建模型包括图像结构重建分支和图像像素恢复分支，图像结构重建分支基于下采样后的扭曲图像对和内容掩码，得到低分辨率的拼接图像；
[0019]图像像素恢复分支用于提高低分辨率的拼接图像的分辨率，并细化图像的缝合边界，得到高分辨率的拼接图像。
[0020]在一个实施例中，图像结构重建分支包括依次连接的多个第一重建单元、第二重建单元、多个第三重建单元，每个第一重建单元包括2个卷积层和一个最大池化层，第二重建单元包括3个卷积层，每个第三重建单元包括一个反卷积层和2个卷积层。
[0021]在一个实施例中，图像像素恢复分支包括依次连接的3个卷积层，前2个卷积层之间设置有多个像素恢复单元，每个像素恢复单元包括依次连接的卷积层、激化函数、卷积层、求和层、激活函数。
[0022]第二方面，提供一种网格约束图像拼接方法，包括：
[0023]将待拼接图像对输入到训练后的单应估计网络模型，得到扭曲图像对和扭曲图像对中的两个图像对应的内容掩码；待拼接图像对包括参考图像和目标图像，扭曲图像对为扭曲后的参考图像和扭曲后的目标图像；
[0024]将扭曲图像对和内容掩码输入到训练后的图像重建模型，得到待拼接图像对的图像拼接结果；
[0025]训练后的单应估计网络模型和训练后的图像重建模型为根据上述的网格约束壁画图像拼接模型构建方法得到。
[0026]第三方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，以实现上述的网格约束图像拼接模型构建方法或者上述的网格约束图像拼接方法。
[0027]相对于现有技术而言，本申请具有以下有益效果：
[0028]1、本申请结合深度学习算法，可以实现输入两张待拼接图像，进而生成一张全景图像的过程，简化了传统图像拼接的过程，在性能上也优于现有技术方法，提高了古代壁画图像的拼接质量；
[0029]2、本申请的单应估计网络结合图像网格，可以更好的实现两张图像的匹配，获取更好的匹配效果，进而提高后续图像拼接图像的质量。实验结果表明本申请所建模型在性能上远远优于现有技术方法，具有更好的主客观效果，充分验证了单应估计网络中图像网格和区域掩码模块的有效性和优越性。
附图说明
[0030]本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解，附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。在附图中：
[0031]图1示出了根据本申请实施例网格约束壁画图像拼接模型的示意图；
[0032]图2示出了根据本申请实施例的单应估计网络模型的示意图；
[0033]图3示出了根据本申请实施例的图像重建模型的示意图；
[0034]图4示出了图像拼接结果示意图，其中，(a)为参考图像，(b)为目标图像，(c)为拼接后的图像。
具体实施方式
[0035]在下文中将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网格约束图像拼接模型构建方法，其特征在于，包括：基于训练数据预训练单应估计网络模型，得到预训练模型；所述训练数据包括多个训练数据图像对，每个所述训练数据图像对包括参考图像和目标图像；基于壁画数据对所述预训练模型进行训练，得到训练后的单应估计网络模型；所述壁画数据包括多个壁画数据图像对，每个所述壁画数据图像对包括参考图像和目标图像；所述训练后的单应估计网络模型的输出为多个扭曲图像对和所述扭曲图像对中的两个图像对应的内容掩码；基于所述多个扭曲图像对和所述内容掩码对图像重建模型进行训练，得到训练后的图像重建模型。2.如权利要求1所述的方法，其特征在于，所述单应估计网络模型包括区域掩码模块、多尺度特征提取模块、网格生成模块和扭曲模块；所述区域掩码模块包括2个区域掩码单元，所述2个区域掩码单元分别用于处理所述参考图像和所述目标图像，得到处理后的参考图像和处理后的目标图像；所述多尺度特征提取模块包括2个多尺度特征提取单元，所述2个多尺度特征提取单元分别用于提取所述处理后的参考图像的不同尺度的参考图像特征和所述处理后的目标图像的不同尺度的目标图像特征；所述网格生成模块用于根据所述不同尺度的参考图像特征和所述不同尺度的目标图像特征，得到最终扭曲网格；所述扭曲模块用于基于所述最终扭曲网格对应的单应估计矩阵对所述参考图像和所述目标图像进行扭曲，得到扭曲图像对和所述扭曲图像对中的两个图像对应的内容掩码，所述扭曲图像对包括扭曲后的参考图像和扭曲后的目标图像。3.如权利要求2所述的方法，其特征在于，所述区域掩码单元包括依次连接的多个卷积层。4.如权利要求2所述的方法，其特征在于，所述多尺度特征提取单元包括依次连接的多个特征提取子单元，每个所述特征提取子单元包括依次连接的最大池化层、2个卷积层。5.如权利要求2所述的方法，其特征在于，所述网格生成模块包括多个依次连接的网格生成单元...

【专利技术属性】
技术研发人员：章勇勤，李良江，彭先霖，李若彤，杜林格，
申请(专利权)人：西北大学，
类型：发明
国别省市：