一种拼接图像识别方法、计算机可读存储介质及电子设备技术

本发明专利技术涉及图像处理技术领域，具体提供一种拼接图像识别方法、计算机可读存储介质及电子设备，旨在解决现有拼接图像识别准确性差的问题。为此目的，本发明专利技术的拼接图像识别方法包括：采用结合边缘预测模型训练得到的拼接图像识别模型对待识别图像进行识别，得到识别结果；在训练过程，基于样本识别结果确定待训练的拼接图像识别模型的损失以及基于边缘预测结果确定边缘预测模型的弱监督损失，基于待训练的拼接图像识别模型的损失和弱监督损失对待训练的拼接图像识别模型和边缘预测模型进行迭代训练，得到拼接图像识别模型。该方式减少了训练过程中对标注信息的依赖，允许更多的数据加入到训练，从而有利于优化网络性能，提高拼接图像识别精确度。高拼接图像识别精确度。高拼接图像识别精确度。

【技术实现步骤摘要】
一种拼接图像识别方法、计算机可读存储介质及电子设备


[0001]本专利技术涉及图像处理
，具体提供一种拼接图像识别方法、计算机可读存储介质及电子设备。

技术介绍

[0002]随着技术的快速发展，出现了越来越多功能强大的图像编辑软件，这些图像编辑软件可以实现通过拼接图像得到修改后的图像。然而在一些基于图像进行识别或认证的场景中，需要保证输入图像的真实性，因此，如何识别由拼接形成的图像也成为图像处理
比较重要的问题之一。
[0003]相关技术中，卷积神经网络(Convolutional Neural Networks,CNN)以其能够自主提取图像潜在特征的优势，已成为拼接图像识别方法采用的主流网络模型。基于CNN进行拼接图像识别的难点在于如何更有效的挖掘图像的拼接信息，目前的方法大致可以分为两类：
[0004]第一类，基于多尺度特征融合的识别方法。这类方法将CNN不同层的特征结合起来以弥补仅使用顶层特征进行识别的局限性。该方法中虽然通过结合底层特征能够保留一些图像中的边缘角点信息，但是其采用的标准的卷积操作不能有效提取隐蔽的拼接痕迹，并且由于需要额外的分支来完成不同尺度特征的融合过程，网络的参数量也会增加，从而影响推理速度。
[0005]第二类，基于拼接边缘强监督的识别方法。这类方法需要在网络训练过程中提供真实的拼接边缘标注信息，作为强监督信息来指导网络学习。然而在实际场景下，很难获取到拼接图像实际的拼接边缘，并且人工标注的代价也很高，因此会导致大量的数据不能被纳入训练，用于训练的数据少，得到的训练好的模型可适用范围和精确度相对较差。

技术实现思路

[0006]本专利技术旨在解决上述技术问题，即，解决现有拼接图像识别准确性差的问题。
[0007]在第一方面，本专利技术提供一种拼接图像识别方法，其包括：
[0008]将待识别图像输入拼接图像识别模型，得到识别结果；其中，结合边缘预测模型通过以下步骤训练得到所述拼接图像识别模型：
[0009]利用待训练的拼接图像识别模型，得到训练图像样本的样本识别结果；
[0010]利用所述边缘预测模型得到所述训练图像样本的边缘预测结果；
[0011]基于所述样本识别结果确定所述待训练的拼接图像识别模型的损失，以及，基于所述边缘预测结果确定所述边缘预测模型的弱监督损失；
[0012]根据所述待训练的拼接图像识别模型的损失和所述弱监督损失对所述待训练的拼接图像识别模型和所述边缘预测模型进行迭代训练，得到所述拼接图像识别模型。
[0013]在一些实施例中，所述边缘预测结果为边缘预测二值图，所述基于所述边缘预测结果确定所述边缘预测模型的弱监督损失，包括：
[0014]基于所述边缘预测二值图中每个像素值与非边缘像素值的差值绝对值，确定未拼接图像弱监督损失；
[0015]和/或，
[0016]根据边缘像素值和所述边缘预测二值图对应的最大池化结果的差值，确定拼接图像弱监督损失。
[0017]在一些实施例中，所述待训练的拼接图像识别模型包括二分类网络，所述待训练的拼接图像识别模型的损失包括二分类交叉熵损失。
[0018]在一些实施例中，所述待训练的拼接图像识别模型包括主干网络，所述边缘预测模型和所述待训练的拼接图像识别模型共用所述主干网络且所述边缘预测模型包括边缘预测网络，其中，利用至少一种像素差分卷积代替所述主干网络和/或所述边缘预测网络中的部分卷积层。
[0019]在一些实施例中，所述边缘预测网络包括边缘特征提取层和激活层，所述利用所述边缘预测模型得到所述训练图像样本的边缘预测结果，包括：
[0020]将由所述主干网络的不同层级提取得到的多尺度样本初始特征图输入所述边缘特征提取层；
[0021]利用所述边缘特征提取层对所述多尺度样本初始特征图进行特征提取，得到多尺度的边缘特征图；
[0022]自底向上对所述多尺度的边缘特征图进行融合，得到融合边缘特征图；
[0023]将所述融合边缘特征图输入所述激活层，得到所述边缘预测结果。
[0024]在一些实施例中，所述边缘特征提取层包括设置在至少一个层级的至少一种像素差分卷积，所述至少一种像素差分卷积用于对相应层级输入的初始特征图进行特征提取，得到所述边缘特征图。
[0025]在一些实施例中，所述边缘特征提取层包括设置在至少一个层的多种像素差分卷积，所述多种像素差分卷积并列设置，分别用于对相应层级输入的初始特征图进行特征提取，得到同一层级的多个边缘特征图。
[0026]在一些实施例中，所述边缘特征提取层包括设置在至少一个层级的残差层和注意力层，相应层级的初始特征图依次经所述残差层和所述注意力层后得到所述边缘特征图，其中，所述残差层和所述注意力层包括至少一种像素差分卷积。
[0027]在一些实施例中，所述边缘特征提取层包括设置在至少一个层级的多个所述残差层和所述注意力层分支，各个分支的所述残差层和所述注意力层分别用于对相应层级输入的初始特征图进行特征提取，得到同一层级的多个边缘特征图；其中，同一层级的不同分支的所述残差层和所述注意力层包括不同种类的像素差分卷积。
[0028]在一些实施例中，所述边缘预测网络还包括像素差分卷积融合层，所述像素差分卷积融合层用于对所述同一层级的多个边缘特征图进行融合。
[0029]在第二方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的拼接图像识别方法。
[0030]在第三方面，本专利技术提供了一种电子设备，其包括：
[0031]至少一个处理器；
[0032]以及，与所述至少一个处理器通信连接的存储器；
[0033]其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述任一项所述的拼接图像识别方法。
[0034]在采用上述技术方案的情况下，本专利技术能够采用结合边缘预测模型训练得到的拼接图像识别模型对待识别图像进行识别，得到识别结果；在训练过程，分别利用待训练的拼接图像识别模型和边缘预测模型得到训练图像样本的样本识别结果和边缘预测结果；基于样本识别结果确定待训练的拼接图像识别模型的损失以及基于边缘预测结果确定边缘预测模型的弱监督损失，基于待训练的拼接图像识别模型的损失和弱监督损失对待训练的拼接图像识别模型和边缘预测模型进行迭代训练，得到拼接图像识别模型。该方式减少了训练过程中对拼接边缘标注信息的依赖，允许更多的数据加入到训练，从而有利于优化网络性能，提高拼接图像识别精确度。另外，在应用阶段仅采用训练好的拼接图像识别模型即可进行识别，不需要增加任何额外参数且不会影响推理速度，可以更高效。
附图说明
[0035]下面结合附图来描述本专利技术的优选实施方式，附图中：
[0036]图1是本专利技术实施例提供的一种拼接图像识别方法流程示意图；
[0037]图2是本专利技术实施例提供的一种拼接图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种拼接图像识别方法，其特征在于，包括：将待识别图像输入拼接图像识别模型，得到识别结果；其中，结合边缘预测模型通过以下步骤训练得到所述拼接图像识别模型：利用待训练的拼接图像识别模型，得到训练图像样本的样本识别结果；利用所述边缘预测模型得到所述训练图像样本的边缘预测结果；基于所述样本识别结果确定所述待训练的拼接图像识别模型的损失，以及，基于所述边缘预测结果确定所述边缘预测模型的弱监督损失；根据所述待训练的拼接图像识别模型的损失和所述弱监督损失对所述待训练的拼接图像识别模型和所述边缘预测模型进行迭代训练，得到所述拼接图像识别模型。2.根据权利要求1所述的方法，其特征在于，所述边缘预测结果为边缘预测二值图，所述基于所述边缘预测结果确定所述边缘预测模型的弱监督损失，包括：基于所述边缘预测二值图中每个像素值与非边缘像素值的差值绝对值，确定未拼接图像弱监督损失；和/或，根据边缘像素值和所述边缘预测二值图对应的最大池化结果的差值，确定拼接图像弱监督损失。3.根据权利要求1或2所述的方法，其特征在于，所述待训练的拼接图像识别模型包括二分类网络，所述待训练的拼接图像识别模型的损失包括二分类交叉熵损失。4.根据权利要求1所述的方法，其特征在于，所述待训练的拼接图像识别模型包括主干网络和二分类网络，所述边缘预测模型和所述待训练的拼接图像识别模型共用所述主干网络且所述边缘预测模型包括边缘预测网络，其中，利用至少一种像素差分卷积代替所述主干网络、所述二分类网络和所述边缘预测网络中至少一者的部分卷积层。5.根据权利要求4所述的方法，其特征在于，所述边缘预测网络包括边缘特征提取层和激活层，所述利用所述边缘预测模型得到所述训练图像样本的边缘预测结果，包括：将由所述主干网络的不同层级提取得到的多尺度样本初始特征图输入所述边缘特征提取层；利用所述边缘特征提取层对所述多尺度样本初始特征图进行特征提取，得到多尺度的边缘特征图；自底向上...

【专利技术属性】
技术研发人员：王彦添，温浩，赵德芳，
申请(专利权)人：重庆中科云从科技有限公司，
类型：发明
国别省市：