一种图像协同显著性检测方法及装置制造方法及图纸

本发明专利技术实施例实公开了一种图像协同显著性检测方法及装置，该方法包括：利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集；利用第二网络层组学习第一特征图集与第二特征图集之间的协同性，得到协同特征图集；将第一特征图集以及第二特征图集分别与协同特征图集进行叠加，并将叠加后得到的两个特征图集分别进行反卷积，得到所述两张图像分别对应的协同显著图。本发明专利技术实施例中的整个检测过程在网络模型中完成，所以无论是提取图像特征还是确定图像之间的协同关系，整个检测过程中各个步骤使用到的网络参数都可以进行不断优化，使用经过不断优化后的网络模型检测图像之间协同显著性，能够保证检测结果的准确性。

An Image Collaborative Saliency Detection Method and Device

【技术实现步骤摘要】
一种图像协同显著性检测方法及装置
本专利技术实施例涉及图像处理
，尤其涉及一种图像协同显著性检测方法及装置。
技术介绍
协同显著性检测是近年来计算机视觉领域新兴并快速发展的研究领域，其目的从多张具有相关性(协同性)的图片中检测出在多张图片中同时出现且在单图中分别显著的区域。协同显著性检测技术对计算机视觉领域的多项任务如协同分割、协同识别及协同定位等工作都具有十分重要意义。协同显著性检测的过程为首先进行图像特征提取，然后使用聚类方法或者固定公式确定图像之间的协同关系，进而根据图像之间的协同关系生成协同显著性检测结果。图像特征提取过程用于提取图像中具有代表性的特征来描述图像中的显著区域。目前大量的协同显著性检测方法使用底层特征(颜色、形状、纹理)描述图像的显著区域信息，如使用颜色直方图、Gabor滤波器或SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)特征描述子等进行描述。但是使用底层特征描述图像的特征信息准确性较差，从而导致协同显著性检测的准确性较差。而且确定图像之间的协同关系使用的聚类方法或者固定公式无法进行训练或优化，从而导致得到的协同关系准确性差，错误的协同关系会导致检测出的显著区域不具有协同性，进而导致协同显著性检测的准确性较差。
技术实现思路
本专利技术实施例提供了一种图像协同显著性检测方法，以解决现有协同显著性检测方法准确性较差的问题。第一方面，本专利技术实施例提供了一种图像协同显著性检测方法，该方法包括：利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集；利用第二网络层组学习所述第一特征图集与所述第二特征图集之间的协同性，得到协同特征图集；将所述第一特征图集以及所述第二特征图集分别与所述协同特征图集进行叠加，并将叠加后得到的两个特征图集分别进行反卷积，得到所述两张图像分别对应的协同显著图。进一步地，利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集的步骤，包括：将两张图像分别通过VGG16网络所包含的卷积层进行卷积处理，得到第三特征图集以及第四特征图集；将所述第三特征图集以及第四特征图集再分别进行卷积处理，得到第一特征图集以及第二特征图集。进一步地，利用第二网络层组学习所述第一特征图集与所述第二特征图集之间的协同性，得到协同特征图集的步骤，包括：将第一特征图集与所述第二特征图集进行叠加得到第五特征图集；将所述第五特征图集进行卷积处理，得到协同特征图集。进一步地，得到所述两张图像分别对应的协同显著图的步骤之后，还包括：将所述两张协同显著图分别与相应的真实协同显著图进行对比，得到第一误差以及第二误差；利用所述第一误差以及所述第二误差优化所述第一网络层组、所述第二网络层组以及进行所述反卷积处理利用的网络层的参数。进一步地，该方法还包括：将所述协同特征图集进行降维，得到1×2维的特征向量；对所述特征向量进行二分类处理，得到表示所述两张图像是否具有协同性的分类结果。进一步地，对所述特征向量进行二分类处理，得到表示所述两张图像是否具有协同性的分类结果的步骤之后，还包括：将所述分类结果与真实分类结果进行对比，得到第三误差，；利用所述第三误差优化所述第一网络层组、所述第二网络层组以及进行所述降维利用的网络层的参数。第二方面，本专利技术实施例还提供了一种图像协同显著性检测装置，包括：特征提取单元，用于利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集；协同学习单元，用于利用第二网络层组学习所述第一特征图集与所述第二特征图集之间的协同性，得到协同特征图集；叠加单元，用于将所述第一特征图集以及所述第二特征图集分别与所述协同特征图集进行叠加；方法单元，用于将叠加后得到的两个特征图集分别进行反卷积，得到所述两张图像分别对应的协同显著图。进一步地，所述特征提取单元具体用于：将两张图像分别通过VGG16网络所包含的卷积层进行卷积处理，得到第三特征图集以及第四特征图集；将所述第三特征图集以及第四特征图集再分别进行卷积处理，得到第一特征图集以及第二特征图集。进一步地，所述协同学习单元具体用于：将第一特征图集与所述第二特征图集进行叠加得到第五特征图集；将所述第五特征图集进行卷积处理，得到协同特征图集。进一步地，该装置还包括优化单元，用于：将所述两张协同显著图分别与相应的真实协同显著图进行对比，得到第一误差以及第二误差；利用所述第一误差以及所述第二误差优化所述第一网络层组、所述第二网络层组以及进行所述反卷积处理利用的网络层的参数。本专利技术实施例提取的特征为深层特征，能够较准确地描述图像中的各个显著特征信息，进而保证能够准确地检测出图像之间的协同显著性区域；由于整个检测过程在网络模型中完成，所以无论是提取图像特征还是确定图像之间的协同关系，整个检测过程中各个步骤使用到的网络参数都可以进行不断优化，使用经过不断优化后的网络模型检测图像之间协同显著性，能够保证检测结果的准确性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种用于检测图像之间协同显著性的网络模型的结构示意图；图2为本专利技术实施例提供的一种图像协同显著性检测方法的流程图；图3为本专利技术实施例提供的一种图像协同显著性检测装置的结构框图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。参见图1，为本专利技术实施例提供的一种用于检测图像之间协同显著性的网络模型的结构示意图。专利技术实施例可以将待检测的图像输入如图1所示的网络模型中进行协同显著性检测。该网络模型分为3个分支，其中两个分支(图1中的上下两个分支)为协同显著性检测分支11，另一个分支(图1中的中间分支)为协同性检测分支12。协同显著性检测分支11可以基于全卷积网络(FullyConvolutionalNetworks，FCN)进行设计，协同性检测分支12可以基于卷积神经网络(ConvolutionalNeuralNetwork，CNN)进行设计。该网络模型中各个分支的应用将结合下述各个步骤进行具体说明。需要说明的是图1所示的网络模型中的各个网络层，例如卷积层、池化层、全连接层等的参数可以根据本专利技术实施例的具体说明，在不需要付出任何创造性劳动的前提下均可进行确定，并且各个参数的值可以根据需要进行相应的调整，所以本专利技术实施例不对各个网络层的参数进行具体限制。参见图2，为本专利技术实施例提供的一种图像协同显著性检测方法的流程图，该方法具体可以包括以下步骤。步骤201，利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集。本实施例提供的网络模型可以同时输入多张图像，以检测多张图像之间是否具有协同显著性。当输入多张图像时，本实施例可以将多张图像中任两张图像归为一组，并以组为单位分别进行检测。当每一组图像均具有协同显著性，则说明多张图像之间具有协同显著性。例如同时输入4张图，分本文档来自技高网...

【技术保护点】
1.一种图像协同显著性检测方法，其特征在于，包括：利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集；利用第二网络层组学习所述第一特征图集与所述第二特征图集之间的协同性，得到协同特征图集；将所述第一特征图集以及所述第二特征图集分别与所述协同特征图集进行叠加，并将叠加后得到的两个特征图集分别进行反卷积，得到所述两张图像分别对应的协同显著图。

【技术特征摘要】
1.一种图像协同显著性检测方法，其特征在于，包括：利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集；利用第二网络层组学习所述第一特征图集与所述第二特征图集之间的协同性，得到协同特征图集；将所述第一特征图集以及所述第二特征图集分别与所述协同特征图集进行叠加，并将叠加后得到的两个特征图集分别进行反卷积，得到所述两张图像分别对应的协同显著图。2.如权利要求1所述的方法，其特征在于，利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集的步骤，包括：将两张图像分别通过VGG16网络所包含的卷积层进行卷积处理，得到第三特征图集以及第四特征图集；将所述第三特征图集以及第四特征图集再分别进行卷积处理，得到第一特征图集以及第二特征图集。3.如权利要求1所述的方法，其特征在于，利用第二网络层组学习所述第一特征图集与所述第二特征图集之间的协同性，得到协同特征图集的步骤，包括：将所述第一特征图集与所述第二特征图集进行叠加得到第五特征图集；将所述第五特征图集进行卷积处理，得到协同特征图集。4.如权利要求1所述的方法，其特征在于，得到所述两张图像分别对应的协同显著图的步骤之后，还包括：将所述两张协同显著图分别与相应的真实协同显著图进行对比，得到第一误差以及第二误差；利用所述第一误差以及所述第二误差优化所述第一网络层组、所述第二网络层组以及进行所述反卷积处理利用的网络层的参数。5.如权利要求1所述的方法，其特征在于，还包括：将所述协同特征图集进行降维，得到1×2维的特征向量；对所述特征向量进行二分类处理，得到表示所述两张图像是否具有协同性的分类结...

【专利技术属性】
技术研发人员：王睿，王蕴红，赵文婷，
申请(专利权)人：北京中科奥森数据科技有限公司，
类型：发明
国别省市：北京,11