基于边缘完整清晰性和双流网络的图像显著目标检测方法技术

本发明专利技术公开一种基于边缘完整清晰性和双流网络的图像显著目标检测方法，其实现步骤是：利用VGG16模型的特征提取模块作为双流深度网络的主干，其中第一特征提子网络提取多尺度信息和显著目标位置特征指导目标定位，第二层输出作为显著边缘提取分支，第三至第五层的输出作为显著目标提取分支，通过边缘增强模块融合第二特征提取子网络提取的完整边缘特征，提高目标边缘的清晰度和完整性；采用自定义损失函数迭代训练得到训练好的网络模型。本发明专利技术一定程度上克服了现有技术提取的显著目标边缘模糊及不完整的缺陷，提高了目标边缘的清晰度和完整性。度和完整性。度和完整性。

【技术实现步骤摘要】
基于边缘完整清晰性和双流网络的图像显著目标检测方法


[0001]本专利技术属于图像处理
，更进一步涉及图像目标检测
中的一种基于边缘完整清晰性和双流网络的图像显著目标检测方法。本专利技术用于检测单幅图像中的显著目标，并保证检测目标边缘的清晰度和完整性，可应用在物体检测、身份识别和图像质量评价等场景。

技术介绍

[0002]图像显著目标检测的目的是识别图像场景中最容易吸引人类视觉注意力的突出目标，主要应用在图像压缩、图像质量评价、图像分割、目标检测和识别等领域。图像显著目标检测任务发展至今，可以分为传统方法与深度学习方法两个时代。传统显著性检测方法提取各类手工特征如颜色、亮度、纹理等，对于显著目标的边缘保留较好，但目标完整度不高；深度学习显著性检测模型利用其强大的特征提取能力来定位显著目标，提高了显著目标的完整度，但目标边界却比较粗糙。
[0003]华南理工大学在其申请的专利文献“一种基于并行卷积神经网络的图像显著性检测方法”(申请号CN 201710253255.2，申请公布号CN 107169954 A)中公开一种图像显著目标检测方法。该方法首先设计了一种并行卷积神经网络结构，包含全局角度检测模块和局部角度检测模块，两个模块通过一个全连接层实现并行。同时设计两种网络输入图：全局填充图和局部裁剪图，并针对输入定义基于超像素的标签，两种填充图都以超像素为中心。其中全局填充图包含原图全部信息，代表全局特征，作为全局角度检测模块的输入，局部填充图包含超像素邻域细节信息的裁剪图，作为局部角度检测模块的输入，该方法从全局和局部的角度去检测显著性，可以有效检测显著目标主体的内在语义以及背景差异。但是，该方法仍然存在的不足之处是：网络输入的预处理步骤较繁琐，影响检测的效率；网络没有考虑边缘信息特征，导致检测后的目标边缘呈现出模糊和不完整的现象。
[0004]西安交通大学在其申请的专利文献“一种基于边界增强的显著性目标检测方法及系统”(申请号CN 202210467623.4，申请公布号CN 114821059 A)中公开一种基于边界增强的图像显著目标检测方法。该方法设计了一种卷积神经网络模型，从训练集图像中提取不同分辨率的抽象特征图，对抽象特征图进行多级融合得到多级融合特征图，对多级融合特征图进行处理得到包含多尺度信息的特征图；对包含多尺度信息的特征图进行信息转化后拼接融合，得到边界信息特征，同时利用每一级转换后的特征得到一个边界检测结果，再进一步融合得到融合的边界检测结果；将包含多尺度信息的特征图进行多尺度信息提取后与包含边界信息的特征进行拼接得到显著性目标检测结果。但是，该方法仍然存在的不足之处是：采用ResNet
‑
50作为网络主干，模型参数过多会导致训练时间增多，检测的速率降低；网络虽然增强了边缘像素的清晰度，但没有保证边缘的完整性。

技术实现思路

[0005]本专利技术的目的是针对上述现有技术的不足，提出一种基于边缘完整清晰性和双流
网络的图像显著目标检测方法，旨在解决现有技术目标边缘清晰度低和不完整的问题。
[0006]实现本专利技术目的的思路是：本专利技术构建了一种双流深度网络，第一特征提取子网络是以VGG16模型为主干的编码器
‑
解码器结构，在编码器的末端加入位置特征提取模块提取显著目标多尺度特征和位置信息，并将编码器端第三、四、五层的输出特征作为显著目标提取训练分支，第二层的输出特征作为显著边缘提取训练分支，联合监督模型训练，由于该网络独立出显著边缘提取分支，融入显著目标，提高了目标边缘的清晰度。本专利技术构建的双流深度网络中的第二特征提取子网络是以灰度图和传统算法HC(Histogram
‑
based Contrast)、RC(Region
‑
based Contrast)计算显著图为输入的多卷积池化层网络结构，利用传统算法显著图保留完整边缘的特性，提取多尺度完整边缘特征，融入显著目标提取训练分支，保证了目标边缘的完整性。
[0007]由于本专利技术构建的双流深度网络中以VGG16模型为主干，比现有技术中使用的ResNet
‑
18和ResNet
‑
50模型相比，网络参数少，提取图像显著目标的速率快，克服了现有技术实时检测效率低的问题，同时不需要额外的输入处理，即可检测出图像中的显著目标。在训练双流深度网络时使用数据增强技术，通过对输入图像随机翻转、旋转和数据中心化技术，增加训练样本的多样性，提高了模型的泛化能力，克服了现有技术对包含不同特征的图片检测准确率低的问题。
[0008]实现本专利技术的具体步骤如下：
[0009]步骤1，构建第一特征提取子网络：
[0010]步骤1.1，构建位置特征融合模块，其结构包含第一降维卷积块、第二降维卷积块、第三降维卷积块；其中，第一至第三降维卷积块的结构相同，每个降维卷积块均由第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、上采样层串联组成；将第一至第三降维卷积块中第一至第三卷积层的卷积核大小均设置为3
×
3，填充数均设置为1，上采样层的分辨率分别设置为32
×
32、64
×
64、128
×
128，激活层均采用ReLU激活函数实现；将第一降维卷积块中的第一至第三卷积层的卷积核的通道数和数量均设置为512；将第二降维卷积块中的第一至第三卷积层的卷积核的通道数分别设置为512、256、256，卷积核的数量均设置为256；将第三降维卷积块的第一至第三卷积层的卷积核的通道数分别设置为256、128、128，卷积核的数量均设置为128；
[0011]步骤1.2，构建层间特征聚合模块，其结构包含第一聚合卷积块、第二聚合卷积块；其中，第一、第二聚合卷积块的结构相同，每个聚合卷积块均由第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、上采样层串联组成；将第一、第二聚合卷积块中第一至第三卷积层的卷积核大小均设置为3
×
3，填充数均设置为1，上采样层的分辨率分别设置为32
×
32、64
×
64，激活层均采用ReLU激活函数实现；将第一聚合卷积块的第一至第三卷积层的卷积核的通道数和数量均设置为512；将第二聚合卷积块的第一至第三卷积层的卷积核的通道数分别设置为512、256、256，卷积核的数量均设置为256；
[0012]步骤1.3，构建边缘增强模块，其结构包含边缘卷积块、第一升维卷积块、第二升维卷积块、第三升维卷积块；其中，边缘卷积块由第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层串联组成；第一至第三升维卷积块结构相同，每个升维卷积块均由第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、最大池化层串联组成；将边缘卷积块中第一至第三卷积层的卷积核的大小均设置为3
×
3，填
充数均设置为1，卷积核的通道数和数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘完整清晰性和双流网络的图像显著目标检测方法，其特征在于，构建由第一特征提取子网络和第二特征提取子网络组成双支流的深度学习网络，生成由二值交叉熵边缘损失函数和目标损失函数组成的总损失函数；该检测方法的步骤包括如下：步骤1，构建第一特征提取子网络：步骤1.1，构建位置特征融合模块，其结构包含第一降维卷积块、第二降维卷积块、第三降维卷积块；其中，第一至第三降维卷积块的结构相同，每个降维卷积块均由第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、上采样层串联组成；将第一至第三降维卷积块中第一至第三卷积层的卷积核大小均设置为3
×
3，填充数均设置为1，上采样层的分辨率分别设置为32
×
32、64
×
64、128
×
128，激活层均采用ReLU激活函数实现；将第一降维卷积块中的第一至第三卷积层的卷积核的通道数和数量均设置为512；将第二降维卷积块中的第一至第三卷积层的卷积核的通道数分别设置为512、256、256，卷积核的数量均设置为256；将第三降维卷积块的第一至第三卷积层的卷积核的通道数分别设置为256、128、128，卷积核的数量均设置为128；步骤1.2，构建层间特征聚合模块，其结构包含第一聚合卷积块、第二聚合卷积块；其中，第一、第二聚合卷积块的结构相同，每个聚合卷积块均由第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、上采样层串联组成；将第一、第二聚合卷积块中第一至第三卷积层的卷积核大小均设置为3
×
3，填充数均设置为1，上采样层的分辨率分别设置为32
×
32、64
×
64，激活层均采用ReLU激活函数实现；将第一聚合卷积块的第一至第三卷积层的卷积核的通道数和数量均设置为512；将第二聚合卷积块的第一至第三卷积层的卷积核的通道数分别设置为512、256、256，卷积核的数量均设置为256；步骤1.3，构建边缘增强模块，其结构包含边缘卷积块、第一升维卷积块、第二升维卷积块、第三升维卷积块；其中，边缘卷积块由第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层串联组成；第一至第三升维卷积块结构相同，每个升维卷积块均由第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、最大池化层串联组成；将边缘卷积块中第一至第三卷积层的卷积核的大小均设置为3
×
3，填充数均设置为1，卷积核的通道数和数量均设置为128，激活层均采用ReLU函数实现；将第一至第三升维卷积块中的第一至第三卷积层的卷积核大小均设置为3
×
3，填充数均设置为1，池化层的池化核大小设置为3
×
3，步幅设置为2，填充数设置为1，激活层均采用ReLU函数实现；将第一升维度卷积块的第一至第三卷积层的卷积核的通道数分别设置为128、256、256，卷积核的数量均设置为256；将第二升维卷积块的第一至第三卷积层的卷积核的通道数分别设置为256、512、512，卷积核的数量均设置为256；第三升维卷积块中，第一至第三卷积层的卷积核的通道数和数量均设置为512；步骤1.4，构建特征融合模块，其结构包含边缘融合卷积块，第一融合卷积块、第二融合卷积块、第三融合卷积块；其中，边缘融合卷积块由卷积层组成；第一至第三融合卷积块结构相同，每个融合卷积块均由第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层、上采样层组成；将边缘卷积块中第一卷积层的卷积核大小设置为1
×
1，填充数设置为1，卷积核的通道数设置为128，卷积核的数量设置为1；将第一至第三融合卷积块中第一至第四卷积层的每个融合卷积块均有将第三至第五融合卷积块中的第一至第四卷积层的卷积核大小均设置为3
×
3，填充数设置为1，上采样层的分辨率大小均
设置为256
×
256，激活层均采用ReLU函数实现；将第一融合卷积块的第一至第四卷积层的卷积核的通道数均设置为256，卷积核的数量分别设置为256、256、256、1；将第二融合卷积块的第一至第四卷积层的卷积核的通道数均设置为512，卷积核的数量分别设置为512、512、512、1；将第三融合卷积块的第一至第四卷积层的卷积核的通道数均设置为512，卷积核的数量分别设置为512、512、512、1；步骤1.5，将由VGG16模型为主干的第一特征提取模块与由ASPP空洞空间卷积池化金字塔组成的位置特征提取模块进行串联；位置特征题目模块输出的特征融入第一特征提取模块中的第二至第四卷积块输出分支，将第三至第四卷积块的输出特征与层间聚合模块进行串联，将第二卷积块的输出特征、层间聚合模块输出特征和边缘增强融合模块进行串联，边缘增强模块与特征融合模块进行串联后，得到第一特征提取子网络；步骤2，构建第二特征提取子网络：第二特征提取子网络由第一特征卷积块、第二特征卷积块、第三特征卷积块、第四特征卷积块、第五特征卷积块依次串联组成；将第一至第五特征卷积块参数与步骤1.1中所构建的第一特征提取模块的参数维持一致；步骤3，构建双流深度网络：步骤3.1，在第一特征提取子网络的边缘增强模块中连接第二特征提取子网络；将第二特征提取子网络的第三至第五卷积块输出的特征经过边缘增强模块进行相加融合；步骤3.2，将边缘增强模块的输出经过特征融合模块输出一幅显著边缘检测预测图和三幅显著目标检测预测图；将显著目标检测预测图经过相加融合并激活后得到最终的图像显著目标图，完成图像显著目标检测双流深度网络的构建；步骤4，生成训练集：步骤4.1，将1幅彩色图像与其对应的1幅显著目标真值图组成样本，选取至少10553个样本组成样本集；步骤4.2，分别生成每个样本对应的显著边缘真值图、灰度图、HC显著图、RC显著图；步骤4.3，将样本集和每个样本对应的显...

【专利技术属性】
技术研发人员：王俊平，朱俊辉，焦青，樊盛辉，郭乾琳，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：