一种基于边缘强化的显著性检测方法技术

本发明专利技术公开了一种基于边缘强化的显著性检测方法，主要解决现有技术显著性检测结果准确率低、显著性主体判断错误与边缘模糊的问题。其实施方案为：1)获取数据集与检测标签；2)构建检测模型；3)构建损失函数；4)训练检测模型；5)推理并获得检测结果。本发明专利技术构建的显著性检测模型，通过引入浅层特征信息的方式对解码结果进行细节补充，解决了解码结果存在边缘模糊的问题。通过为多尺度特征建立长依赖关系，消除了特征内部存在的语义割裂，有效地提升了显著性检测结果的准确率，避免了检测结果中显著性主体判断错误的发生。中显著性主体判断错误的发生。中显著性主体判断错误的发生。

【技术实现步骤摘要】
一种基于边缘强化的显著性检测方法


[0001]本专利技术属于图像处理
，具体涉及一种基于边缘强化的显著性检测方法。

技术介绍

[0002]显著性检测作为一种图像预处理方法，通过实现图像中显著性物体的检测，降低图像处理的复杂度，提升图像处理算法的运行效率，因而具有广泛的应用空间和发展前景。在自动驾驶领域中，可以通过显著性检测对道路图像进行预处理，使得目标检测算法优先识别显著性区域，以提升显著性区域目标在自动驾驶系统中处理的优先级，保证自动驾驶系统的安全性。传统的显著性检测方法主要借助颜色、纹理、中心先验等人工特征实现显著性目标的分割，这类方法存在着检测准确率低，鲁棒性差等问题，因此已经逐渐被深度学习的方法所取代。现有的基于深度学习的显著性检测模型大多采用基于编码
‑
解码结构的全卷积网络，通过端到端的模式完成显著性检测模型的训练。这些模型在利用解码器生成显著性检测图的时候，由于多次上采样，导致生成的显著性检测图准确率较差。

技术实现思路

[0003]本专利技术充分考虑了现有方法存在的缺点，其目的在于提供一种基于边缘强化的显著性检测方法，通过利用浅层特征信息，弥补解码结果缺失的细节信息，以提升显著性检测的准确率。
[0004]一、技术原理
[0005]目前基于卷积神经网络的显著性检测模型大多直接采用编码
‑
解码结构，模型的编码器通过堆叠重复的卷积层和池化层获取深层语义信息，解码器通过上采样层逐渐恢复图像的分辨率，得到最终的预测结果。由于卷积核感受野的限制，模型获取的特征图内存在空间语义割裂的问题。为了建立多层次特征图的长依赖关系以消除空间语义割裂，本专利技术将编码器获取的多尺度特征分别输入到长依赖模块(LRDM)，通过长依赖权重对多尺度特征进行加权，为多尺度特征内部建立了大空间范围的依赖关系。编码器所生成的多尺度特征包含了不同层次的信息，传统解码器所使用的上采样
‑
融合模式无法充分发挥多尺度特征的优势。为了充分利用多尺度特征中所包含的信息，本专利技术设计了解码器(DE)实现全层次解码，保证多层次语义信息得到充分利用，以获得更加准确的检测结果。为了弥补解码器所得结果面临的细节缺失的问题，保证检测结果的准确性，本专利技术设计边缘强化模块(ER)，针对解码器所生成的结果进行细化校正，提高了模型的预测精度。
[0006]二、根据上述原理，本专利技术通过以下方案实现：
[0007]一种基于边缘强化的显著性检测方法，包括以下步骤：
[0008](1)获取数据集与检测标签：
[0009]获取显著性检测公开数据集及对应的检测标签；
[0010](2)构建检测模型，该模型由特征提取器、解码器DE
‑
1和DE
‑
2、边缘强化模块ER
‑
1和ER
‑
2、整体注意力模块HA构成，具体构建过程包括以下步骤：
[0011](2
‑
a)构建特征提取器，以ResNet
‑
50作为特征提取器的基础网络；所构建的特征提取器共分五层：第一层，即Res1，由单层卷积模块构成；第二层，即Res2，由一个池化层和三层残差模块构成；第三层，即Res3，由四层残差模块构成；第四层包括Res4
‑
1和Res4
‑
2，二者拥有相同的结构，都由六层残差模块构成，第五层包括Res5
‑
1和Res5
‑
2，二者也拥有相同的结构，都由三层残差模块构成；第四层和第五层为双分支结构，其中第四层的Res4
‑
1和第五层的Res5
‑
1串联构成第一个分支，第四层的Res4
‑
2和第五层的Res5
‑
2串联构成第二个分支；输入图像经过Res1处理，获得三维特征图f
1_1
、f
1_2
和f
1_3
，且f
1_1
＝f
1_2
＝f
1_3
；f
1_3
输入Res2获得三维特征图f
2_1
、f
2_2
和f
2_3
，且f
2_1
＝f
2_2
＝f
2_3
；f
2_3
输入Res3获得三维特征图f
3_1
、f
3_2
和f
3_3
，且f
3_1
＝f
3_2
＝f
3_3
；f
3_3
依次经过第一个分支的Res4
‑
1和Res5
‑
1处理后分别获得三维特征图f
4_1
和f
5_1
；f
3_3
与整体注意力模块HA的输出结果通过逐像素相乘实现加权，加权结果依次经过第二个分支的Res4
‑
2和Res5
‑
2处理后分别获得三维特征图f
4_2
和f
5_2
；HA由单层卷积构成，它以解码器DE
‑
1的输出结果作为输入；
[0012](2
‑
b)构建解码器DE
‑
n，该解码器由长依赖模块LRDM、感受野模块RFB、卷积上采样模块CU1、CU2、CU3，上采样模块Up和拼接层构成；将步骤(2
‑
a)获取的三维特征图f
2_n
、f
3_n
、f
4_n
和f
5_n
分别作为解码器DE
‑
n的输入1、输入2、输入3和输入4，n＝1,2；f
i_n
依次经过LRDM与RFB处理后得到其中i＝2,3,4,5；经过Up处理后，与一起输入到拼接层1，得到中间特征图到中间特征图经过CU1处理后，与一起输入到拼接层2，得到中间特征图一起输入到拼接层2，得到中间特征图经过CU2处理后，与一起输入到拼接层3，得到中间特征图一起输入到拼接层3，得到中间特征图经过CU3处理得到特征图map_n，即为解码器DE
‑
n的输出结果；该步骤中的CU1、CU2都由一个卷积层和一个上采样层构成，CU3由两个卷积层和一个上采样层构成。
[0013]该步骤中的长依赖模块LRDM构建如下：
[0014]以步骤(2
‑
a)获得的特征图f
i_n
作为输入，经该模块的通道维度自适应均值池化层处理并进行特征展开后，获得一维特征，将一维特征输入全连接层后，经过激活函数与特征逆展开处理，再与特征图f
i_n
进行逐像素相乘操作，得到LRDM的输出；其中i＝2,3,4,5，n＝1,2；
[0015]长依赖模块LRDM用于为多尺度特征建立跨空间长依赖关系，消除本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘强化的显著性检测方法，其特征在于包括以下步骤：(1)获取数据集与检测标签：获取显著性检测公开数据集及对应的检测标签；(2)构建检测模型，该模型由特征提取器、解码器DE
‑
1和DE
‑
2、边缘强化模块ER
‑
1和ER
‑
2、整体注意力模块HA构成，具体构建过程包括以下步骤：(2
‑
a)构建特征提取器，以ResNet
‑
50作为特征提取器的基础网络；所构建的特征提取器共分五层：第一层，即Res1，由单层卷积模块构成；第二层，即Res2，由一个池化层和三层残差模块构成；第三层，即Res3，由四层残差模块构成；第四层包括Res4
‑
1和Res4
‑
2，二者拥有相同的结构，都由六层残差模块构成，第五层包括Res5
‑
1和Res5
‑
2，二者也拥有相同的结构，都由三层残差模块构成；第四层和第五层为双分支结构，其中第四层的Res4
‑
1和第五层的Res5
‑
1串联构成第一个分支，第四层的Res4
‑
2和第五层的Res5
‑
2串联构成第二个分支；输入图像经过Res1处理，获得三维特征图f
1_1
、f
1_2
和f
1_3
，且f
1_1
＝f
1_2
＝f
1_3
；f
1_3
输入Res2获得三维特征图f
2_1
、f
2_2
和f
2_3
，且f
2_1
＝f
2_2
＝f
2_3
；f
2_3
输入Res3获得三维特征图f
3_1
、f
3_2
和f
3_3
，且f
3_1
＝f
3_2
＝f
3_3
；f
3_3
依次经过第一个分支的Res4
‑
1和Res5
‑
1处理后分别获得三维特征图f
4_1
和f
5_1
；f
3_3
与整体注意力模块HA的输出结果通过逐像素相乘实现加权，加权结果依次经过第二个分支的Res4
‑
2和Res5
‑
2处理后分别获得三维特征图f
4_2
和f
5_2
；HA由单层卷积构成，它以解码器DE
‑
1的输出结果作为输入；(2
‑
b)构建解码器DE
‑
n，该解码器由长依赖模块LRDM、感受野模块RFB、卷积上采样模块CU1、CU2、CU3，上采样模块Up和拼接层构成；将步骤(2
‑
a)获取的三维特征图f
2_n
、f
3_n
、f
4_n
和f
5_n
分别作为解码器DE
‑
n的输入1、输入2、输入3和输入4，n＝1,2；f
i_n
依次经过LRDM与RFB处理后得到其中i＝2,3,4,5；经过Up处理后，与一起输入到拼接层1，得到中间特征图特征图经过CU1处理后，与一起输入到拼接层2，得到中间特征图一起输入到拼接层2，得到中间特征图经过CU2处理后，与一起输入到拼接层3，得到中间特征图一起输入到拼接层3，得到中间特征图经过CU3处理得到特征图map_n，即为解码器DE
‑
n的输出结果；该步骤中的长依赖模块LRDM构建如下：以步骤(2
‑
a)获得的特征图f
i_n
作为输入，经该模块的通道维度自适应均值池化层处理并进行特征展开后，获得一维特征，将一维特征输入全连接层后，经过激活函数与特征逆展开处理，再与特征图f
i_n
进行逐像素...

【专利技术属性】
技术研发人员：赵旭，王辉，陈恋，李智勇，
申请(专利权)人：湖南信控摩尔科技有限公司，
类型：发明
国别省市：