一种基于双深度融合网络的轮廓检测方法技术

本发明专利技术涉及计算机视觉领域，具体为一种基于双深度融合网络的轮廓检测方法。该方法通过类HED模块和类CEDN模块的设置，实现HED算法与CEDN算法的融合。在融合的过程中，通过类CEDN模块中的G

【技术实现步骤摘要】
Block网络连接在ResNet
‑
50网络之后；ResNet
‑
50网络用于提取输入图片的n+1个尺度不同的特征图，其中前n个特征图的尺度与类HED模块提取出的特征图尺度一一对应，第n+1个特征图作为G
‑
WeightsBlock网络的输入；G
‑
WeightsBlock网络用于将输入的特征图通过卷积和双线性上采样操作生成n个特征权重融合图输出；n个特征权重融合图的尺度与ResNet
‑
50网络中前n个特征图尺度一一对应；
[0011]所述RefineBlock网络分别连接类HED模块、ResNet
‑
50网络和G
‑
WeightsBlock网络后再连接sigmoid网络；RefineBlock网络由k个RefineBlock层组成；其中RefineBlock1的输入为类HED模块和ResNet
‑
50网络各提供的一个特征图、G
‑
WeightsBlock网络提供的一个特征融合权重图；余下的RefineBlock层中，每个RefineBlock层的输入均为类HED模块和ResNet
‑
50网络各提供的一个特征图、G
‑
WeightsBlock网络提供的一个特征融合权重图以及RefineBlockk
‑
1输出的特征图；需要说明的是：尺度特征图不能重复选用；在同一RefineBlock层中，来自类HED模块、ResNet
‑
>50网络以及G
‑
WeightsBlock网络的特征图尺度相同；RefineBlock网络用于将G
‑
WeightsBlock网络生成的特征融合权重图、类HED模块和ResNet
‑
50网络提取的特征图动态融合，并对融合后的特征图进行上采样还原至输入图片尺度后输出；
[0012]所述sigmoid网络用于将RefineBlock最终输出的特征图像素值归一化到0
‑
1范围内，从而得到最终的目标检测轮廓预测图；
[0013]步骤2、计算目标检测轮廓预测图的损失
[0014]将步骤1得到的目标检测轮廓预测图中每个像素与预设轮廓标签中的对应像素进行带权重的交叉熵损失计算，得到每个像素的损失，再对所有像素的损失求和得到损失总和，然后将损失总和计算梯度，反向传播更新目标检测网络的参数；
[0015]步骤3、重复步骤2，直到总的损失不再下降，目标检测网络收敛，完成目标检测网络的训练。
[0016]进一步的，所述n为4，4个特征图的尺度分别为输入图片的第n+1个特征图的尺度为输入图片所述k＝2、3、4。
[0017]进一步的，所述RefineBlock网络中各层RefineBlock在对输入特征图进行融合的过程还还对特征矩阵进行了重排列，使不同特征图之间关联性和差异性得到更加充分的利用；重排列的步骤如下：
[0018]步骤1.1、先通过卷积将所有特征图的通道数统一降为C
d
，再把所有特征图按通道分别拆分成C
d
个特征矩阵；
[0019]步骤1.2、然后RefineBlock1按照来自类HED模块的特征矩阵、来自ResNet
‑
50网络的特征矩阵、特征融合权重图顺序依次排列，重复该操作直到所有特征矩阵排列完毕，然后按照重排结果拼接之后得到新的特征图；
[0020]RefineBlock2、RefineBlock3和RefineBlock4按照来自类HED模块的特征矩阵、来自类ResNet
‑
50网络的特征矩阵、与其自身相连的RefineBlock输出特征矩阵、特征融合权重图顺序依次排列，重复该操作直到所有特征矩阵排列完毕，然后按照重排结果拼接之后得到新的特征图。
[0021]进一步的，所述RefineBlock网络中各层RefineBlock都设有子像素卷积模块，
子像素卷积模块输入为Refine Block1或Refine Block k得到的新的特征图，输出为经过上采样的特征图；通过子像素卷积模块上对融合后的不同尺度特征图进行上采样，以减轻轮廓偏移。
[0022]本专利技术提供的一种基于双深度融合网络的轮廓检测方法，通过类HED模块和类CEDN 模块的设置，实现HED算法与CEDN算法的融合。在融合的过程中，通过类CEDN模块中的G
‑
Weights Block网络生成特征融合权重图，然后在Refine Block网络中将类HED和类 CEDN模块提取的不同尺度特征图与特征融合权重图动态融合、并通过上采样得到还原至输入图片尺度后输出。由于特征融合权重图的加入提高不同层次特征图之间的关联性，使得轮廓检测具备更高的精度。在此基础上，本专利技术还提供在Refine Block网络中对来自类HED模块和ResNet
‑
50网络的尺度特征、来自G
‑
Weights Block网络的特征融合权重图重排，实现了动态特征分配，更加充分的利用了不同特征图之间的关联性和差异性。此外，对于融合后存在的轮廓偏移问题，通过在Refine Block网络中增加的子像素卷积模块使其得到减轻。
附图说明
[0023]图1为实施例建立的基于轮廓检测的双深度融合网络结构示意图；
[0024]图2为实施例G
‑
Weights Block的网络结构示意图；
[0025]图3为实施例Refine Block网络结构示意图；
[0026]图4为实施例子像素卷积模块的结构示意图；
[0027]图5为实施例子像素卷积模块的工作流程图。
具体实施方式
[0028]下面将结合实施例和附图，对本专利技术的技术方案作进一步地描述。
[0029]本实施例提供的一种基于双深度融合网络的轮廓检测方法，包括步骤有：
[0030]步骤1、建立基于轮廓检测的双深度融合网络结构；
[0031]步骤2、计算目标检测轮廓预测图的损失；
[0032]步骤3、重复步骤2，直到总的损失不再下降，目标检测网络收敛，完成目标检测网络的训练。
[0033]各步骤详细的实施过程如下：
[0034]步骤1、建立基于轮廓检测的双深度融合网络结构
[0035]如图1所示，基于轮廓检测的双深度融合网络结构包括：类HED模块、类CEDN模块、 Refine Block网络和sigmoid网络；
[0036]所述类HED模块采用不含全连接层的VGG
‑
16网络，负责提取输入图片的4个层次特征图，4个层次特征图的尺度分别为输入图片的
[0037]所述类CEDN模块由ResNet
‑
50网络和G
‑
Weights Block网络组成；G
‑
Weig本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双深度融合网络的轮廓检测方法,其特征在于：包括以下步骤：步骤1、建立基于轮廓检测的双深度融合网络结构基于轮廓检测的双深度融合网络结构包括：类HED模块、类CEDN模块、Refine Block网络和sigmoid网络；所述类HED模块采用不含全连接层的VGG
‑
16网络，用于提取输入图片的n个不同尺度的特征图；所述类CEDN模块由ResNet
‑
50网络和G
‑
Weights Block网络组成；G
‑
Weights Block网络连接在ResNet
‑
50网络之后；ResNet
‑
50网络用于提取输入图片的n+1个尺度不同的特征图，其中前n个特征图的尺度与类HED模块提取出的特征图尺度一一对应，第n+1个特征图作为G
‑
Weights Block网络的输入；G
‑
Weights Block网络用于将输入的特征图通过卷积和双线性上采样操作生成n个特征权重融合图输出；n个特征权重融合图的尺度与ResNet
‑
50网络中前n个特征图尺度一一对应；所述Refine Block网络分别连接类HED模块、ResNet
‑
50网络和G
‑
Weights Block网络后再连接sigmoid网络；Refine Block网络由k个Refine Block层组成；其中Refine Block1的输入为类HED模块和ResNet
‑
50网络各提供的一个特征图、G
‑
Weights Block网络提供的一个特征融合权重图；余下的Refine Block层中，每个Refine Block层的输入均为类HED模块和ResNet
‑
50网络各提供的一个特征图、G
‑
Weights Block网络提供的一个特征融合权重图以及Refine Blockk
‑
1输出的特征图；需要说明的是：尺度特征图不能重复选用；在同一Refine Block层中，来自类HED模块、ResNet
‑
50网络以及G
‑
Weights Block网络的特征图尺度相同；Refine Block网络用于将G
‑...

【专利技术属性】
技术研发人员：桂盛霖，简柯青，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：