一种基于深度学习的快速高效图像边缘检测方法技术

本发明专利技术公开了一种基于深度学习的快速高效图像边缘检测方法，包括如下步骤：S1.建立充分融合各尺度特征的整体融合网络模型；S2.利用所述整体融合网络模型对待检测图像进行边缘检测，得到边缘检测结果。所述整体融合网络模型由高效的主干网络和高效的特定于任务的旁支结构组成。本发明专利技术提出了一种轻量级的网络结构，能够在边缘检测任务中的精度和效率之间取得更好的平衡。取得更好的平衡。取得更好的平衡。

【技术实现步骤摘要】
一种基于深度学习的快速高效图像边缘检测方法


[0001]本专利技术涉及图像分割
，具体涉及一种基于深度学习的快速高效图像边缘检测方法。

技术介绍

[0002]边缘检测一直是计算机视觉中一个长期存在的根本性、低级别基础问题。边缘和对象边界在各种高级计算机视觉任务中发挥重要作用，例如对象识别和检测、对象建议生成、图像编辑和图像分割。近年来，由于深度学习的高速发展，边缘检测问题也得到了重新研究，并注入了新的活力。
[0003]图像边缘检测的主要目的是识别图像中急剧的亮度变化，例如强度、颜色或纹理上的不连续性。传统方法中，基于图像梯度或导数信息的边缘检测器是流行的选择。早期的经典方法使用一阶或二阶导数(包括Sobel、Prewitt、高斯拉普拉斯算子(LoG)、Canny等)进行基本边缘检测，后续基于学习的数据驱动方法进一步利用各种梯度信息来产生更准确的边界。
[0004]由于能够自动学习具有抽象层次结构的丰富数据表示形式，深层的CNN为包括边缘检测在内的各种计算机视觉任务带来了巨大的进步，并且仍在迅速发展。早期基于深度学习的边缘检测模型将CNN架构构造为分类器，以预测输入图像块的边缘概率图。譬如，HED建立在完全卷积网络的基础上，通过利用具有深度监督的丰富分层信息的多级图像特征来执行端到端边缘检测，并实现state
‑
of
‑
the
‑
art的性能。
[0005]表1在效率和准确性方面本专利技术与几种边缘检测模型的比较
[0006] HEDRCFBDCNPiDiNetPiDiNet(tiny)Params14.7M14.8M16.3M710K73KMACs22.2G16.2G23.2G3.43G270MThroughput78FPS67FPS47FPS92FPS215FPSPre
‑
trainingImageNetImageNetImageNetNoNoODSF
‑
measure0.7880.8060.8200.8070.787
[0007]表1中，MACs(multiply
‑
accumulates)是基于200
×
200尺寸的图像计算的，FPS和ODS F
‑
measure是在BSDS500测试集上评估得到的。
[0008]另一方面，HED之类的目前领先方法存在如表1中所示的缺陷：内存消耗大，模型大小大，能源消耗大，计算成本高，运行效率低下，低吞吐量和标签利用率低，即在大型数据集上进行模型预训练的效率低下等问题。当然这也是基于以下事实：可用于训练边缘检测模型的带注释数据有限。因此，这类领先的方法首先会充分训练好大体量的主干网络，该主干网络可以产生丰富的粗略和精细的图像表示，然后在边缘标注数据集上进行微调。具体广泛采用的解决方案是使用在大型ImageNet数据集上训练的大型VGG16结构作为主干网络。因此开发一种轻量级的网络结构具有很大的重要性，以便在边缘检测任务中的精度和效率之间取得更好的平衡。

技术实现思路

[0009]本专利技术要解决的技术问题是针对现有技术的不足而提供一种基于深度学习的快速高效图像边缘检测方法。
[0010]为解决上述技术问题，本专利技术的内容包括：
[0011]一种基于深度学习的快速高效图像边缘检测方法，包括如下步骤：
[0012]S1.建立充分融合各尺度特征的整体融合网络模型；
[0013]S2.利用所述整体融合网络模型对待检测图像进行边缘检测，得到边缘检测结果。
[0014]进一步的，所述整体融合网络模型由高效的主干网络和高效的特定于任务的旁支结构组成。
[0015]进一步的，所述主干网络采用带有捷径直连的可分离深度卷积结构。
[0016]进一步的，所述主干网络有4个阶段：各阶段相互之间由步长为2的最大池化层连接，用于下采样；第1阶段由一个初始卷积层和3个残差块组成，其它3个阶段均由4个残差块组成；在残差块中，残余路径依次包括深度卷积层、ReLU层和点状卷积层。
[0017]进一步的，每个阶段的通道数量：前三个阶段中下一个阶段的通道数量是上一个阶段的通道数量的两倍，第4阶段的通道数量与第3阶段的通道数量相等。
[0018]进一步的，使用旁支结构分别在每个阶段中生成一个边缘概率图，然后根据真值标注的ground truth图计算损失值以提供深度的监督。
[0019]进一步的，从每个阶段的结尾开始，首先构建一个紧凑的基于扩展卷积的模块CDCM用以丰富多尺度边缘信息，该模块具有n
×
C通道数的输入，输出为M通道的输出，其中，C为第1阶段的通道数，M＜C；再连接紧凑空间注意模块CSAM用以消除背景噪声；之后，采用1
×
1卷积层将特征量进一步减小为单通道特征图，然后将其插值到原始输入图像的大小，然后再经过Sigmoid函数以创建边缘概率图。
[0020]进一步的，将4个旁支部分得到的单通道特征图通过拼接方式融合，再依次串联卷积层和Sigmoid函数，得到用于测试的最终边缘概率图。
[0021]进一步的，对于每个生成的边缘概率图，采用RCF方法中提出的损失函数。
[0022]进一步的，对于第j个边缘概率图中的第i个像素损失函数的具体计算公式为：
[0023][0024]其中yi表示ground truth中边缘的概率，η是预先定义的阈值，β是负像素样本的百分比，且α＝λ
·
(1
‑
β)；
[0025]第j个边缘概率图整体的损失值为
[0026]本专利技术的有益效果是：
[0027]本专利技术提出了一种简单、轻巧而有效的边缘检测架构，因其充分融合各尺度特征时性能达到最佳，故称之为整体融合网络。本专利技术还提供了在BSDS500、NYUD和Multicue三大公开数据集上的大量实验，以证明本专利技术方法的有效性，以及较高的训练和推理效率。当仅使用BSDS500和PASCAL VOC Context数据集从头开始训练时，PiDiNet可以超过在
BSDS500数据集上的人类感知记录结果(ODS F
‑
measure中为0.807vs.0.803)，并且具有100FPS的速度和小于1M参数量。参数量小于0.1M的更快版本的PiDiNet仍可以在200FPS的运行速度下达到最先进的性能。NYUD和Multicue数据集上的结果显示了相似的实验结果。
附图说明
[0028]图1是本专利技术整体融合网络模型的网络结构图；
[0029]图2是本专利技术网络结构的主干网络中Block_x_y的局部网络结构示意图；
[0030]图3是本专利技术网络结构中紧凑空间注意模块CSAM的结构示意图；
[0031]图4是本专利技术网络结构中紧凑的基于扩展卷积的模块CDCM的结构示意图；
[0032]图5是本专利技术整体融合网络模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的快速高效图像边缘检测方法，其特征在于，所述方法包括如下步骤：S1.建立充分融合各尺度特征的整体融合网络模型；S2.利用所述整体融合网络模型对待检测图像进行边缘检测，得到边缘检测结果。2.根据权利要求1所述的基于深度学习的快速高效图像边缘检测方法，其特征在于，所述整体融合网络模型由主干网络和特定于任务的旁支结构组成。3.根据权利要求2所述的基于深度学习的快速高效图像边缘检测方法，其特征在于，所述主干网络采用带有捷径直连的可分离深度卷积结构。4.根据权利要求3所述的基于深度学习的快速高效图像边缘检测方法，其特征在于，所述主干网络有4个阶段：各阶段相互之间由步长为2的最大池化层连接，用于下采样；第1阶段由一个初始卷积层和3个残差块组成，其它3个阶段均由4个残差块组成；在残差块中，残余路径依次包括深度卷积层、ReLU层和点状卷积层。5.根据权利要求4所述的基于深度学习的快速高效图像边缘检测方法，其特征在于，每个阶段的通道数量：前三个阶段中下一个阶段的通道数量是上一个阶段的通道数量的两倍，第4阶段的通道数量与第3阶段的通道数量相等。6.根据权利要求4所述的基于深度学习的快速高效图像边缘检测方法，其特征在于，使用旁支结构分别在每个阶段中生成一个边缘概率图，然后根据真值标注的ground truth图计算损失值以提供深度的监督。7.根据权利要求4所述的基于深度...

【专利技术属性】
技术研发人员：刘文哲，苏卓，刘丽，白亮，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：