一种基于深度学习的语义边缘检测方法技术

本发明专利技术公开了一种基于深度学习语义边缘检测方法，核心为一个基于多层次特征融合的语义边缘检测深度神经网络模型。包括多层次特征学习、多层次特征抽取和多层次特征融合。训练分为三个步骤：模型参数的初始化、目标数据集准备和整体模型的训练。本发明专利技术具有以下优点：1)自底向上把低层次特征逐渐融合到高层次特征中，融合之后的高层次特征不仅语义判别能力得到加强，而且其所缺失的底层细节信息也得到补充，有利于提高语义边缘的检测效果；2)预先在大数据集上训练多层次特征学习模块，使它在目标数据集上能够学习到更丰富的多层次特征；3)采用数据增强技术扩充数据集，并对真值标签做预处理，加强了整体模型的学习能力。

A semantic edge detection method based on deep learning

【技术实现步骤摘要】
一种基于深度学习的语义边缘检测方法
本专利技术属于图像处理与计算机视觉
，涉及一种基于深度学习的语义边缘检测方法。
技术介绍
图像语义边缘提取即检测图像中物体轮廓，并确定轮廓所属的物体类型，是计算机视觉研究中的一个重要课题。图像语义边缘提取也可为其它视觉任务提供有利帮助，例如图像分割、深度推理、遮挡推理、物体检测、三维重建等。但是由于受光照、噪声等问题影响，图像语义边缘检测极具挑战性。近年来随着卷积神经网络的出现，其强大的多层次特征表达能力有力地促进了众多计算机视觉任务的发展，如图像语义分割、人体姿态估计、物体检测、立体匹配等。同样也促进了语义边缘检测任务的发展。卷积神经网络中的低层次特征如梯度、亮度、纹理等特征有利于边缘定位，其高层次语义特征有利于边缘分类。如何融合卷积神经网络中的多层次特征，实现准确的边缘提取和分类是语义边缘检测的核心问题。Yu等人在2017年的CVPR上发表的“CASENet:DeepCategory-AwareSemanticEdgeDetection”中，提取三个低层次的单通道特征，把它们直接融合到高层次本文档来自技高网...

【技术保护点】
1.一种基于深度学习语义边缘检测方法，其特征在于：自底向上把低层次特征逐渐融合到高层次特征中，融合后的最高层次特征用于检测语义边缘；具体的构建了一种卷积神经网络模型，它能自底向上逐渐融合多个尺度特征；该模型先在语义分割数据集上对多层次特征学习模块进行预训练，之后把训练好的参数进行迁移，再对卷积神经网络模型进行整体训练，整体训练时使用的数据集为目标数据集，所述的目标数据集指由本方法能够识别出的所有种类构成的数据集合；利用整体训练完成的模型处理待测图片，模型输出的K个通道激活值作为对应K种分类边缘的概率值；/n其中，所述的卷积神经网络模型由以下三大模块构成：/n多层次特征学习模块：该模块采用图片分...

【技术特征摘要】
1.一种基于深度学习语义边缘检测方法，其特征在于：自底向上把低层次特征逐渐融合到高层次特征中，融合后的最高层次特征用于检测语义边缘；具体的构建了一种卷积神经网络模型，它能自底向上逐渐融合多个尺度特征；该模型先在语义分割数据集上对多层次特征学习模块进行预训练，之后把训练好的参数进行迁移，再对卷积神经网络模型进行整体训练，整体训练时使用的数据集为目标数据集，所述的目标数据集指由本方法能够识别出的所有种类构成的数据集合；利用整体训练完成的模型处理待测图片，模型输出的K个通道激活值作为对应K种分类边缘的概率值；
其中，所述的卷积神经网络模型由以下三大模块构成：
多层次特征学习模块：该模块采用图片分类网络，输入一幅图像，得到从底到高不同层次的特征，本模块依据图片分类网络中的池化操作数量划分为对应阶段；
多层次特征抽取模块：该模块从多层次特征学习模块中选取M种不同层次的特征，第m种层次特征为xm，m＝1、2、...、M，其中，M及各层次特征中所包含的具体通道数由用户自己指定，具体的，该模块由M个并列的残差层构成，每个残差层包括1个1x1Conv和两个3x3Conv，其中第m个残差层的输入为xm，输入特征经过1x1Conv降维后依次经过两个3x3Conv，得到的特征与经过1x1Conv降维后的特征再相加，第m个残差层最终的输出即为相加后的特征fm，M个残差层的输出构成多层次特征抽取模块的整体输出{f1、f2、...、fm}，其中，第m个残差层的输出特征可用公式(1)表示：
fm＝Fm(xm)＝{C3×3C3×3(Xm)+Xm}，Xm＝C1×1(xm)(1)
多层次特征融合模块：该模块通过自底向上逐渐融合策略，把低层次特征逐渐融合到高层次特征中，提高特征的表达能力，从而提升语义边缘检测效果，具体的，该模块由M-1个并列的单元...

【专利技术属性】
技术研发人员：马伟，龚超凡，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11