一种基于残差网络的道路图像多尺度边缘检测模型及方法技术

本发明专利技术公开了一种基于残差网络的道路图像多尺度边缘检测模型及方法，所述模型包括：数据集构建模块，用于利用各种行驶道路的图像构建用于模型训练用的数据集；训练样本加载模块，用于在训练时批量加载训练样本，并于加载时将图像尺寸裁剪为同等大小，输入到多尺度边缘检测网络；多尺度边缘检测网络，用于在训练时通过不同层之间输出结果的相互约束来帮助网络的不同层学习检测不同尺度的图像边缘特征，最终使网络由浅层到深层能够检测从小尺度到大尺度的图像边缘。

【技术实现步骤摘要】
一种基于残差网络的道路图像多尺度边缘检测模型及方法
本专利技术涉及计算机图像处理
，特别是涉及一种基于残差网络的道路图像多尺度边缘检测模型及方法。
技术介绍
目前，对图像的边缘检测算法已经有很多，例如，早期提出的传统的边缘检测算法更多关注图像中的强度、颜色梯度和纹理等，如Canny算子，但是由于图像中的有些显著边缘在颜色梯度上的变化并不明显，这导致在某些情况下使用这些方法并不能很好的检测到边缘。基于学习的边缘检测算法使用监督模型和手工标注的特征，如结构化随机森林引入图像的结构信息对图像进行边缘检测，基于深度学习进行边缘检测的方法也被提出，有使用卷积神经网络(CNN)提取图像的特征，也有直接学习一个边缘检测的端到端的模型。但是这些方法都没有很好的对图像的边缘进行多尺度的检测，如道路的大尺度边缘和植物枝叶的小尺度边缘。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种基于残差网络的道路图像多尺度边缘检测模型及方法，以实现行驶道路图像的多尺度边缘检测。为达上述目的，本专利技术提出一种基于残差网络的道路图像多尺度边缘检测模型，包括：数据集构建模块，用于利用各种行驶道路的图像构建用于模型训练用的数据集；训练样本加载模块，用于在训练时批量加载训练样本，并于加载时将图像尺寸裁剪为同等大小，输入到多尺度边缘检测网络；多尺度边缘检测网络，用于在训练时通过不同层之间输出结果的相互约束来帮助网络的不同层学习检测不同尺度的图像边缘特征，最终使网络由浅层到深层能够检测从小尺度到大尺度的图像边缘。优选地，所述数据集构建模块通过对自动驾驶和智能监控中车辆抓拍到的行驶道路图像以及人工标注了图像边缘的二值图像，构建用于模型训练用的数据集。优选地，所述数据集中的数据以行驶道路图像和对应的二值图像作为一个训练样本，每个训练样本中的行驶道路图像用于输入到多尺度边缘检测网络，人工标注的图像边缘的二值图像用于网络训练时用来作为标签真值。优选地，所述多尺度边缘检测网络基于残差网络Resnet34，通过去掉残差网络Resnet34中的全连接层、一开始的7×7的卷积层以及两个池化层，并将其根据通道数分为4个block，并在前三个block后分别加入一个2×2的最大值池化层形成。优选地，在每个block中将各层卷积层的输出使用一层反卷积扩大到输入图像大小，然后将输出相加，最后通过两个1×1的卷积输出两个结果，所述该多尺度边缘检测网络共有8个输出，每个输出都是一张预测的边缘图像。优选地，所述8个输出的标签数据计算如下：从浅层block1到深层block4，每个block取一个输出，对block1的输出使用输入图像的标签图作为真值图进行训练，对block2的输出则将输入图像的标签图减去上述block1的输出之后作为真值图进行训练，对block3的输出为输入图像的标签图减去前两个block的输出之后作为真值图进行训练，对block4的输出为输入图像的标签图减去前三个block的输出作为真值图进行训练；各个block的另一个输出，则从深层的block4开始，使用输入图像的标签图作为真值图进行训练。优选地，所述多尺度边缘检测网络最终对图像的边缘检测结果为所述8个block输出的融合。优选地，所述融合为：将所述8个输出的预测边缘图像堆叠到一起，形成一个八通道的特征图，然后使用1×1×1的卷积核卷积生成最终的边缘预测图像。优选地，训练使用的损失函数为交叉熵损失，损失函数由所述8个block输出以及最终输出与真值图计算求和得到。为达到上述目的，本专利技术还提供一种基于残差网络的道路图像多尺度边缘检测方法，包括如下步骤：步骤S1，利用各种行驶道路的图像构建用于模型训练用的数据集；步骤S2，批量加载训练样本，并于加载时将图像尺寸裁剪为同等大小，输入到多尺度边缘检测网络中；步骤S3，构造交叉熵损失函数，并构造SGD优化器；步骤S4，将训练样本批量输入到多尺度边缘检测网络中，使用步骤S3所构造的损失函数计算损失，并使用S3构造的优化器进行反向传播更新网络参数。步骤S5，多次重复上述步骤S2到步骤S4，对网络进行迭代优化，直到训练完毕，得到最终的模型。与现有技术相比，本专利技术一种基于残差网络的道路图像多尺度边缘检测模型及方法通过利用各种行驶道路的图像构建用于模型训练用的数据集，在训练时批量加载训练样本，于加载时将图像尺寸裁剪为同等大小，输入到多尺度边缘检测网络，利用多尺度边缘检测网络在训练时通过不同层之间输出结果的相互约束来帮助网络的不同层学习检测不同尺度的图像边缘特征，最终使网络由浅层到深层能够检测从小尺度到大尺度的图像边缘，从而实现行驶道路图像的多尺度边缘检测。附图说明图1为本专利技术一种基于残差网络的道路图像多尺度边缘检测模型的系统架构图；图2为本专利技术具体实施例中多尺度边缘检测网络的整体结构图；图3为本专利技术具体实施例中多尺度边缘检测网络的部分细节图；图4为本专利技术一种基于残差网络的道路图像多尺度边缘检测方法的步骤流程图；图5为本专利技术实施例的流程图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。图1为本专利技术一种基于残差网络的道路图像多尺度边缘检测模型的系统架构图。如图1所示，本专利技术一种基于残差网络的道路图像多尺度边缘检测模型，包括：数据集构建模块101，用于利用各种行驶道路的图像构建用于模型训练用的数据集。在本专利技术具体实施例中，数据集构建模块101通过对自动驾驶和智能监控中车辆抓拍到的行驶道路图像以及人工标注了图像边缘的二值图像，构建用于模型训练用的数据集。数据集中的数据以行驶道路图像和对应的二值图像作为一个训练样本，每个训练样本中的行驶道路图像用于输入到多尺度边缘检测网络103，人工标注的图像边缘的二值图像则用于网络训练时用来当标签真值。所构建的数据集由训练集、验证集和测试集三部分组成。训练样本加载模块102，用于在训练时批量加载训练样本，即每次加载若干个训练样本，并于加载时将图像尺寸裁剪为同等大小，输入到多尺度边缘检测网络103中。这里需说明的是，每个训练样本中的行驶道路图像以及其对应的人工标注的其边缘的二值图像都要调整到同等大小。多尺度边缘检测网络103，用于在训练时通过不同层之间输出结果的相互约束来帮助网络的不同层学习检测不同尺度的图像边缘特征，最终使网络由浅层到深层能够检测从小尺度到大尺度的图像边缘。如图2所示，所述多尺度边缘检测网络103基于残差网络Resnet34改造而成，通过去掉残差网络Resnet34其中的全连接层、一开始的7×7的卷积层以及两个池化层，将残差网络Resne本文档来自技高网...

【技术保护点】
1.一种基于残差网络的道路图像多尺度边缘检测模型，包括：/n数据集构建模块，用于利用各种行驶道路的图像构建用于模型训练用的数据集；/n训练样本加载模块，用于在训练时批量加载训练样本，并于加载时将图像尺寸裁剪为同等大小，输入到多尺度边缘检测网络；/n多尺度边缘检测网络，用于在训练时通过不同层之间输出结果的相互约束来帮助网络的不同层学习检测不同尺度的图像边缘特征，最终使网络由浅层到深层能够检测从小尺度到大尺度的图像边缘。/n

【技术特征摘要】
1.一种基于残差网络的道路图像多尺度边缘检测模型，包括：
数据集构建模块，用于利用各种行驶道路的图像构建用于模型训练用的数据集；
训练样本加载模块，用于在训练时批量加载训练样本，并于加载时将图像尺寸裁剪为同等大小，输入到多尺度边缘检测网络；
多尺度边缘检测网络，用于在训练时通过不同层之间输出结果的相互约束来帮助网络的不同层学习检测不同尺度的图像边缘特征，最终使网络由浅层到深层能够检测从小尺度到大尺度的图像边缘。


2.如权利要求1所述的一种基于残差网络的道路图像多尺度边缘检测模型，其特征在于：所述数据集构建模块通过对自动驾驶和智能监控中车辆抓拍到的行驶道路图像以及人工标注了图像边缘的二值图像，构建用于模型训练用的数据集。


3.如权利要求2所述的一种基于残差网络的道路图像多尺度边缘检测模型，其特征在于：所述数据集中的数据以行驶道路图像和对应的二值图像作为一个训练样本，每个训练样本中的行驶道路图像用于输入到多尺度边缘检测网络，人工标注的图像边缘的二值图像用于网络训练时用来作为标签真值。


4.如权利要求2所述的一种基于残差网络的道路图像多尺度边缘检测模型，其特征在于：所述多尺度边缘检测网络基于残差网络Resnet34，通过去掉残差网络Resnet34中的全连接层、一开始的7×7的卷积层以及两个池化层，并将其根据通道数分为4个block，并在前三个block后分别加入一个2×2的最大值池化层形成。


5.如权利要求4所述的一种基于残差网络的道路图像多尺度边缘检测模型，其特征在于：在每个block中将各层卷积层的输出使用一层反卷积扩大到输入图像大小，然后将输出相加，最后通过两个1×1的卷积输出两个结果，所述该多尺度边缘检测网络共有8个输出，每个输出都是一张预测的边缘图像。


6.如权利要求5所述的一种基于残差网络的道路图像多尺度边缘检测模型，其特征在于，所...

【专利技术属性】
技术研发人员：王洪剑，陈涛，黄向军，林江，孙国梁，
申请(专利权)人：清华大学苏州汽车研究院相城，
类型：发明
国别省市：江苏;32