基于任务驱动的自然场景中交通标志显著性检测方法技术

本发明专利技术涉及计算机视觉领域，公开了一种基于任务驱动的自然场景中交通标志的显著性检测方法，包括以下步骤：S1、训练数据的采集；S2、输入训练集数据中的图像，利用卷积神经网络提取图像的总全局特征，同时提取图像在多个不同分辨率下的特征信息；利用扩张卷积网络用于对图像的不同分辨率下的特征信息进行多层扩张卷积学习提取特征和对比度特征；S3、将特征和对比度特征进行上采样式学习得到各个分辨率下的特征图，然后融合成总局部特征；S4、进行预测最终得到的交通标志显著性特征图；S5、重复步骤S2~S4训练卷积神经网络，保存好训练模型；S6、输入待预测图像，得到其交通标志显著性特征图。提高了交通标志检测精度，可广泛应用于无人驾驶领域。

【技术实现步骤摘要】
基于任务驱动的自然场景中交通标志显著性检测方法
本专利技术涉及计算机视觉领域，具体涉及基于深度学习的图像显著性检测
，更具体地说，涉及一种基于任务驱动的自然场景中交通标志的显著性检测方法。
技术介绍
随着汽车数量的增加交通方面的问题也日益严峻，识别交通标志是行车驾驶过程中最重要的问题，对于公路维护、驾驶员辅助系统和自动驾驶汽车也非常重要。例如在高级驾驶辅助系统(ADAS)的发展中需要考虑很多实际因素，其中最基础的就是交通标志的识别（TrafficSignRecognition，TSR）。TSR是难度较大的实景图形识别问题，它的主要作用就是通过检测交通标志，从而向驾驶员提供道路信息并提醒驾驶员做出合理操作。车辆行驶的过程中如果出现路况拥堵、雨雪天气，或驾驶员疲劳等的复杂情况，TSR能够防止驾驶员在因为疏忽、疲劳驾驶、恶劣天气等复杂环境下出现交通事故。基于上述原因，如何可以使计算机精准定位到交通标志的坐标就变得格外重要。众所周知，图像显著性检测提供了一种在图像处理中提取主要信息的方法，已经成为计算机视觉领域中的一项关键技术，在实际的计算机视觉任务中也有着广泛的应用。其主要是通过模拟人类视觉机制的功能来有效地提取场景中人们比较关注的部分。也就是说，交通标志作为显著性目标检测，是自动驾驶领域中非常重要的一个技术，而目前面临的最主要的一个难题就是在真实的场景中如何使检测结果与人们主观意志一致，并且如何在复杂场景下提高检测的高效稳健性。显著性检测的目的是模仿人类的视觉系统，而人类视觉系统的选择性注意可以分为两种机制，一种是基于数据驱动自底向上(bottom-up)的注意机制，它是一种基于显著性驱动的与任务无关的方式，这种方式是相对快速的，另一种是基于任务驱动自上而下(top-down)的注意机制，它是一种受到我们意志力控制的，与任务相关的方式，这种方式是相对较慢的。现有技术中，一般采用基于显著性驱动的与任务无关的方式进行检测，因为这种方式是快速的。但是在现实场景中，需要检测特定的目标时，例如自动驾驶等的应用需要检测特定的目标，如驾驶人员需要关注的交通标志，利用第一种进行检测，很大的可能性只检测到最显著的那个交通标志，而无法将图像总的所有交通标志都显示出来，因此，需要提供一种基于任务驱动的自然场景中交通标志的检测方法，以实现交通标志的精确检测。
技术实现思路
本专利技术克服现有技术存在的不足，所要解决的技术问题为：提供一种基于任务驱动的自然场景中交通标志的显著性检测方法，以更加精准地定位到自然场景中的交通标志。为了解决上述技术问题，本专利技术采用的技术方案为：一种基于任务驱动的自然场景中交通标志的显著性检测方法，包括以下步骤：S1、训练数据的采集：采集自然场景中的含有交通标志的图像，然后进行标注其中的交通标志，并对图像分辨率进行统一；S2、输入训练集数据中的图像，利用卷积神经网络提取图像的总全局特征，同时提取图像在多个不同分辨率下的特征信息；所述卷积神经网络包括依次连接的多个卷积块和一个全局卷积块，所述每个卷积块的输出对应一个图像分辨率下的特征信息，所述全局卷积块的输出对应图像的总全局特征；利用扩张卷积网络用于对图像的不同分辨率下的特征信息进行多层扩张卷积学习提取特征，并根据提取的特征进行对比度特征的提取；S3、将步骤S2得到的各个分辨率下的特征和对比度特征进行上采样式学习恢复至原分辨率大小，得到各个分辨率下的特征图，然后将不同分辨率下的各个特征图以concat融合的方式，融合成总局部特征；S4、根据步骤S2提取到的总全局特征和步骤S3得到的总局部特征，进行预测最终得到的交通标志显著性图；S5、调整卷积神经网络参数，重复步骤S2~S4，直至预测最终得到的交通标志显著性图与标记的交通标志一致，保存好训练模型；S6、输入待预测图像，重复步骤S2~S4，得到其交通标志显著性图。所述步骤S2中，所述卷积神经网络包括依次连接的五个卷积块CONV1-CONV5和一个全局卷积块，卷积块CONV1-CONV2中分别包含两层卷积核大小为3*3的卷积操作，卷积块CONV3-CONV5中分别包含三层卷积核大小为3*3的卷积操作，所述卷积块CONV1、CONV2、CONV3、CONV4、CONV5的输出依次连接一个扩张卷积网络，所述全局卷积块GLOBAL包含三层卷积操作，分别所采用的卷积核大小为5x5、5x5和3x3。所述步骤S2中，所述扩张卷积网络包括扩张率分别为1、3、5、7的四层扩张卷积操作。所述步骤S1中，将图像分辨率统一为256*256，卷积块CONV1-CONV5输出的图像的分辨率分别为256*256、128*128、64*64、32*32和16*16。所述步骤S2中，采用高斯金字塔算法进行对比度特征的提取。所述步骤S3中，将不同分辨率下的各个特征图以concat融合的方式融合时，卷积核大小为1x1。所述步骤S4中，预测最终得到的交通标志显著性特征图的具体方法为：将步骤S2得到总全局特征和步骤S3得到的总局部特征分别用1x1的卷积核卷积得到局部分数和全局分数，最后通过Softmax函数进行各个像素的显著性预测，得到最终的交通标志显著性图。本专利技术与现有技术相比具有以下有益效果：本专利技术针对交通标志的特点设计，提出了一种基于任务驱动的自然场景中交通标志的显著性检测方法，主要采用了逐层扩张卷积视野的卷积操作，即充分利用扩张卷积网络的接受域扩张来增加尽可能多的目标信息，提高对交通标志特征的提取能力，学习到交通目标区域信息和其上下文的语义信息，尽可能减少相关交通标志信息的丢失。此外，本专利技术还采用了对比度方法来捕获特征，由于显著性对象是一种区别于背景区域的前景对象，因此采用高斯金字塔计算对比度特征的方法来找到图像中相对突出和比较重要的像素以及区域。最后将预测结果有效地结合起来得到最终的显著性图，实验结果表明基于本专利技术可以更加精准地定位到自然场景中的交通标志。附图说明图1为本专利技术实施例提供的一种基于任务驱动的自然场景中交通标志的显著性检测方法的网络流程图；图2为本专利技术实施例中扩张卷积网络中的结构示意图；图3为本专利技术的显著性检测方法与其它方法的实验结果对照图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例；基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1~2所示，本专利技术实施例提供了一种基于任务驱动的自然场景中交通标志的显著性检测方法，包括以下步骤：S1、训练数据的采集：采集自然场景中的含有交通标志的图像，然后进行标注其中的交通标志，并对图像分辨率进行统一。具体地，本实施例中，在提取特征之前将图像统一分辨率为256*256。S2、输入训练集数据中的图像，本文档来自技高网...

【技术保护点】
1.一种基于任务驱动的自然场景中交通标志的显著性检测方法，其特征在于，包括以下步骤：/nS1、训练数据的采集：采集自然场景中的含有交通标志的图像，然后进行标注其中的交通标志，并对图像分辨率进行统一；/nS2、输入训练集数据中的图像，利用卷积神经网络提取图像的总全局特征，同时提取图像在多个不同分辨率下的特征信息；所述卷积神经网络包括依次连接的多个卷积块和一个全局卷积块，所述每个卷积块的输出对应一个图像分辨率下的特征信息，所述全局卷积块的输出对应图像的总全局特征；利用扩张卷积网络用于对图像的不同分辨率下的特征信息进行多层扩张卷积学习提取特征，并根据提取的特征进行对比度特征的提取；/nS3、将步骤S2得到的各个分辨率下的特征和对比度特征进行上采样式学习恢复至原分辨率大小，得到各个分辨率下的特征图，然后将不同分辨率下的各个特征图以concat融合的方式，融合成总局部特征；/nS4、根据步骤S2提取到的总全局特征和步骤S3得到的总局部特征，进行预测最终得到的交通标志显著性特征图；/nS5、调整卷积神经网络参数，重复步骤S2~S4，直至预测最终得到的交通标志显著性特征图与标记的交通标志一致，保存好训练模型；/nS6、输入待预测图像，重复步骤S2~S4，得到其交通标志显著性特征图。/n...

【技术特征摘要】
1.一种基于任务驱动的自然场景中交通标志的显著性检测方法，其特征在于，包括以下步骤：
S1、训练数据的采集：采集自然场景中的含有交通标志的图像，然后进行标注其中的交通标志，并对图像分辨率进行统一；
S2、输入训练集数据中的图像，利用卷积神经网络提取图像的总全局特征，同时提取图像在多个不同分辨率下的特征信息；所述卷积神经网络包括依次连接的多个卷积块和一个全局卷积块，所述每个卷积块的输出对应一个图像分辨率下的特征信息，所述全局卷积块的输出对应图像的总全局特征；利用扩张卷积网络用于对图像的不同分辨率下的特征信息进行多层扩张卷积学习提取特征，并根据提取的特征进行对比度特征的提取；
S3、将步骤S2得到的各个分辨率下的特征和对比度特征进行上采样式学习恢复至原分辨率大小，得到各个分辨率下的特征图，然后将不同分辨率下的各个特征图以concat融合的方式，融合成总局部特征；
S4、根据步骤S2提取到的总全局特征和步骤S3得到的总局部特征，进行预测最终得到的交通标志显著性特征图；
S5、调整卷积神经网络参数，重复步骤S2~S4，直至预测最终得到的交通标志显著性特征图与标记的交通标志一致，保存好训练模型；
S6、输入待预测图像，重复步骤S2~S4，得到其交通标志显著性特征图。


2.根据权利要求1所述的一种基于任务驱动的自然场景中交通标志的显著性检测方法，其特征在于，所述步骤S2中，所述卷积神经网络包括依次连接的五个卷积块CONV1-CONV5和一个全局卷积块，卷积块CONV1-CONV2中分别包含两层卷积核大小为3*3的卷积操作，卷积块CONV3-CONV5中分别包含三层卷积...

【专利技术属性】
技术研发人员：李雨萌，
申请(专利权)人：山西云时代研发创新中心有限公司，
类型：发明
国别省市：山西;14