一种基于多尺度循环注意力网络的交通标识符检测方法技术

本发明专利技术公开了一种基于多尺度循环注意力网络的交通标识符检测方法，该方法首先构建交通标识符检测模型，所述交通标识符检测模型由用于图像特征提取的卷积神经网络特征提取模型和用于提高小目标检测精度的多尺度循环注意力网络模型复合而成；然后利用合格的训练样本对所述的交通标识符检测模型进行训练，得到训练好的交通标识符检测模型；测试时将待检测的图像输入训练好的交通标识符检测模型中，得到检测结果。本发明专利技术方法应用编解码器结构加强了取得的特征，用多尺度注意力结构检测小目标，并引用残差结构解决了梯度消失和梯度爆炸问题，本发明专利技术方法与其他先进的交通标识符检测方法相比更具有竞争力。

A traffic identifier detection method based on multi-scale cyclic attention network

The invention discloses a traffic identifier detection method based on a multi-scale cyclic attention network. The method first constructs a traffic identifier detection model, which is a convolutional neural network feature extraction model for image feature extraction and a multi-scale cycle for improving the detection accuracy of small targets. The attention network model is compounded, and then the trained traffic identifier detection model is trained by using qualified training samples, and the trained traffic identifier detection model is obtained. The method of the invention strengthens the acquired characteristics by using the codec structure, detects small targets by multi-scale attention structure, and solves the problems of gradient disappearance and gradient explosion by using residual structure. The method of the invention is more competitive than other advanced traffic identifier detection methods.

【技术实现步骤摘要】
一种基于多尺度循环注意力网络的交通标识符检测方法
本专利技术涉及交通标识符检测技术，具体涉及一种基于多尺度循环注意力网络的交通标识符检测方法。
技术介绍
交通标志的检测是学术界和工业界的一个至关重要和具有挑战性的课题，过去十年来一直是研究的热点领域。实时和强大的交通标志检测技术可以减轻驾驶员压力，从而显著提高驾驶安全性和舒适性。例如，它可以提醒驾驶员当前的速度限制，防止他超速驾驶。此外，它还可以集成到自动驾驶系统(ADS)和高级驾驶员辅助系统(ADAS)中，以减轻驾驶压力。传统交通标志检测有各种各样的算法，包括adaboost、支持向量机、Hough变换等，它们使用颜色，纹理，线条和其他低级特征来检测图像中交通标志的中心或边缘。由于以下原因，基于低级特征的方法不能很好地检测交通标志：1)不同形状或颜色的交通标志(例如，三角形，正方形，圆形以及它们的颜色，黄色，红色或蓝色)；2)树木，车辆等物体可能遮挡交通标志；3)一天内的不同时刻，例如，白天和晚上交通标志的图片是不同的。近年来，深度学习，特别是卷积神经网络(CNN)在检测任务中得到了成功应用。根据深度学习的理念，提供的训练数据越多，精度将会越高，如果我们有足够的数据进行训练，就能得到近似完美的结果。然而，虽然构建了庞大的交通标志数据集，如Tsinghua-Tencent100K数据集，但深度学习在交通标志检测中并没有表现出明显的优势，部分原因是交通标志尺寸过小和有效的上下文信息没有得到充分利用。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于多尺度循环注意力网络的新型交通标识符检测方法，该方法能够有效提高小目标检测的准确率。本专利技术的目的是通过以下技术方案来实现的：一种基于多尺度循环注意力网络的交通标识符检测方法，该方法包括以下步骤：(1)构建交通标识符检测模型：所述交通标识符检测模型由用于图像特征提取的卷积神经网络特征提取模型和用于提高小目标检测精度的多尺度循环注意力网络模型复合而成；所述卷积神经网络特征提取模型的构建方法如下：使用深层残差网络提取原始图像的初始特征并输入编解码器；编解码器的编码器部分实现下采样、解码器部分实现上采样，通过上、下采样得到不同尺度的特征图Xk，通过残差学习得到每个尺度下的特征；所述多尺度循环注意力网络模型构建方法如下：使用通道数为1、卷积核为1×1的卷积层，对该尺度下的特征进行卷积操作，得到每个尺度的初始注意力图；通过卷积操作分别获得当前尺度初始注意力图的上采样注意力图和下采样注意力图将下采样注意力图初始注意力图和上采样注意力图进行级联，使用通道数为1、卷积核为1×1的卷积层对级联结果进行卷积操作，获得新的当前尺度的非标准化注意力图将非标准化注意力图归一化到0-1之间，得到标准化注意力图循环上述操作，在每次循环开始时，将上一轮循环得到的标准化注意力图作为该轮循环的初始注意力图直到获得的注意力图目标区域与原始图像目标区域的误差小于设定门限(比如可取1％)，再将每个尺度的最终注意力图的通道数扩张到该尺度下的卷积特征大小，再与该卷积特征进行Hadamard乘积得到该尺度的环境上下文特征，将所有尺度的环境上下文特征加和，从而得到该原始图像的环境上下文特征c；建立原始图像的环境上下文特征与感兴趣目标外接框的映射关系；(2)得到检测结果：利用合格的训练样本对所述的交通标识符检测模型进行训练，得到训练好的交通标识符检测模型；测试时将待检测的图像输入训练好的交通标识符检测模型中，得到检测结果。在卷积神经网络特征提取模型中，通过深层残差网络和编解码器结构，获得更深层的特征。该部分的网络设置如下：卷积神经网络特征提取模型的基础网络采用经改进的Resnet-101网络，我们将其称为Residual-101；为了得到分辨率更大的特征图，做以下修改：将Resnet-101中conv5_x阶段删除，并且将conv4_x阶段的步长由2修改为1；在基础网络之后，使用步长为2的池化层或卷积层将特征图下采样到低分辨率；在每个下采样步骤中，采用残差学习单元进行信息处理；这个过程将一直进行，直到获得最低的分辨率，之后开始网络的扩展过程，即对满足低分辨率的特征图进行上采样；该网络的结构是对称的，因此，对于在下采样步骤中呈现的每个层，存在相应的上采样层；编解码器结构增加了小目标检测的容量，但是会忽略上下文信息，并且复杂的背景也可能使目标检测任务变得困难。作为优选，本专利技术在此基础上引入了第二部分多尺度循环注意力网络模型：注意力是从图像或视频提取信息的一种机制，它能自适应地选择一系列区域或位置并仅处理所选区域来获取信息。本专利技术提出了一个多尺度注意力新模型，在多尺度分析中不同尺度的注意力图是相互关联的，它们之间并非相互独立。用Wk×Hk×Dk定义第k尺度下的特征图，并把它写为Xk，其中Wk，Hk，Dk分别为特征图中的宽、高、通道数目。用编码器来获得第k尺度下的注意力图以此来衡量第k尺度的重要性。在注意力图部分，基础结构由3×3×Dk的卷积层在每个尺度下获取激活响应。对于信息向前传播，卷积层的顺序是归一化层-激活层-卷积层。另一个1×1×1的卷积层在每个尺度下被增加，以取得激活图接下来，在相邻的尺度下使用激活图获得非标准化的注意力图其中，分别为前一个尺度激活图、当前尺度激活图、下一个尺度激活图。作为优选，将softmax函数应用于以确保所有的注意力权重之和为1。其中，表示标准化注意力图。作为优选，将分支中标准化注意力图扩展到3维张量并结合对应的特征图Xk，通过Hadamard乘积生成得到环境上下文特征c∈RW×H×D：其中，Xk表示第k个尺度特征图。本专利技术通过提出注意力机制，特征图模块可以选择性地关注每个尺度下的局部区域，从而一起训练。输入的注意力机制是一个前馈神经网络，可以和其他组件一起训练。作为优选，对所述交通标识符检测模型进行训练的过程为：利用ILSVRCCLS-LOC数据集进行预训练，卷积神经网络的权重和偏置服从标准差为0.01的高斯分布，初始化网络；之后采用Tsinghua-Tencent100K和GermanTrafficSignDetectionBenchmark数据集对多尺度循环注意力网络模型进行微调。作为优选，所述的卷积神经网络特征提取模型采用编解码器模型以及跳跃连接的想法，以加强特征；同时添加额外的解卷积层，以连续增加特征图的分辨率。作为优选，在所述的多尺度循环注意力网络模型中，我们希望找到能够判别含有不同对象情景信息的注意力图，其中所有上下文信息可以从较低感知域获得的注意力图或较高感知域获得的注意力图获得，并且该方法应该是高效且易于训练的。这种上下文信息获取方法可用一个简单的网络结构实现，即可以通过使用一个新型的循环卷积网络来深入获取。也就是说，在相邻的尺度上，上下文信息可以被选择性地引入到当前的注意力图中。可采用最新的融合方式，能被表示为如下和的形式或者可以表示为级联形式其中和分别为实现注意力图上采样和下采样的网络参数，上采样通过半像素卷积或反卷积实现，下采样通过步长为2的卷积实现，Concate为级联操作，Wk将级联结果返回成通道数为1的注意力图。在实验中，我们发现采取级联方式的效果更好。与特征组合方法相比，本专利技术方法应用在本文档来自技高网...

【技术保护点】
1.一种基于多尺度循环注意力网络的交通标识符检测方法，其特征在于，该方法包括以下步骤：(1)构建交通标识符检测模型：所述交通标识符检测模型由用于图像特征提取的卷积神经网络特征提取模型和用于提高小目标检测精度的多尺度循环注意力网络模型复合而成；所述卷积神经网络特征提取模型的构建方法如下：使用深层残差网络提取原始图像的初始特征并输入编解码器；编解码器的编码器部分实现下采样、解码器部分实现上采样，通过上、下采样得到不同尺度的特征图Xk，通过残差学习得到每个尺度下的特征；所述多尺度循环注意力网络模型构建方法如下：使用通道数为1、卷积核为1×1的卷积层，对该尺度下的特征进行卷积操作，得到每个尺度的初始注意力图；通过卷积操作分别获得当前尺度初始注意力图

【技术特征摘要】
1.一种基于多尺度循环注意力网络的交通标识符检测方法，其特征在于，该方法包括以下步骤：(1)构建交通标识符检测模型：所述交通标识符检测模型由用于图像特征提取的卷积神经网络特征提取模型和用于提高小目标检测精度的多尺度循环注意力网络模型复合而成；所述卷积神经网络特征提取模型的构建方法如下：使用深层残差网络提取原始图像的初始特征并输入编解码器；编解码器的编码器部分实现下采样、解码器部分实现上采样，通过上、下采样得到不同尺度的特征图Xk，通过残差学习得到每个尺度下的特征；所述多尺度循环注意力网络模型构建方法如下：使用通道数为1、卷积核为1×1的卷积层，对该尺度下的特征进行卷积操作，得到每个尺度的初始注意力图；通过卷积操作分别获得当前尺度初始注意力图的上采样注意力图和下采样注意力图将下采样注意力图初始注意力图和上采样注意力图进行级联，使用通道数为1、卷积核为1×1的卷积层对级联结果进行卷积操作，获得新的当前尺度的非标准化注意力图将非标准化注意力图归一化到0-1之间，得到标准化注意力图循环上述操作，在每次循环开始时，将上一轮循环得到的标准化注意力图作为该轮循环的初始注意力图直到获得的注意力图目标区域与原始图像目标区域的误差小于设定门限，再将每个尺度的最终注意力图的通道数扩张到该尺度下的卷积特征大小，再与该卷积特征进行Hadamard乘积得到该尺度的环境上下文特征，将所有尺度的环境上下文特征加和，从而得到该原始图像的环境上下文特征c；建立原始图像的环境上下文特征与感兴趣目标外接框的映射关系；(2)得到检测结果：利用合格的训练样本对所述的交通标识符检测模型进行训练，得到训练好的交通标识符检测模型；测试时将待检测的图像输入训练好的交通标识符检测模型中，得到检测结果。2.如权利要求1所述的基于多尺度循环注意力网络的交通标识符检测方法，其特征在于，所述卷积神经网络特征提取模型的基础网络采用经改进的Resn...

【专利技术属性】
技术研发人员：田彦，王勋，吴佳辰，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：浙江,33