基于自适应多尺度特征融合的路面交通标志检测方法技术

本发明专利技术公开了一种基于自适应多尺度特征融合的路面交通标志检测方法，用于解决现有路面交通标志检测方法的技术问题。技术方案是将图片分批次输入到深度卷积神经网络中，得到深度卷积特征；感兴趣区域提取网络根据最后一层深度卷积特征计算生成可能包含路面交通标志的区域；将感兴趣区域输入到多层特征提取模块得到每个感兴趣区域对应的多尺度卷积特征；将每一个感兴趣区域的多尺度卷积特征独立地输入到反向连接重加权模块得到最有利于当前感兴趣区域检测的多尺度融合特征；将计算得到的多尺度融合特征输入到边框回归器和类别分类器得到边框坐标和类别信息。由于利用深度卷积神经网络提取多尺度特征，提高了路面交通标志检测的准确性，实用性好。

Road traffic sign detection method based on adaptive multi-scale feature fusion

【技术实现步骤摘要】
基于自适应多尺度特征融合的路面交通标志检测方法
本专利技术涉及一种路面交通标志检测方法，特别涉及一种基于自适应多尺度特征融合的路面交通标志检测方法。
技术介绍
在现代社会中，汽车越来越成为人们日常生活中不可或缺的出行工具。然而汽车在给人们生活提供了很多便利的同时，随着汽车数量的持续爆炸性增加，也产生了一系列问题，如拥挤的道路、恶劣的空气、频繁发生的交通事故等等。在这些问题中，交通事故已经成为威胁人们生命安全的重要因素之一。随着科技的进步，智能交通成为人们探索可能解决频繁发生交通事故问题的重要领域。近年来越来越多高科技公司和研究人员试图通过计算机视觉相关技术实现车辆的智能感知，以此来实现高级辅助驾驶和无人驾驶汽车。在智能驾驶领域，交通标志、行人、车辆是重要的检测对象，对车辆能够实现按照交通规则行驶和成功避障具有重要意义。路面交通标志是指画在道路上的指示标志，它们提供了重要的交通导航信息。已有的路面交通标志检测方法可以分为两大类：基于传统的图像处理和机器学习方法和基于深度学习的检测方法。前者主要依靠人工设计的特征和传统的机器学习分类方法实现路面标志的检测，该类方法不仅计算步骤繁琐而且检测性能低下，泛化能力不足。后者主要依靠深度神经网络从大量的数据中学习得到鲁棒的特征表达，进而实现优良的检测性能。已有的基于深度学习的路面交通标志检测方法有朱等人在专利“路面交通标志检测与识别方法，CN106372571A，中国”中使用的Ren等人在文献“ShaoqingRen,KaimingHe,RossGirshick,andJianSun.Fasterr-cnn:Towardsrealtimeobjectdetectionwithregionproposalnetworks.InAdvancesinneuralinformationprocessingsystems,pages91–99,2015.”中提出的FasterRCNN方法，和刘等人在专利“一种基于SSD的路面交通标志识别方法，CN108416283A，中国”中使用的Liu等人在文献“WeiLiu,DragomirAnguelov,DumitruErhan,ChristianSzegedy,ScottReed,Cheng-YangFu,andAlexanderCBerg.Ssd:Singleshotmultiboxdetector.InEuropeanconferenceoncomputervision,pages21–37.Springer,2016.”中提出的SSD方法。对于尺度和形状变化剧烈的路面交通标志检测来说，以上两种方法提取的卷积特征多尺度表达能力弱，没有充分挖掘卷积网络的多尺度特征，不利于多尺度路面交通标志的检测。
技术实现思路
为了克服现有路面交通标志检测方法实用性差的不足，本专利技术提供一种基于自适应多尺度特征融合的路面交通标志检测方法。该方法将图片分批次输入到深度卷积神经网络中，计算相应批次的卷积特征，得到深度卷积特征；感兴趣区域提取网络根据最后一层深度卷积特征计算生成可能包含路面交通标志的区域；将感兴趣区域输入到多层特征提取模块得到每个感兴趣区域对应的多尺度卷积特征；将每一个感兴趣区域的多尺度卷积特征独立地输入到反向连接重加权模块得到最有利于当前感兴趣区域检测的多尺度融合特征；将计算得到的多尺度融合特征输入到边框回归器和类别分类器得到边框坐标和类别信息。由于利用深度卷积神经网络提取多尺度特征，提高了路面交通标志检测的准确性，实用性好。本专利技术解决其技术问题所采用的技术方案：一种基于自适应多尺度特征融合的路面交通标志检测方法，其特点是包括以下步骤：步骤一、将图片分批次输入到深度卷积神经网络中，计算相应批次的卷积特征，得到深度卷积特征。步骤二、感兴趣区域提取网络根据最后一层深度卷积特征计算生成可能包含路面交通标志的感兴趣区域。步骤三、将步骤二得到的感兴趣区域输入到多层特征提取模块中，得到每个感兴趣区域对应的多尺度卷积特征。多层特征提取模块计算方法表示为：ROI_feats＝MLPool([C5,C4,C3],ROIs)，其中，C5,C4,C3表示深度卷积网络中最后三层不同尺度的卷积特征，ROIs表示感兴趣区域，ROI_feats表示计算得到的多尺度卷积特征。MLPool表示多层特征提取计算方法。对于每一个感兴趣区域每一层卷积特征，都依次进行感兴趣区域池化、L2范数标准化、尺度缩放，最终将不同层的特征在通道维度上进行合并，得到多尺度卷积特征。步骤四、将步骤三得到的多尺度卷积特征输入到反向连接重加权模块，根据每个感兴趣区域的特征自适应地生成属于当前感兴趣区域的多尺度特征分布权重，使用该权重对特征进行重加权得到独特的多尺度融合特征。该感兴趣区域的多尺度特征ROI_feats通过两个全连接层得到反向连接特征向量F,将ROI_feats在通道维度上拉成向量U，再经过以下注意力模型的计算得到多尺度特征分布权重，通过对特征重加权得到最后的多尺度融合特征。weight＝softmax(Waa+ba),其中，Wu,Wf,Wa,bu,ba是可通过网络学习的模型参数，a是中间结果，weight是生成的权重向量，β是用于恢复特征响应尺度的缩放因子，reweighted_ROI_feats是模块输出的多尺度融合特征，tanh,softmax分别表示双曲正切激活函数和软最大值激活函数。分别表示元素相加计算和元素相乘计算。步骤五、对于每一个感兴趣区域，将步骤四得到的多尺度融合特征重新输入到两个全连接层后连接最后的两个输出层：边框回归层和类别分类层，得到最终的边框坐标和类别信息。本专利技术的有益效果是：该方法将图片分批次输入到深度卷积神经网络中，计算相应批次的卷积特征，得到深度卷积特征；感兴趣区域提取网络根据最后一层深度卷积特征计算生成可能包含路面交通标志的区域；将感兴趣区域输入到多层特征提取模块得到每个感兴趣区域对应的多尺度卷积特征；将每一个感兴趣区域的多尺度卷积特征独立地输入到反向连接重加权模块得到最有利于当前感兴趣区域检测的多尺度融合特征；将计算得到的多尺度融合特征输入到边框回归器和类别分类器得到边框坐标和类别信息。由于利用深度卷积神经网络提取多尺度特征，提高了路面交通标志检测的准确性，实用性好。下面结合附图和具体实施方式对本专利技术作详细说明。附图说明图1是本专利技术基于自适应多尺度特征融合的路面交通标志检测方法的流程图。图2是本专利技术方法实施例采用的多层特征提取模块图。图3是本专利技术方法实施例采用的反向连接重加权模块图。图4是本专利技术方法实施例检测的13类路面交通标志照片。图5是本专利技术方法实施例的检测效果照片。具体实施方式参照图1-5。本专利技术基于自适应多尺度特征融合的路面交通标志检测方法具体步骤如下：步骤一、计算深度卷积特征。本专利技术采用深度卷积神经网络对自然图像直接进行卷积计算，得到尺度大小不同的多层卷积特征。其中最后一层卷积特征输入到感兴趣区域提取网络，最后三个不同尺度的卷积特征输入到感兴趣区域多层特征提取模块。其中，主干网络可以选择不同的网络结构，本专利技术采用K.Simonyan等人在文献“K.SimonyanandA.Zisserman.Verydeepconvolutional本文档来自技高网...

【技术保护点】
1.一种基于自适应多尺度特征融合的路面交通标志检测方法，其特征在于包括以下步骤：步骤一、将图片分批次输入到深度卷积神经网络中，计算相应批次的卷积特征，得到深度卷积特征；步骤二、感兴趣区域提取网络根据最后一层深度卷积特征计算生成可能包含路面交通标志的感兴趣区域；步骤三、将步骤二得到的感兴趣区域输入到多层特征提取模块中，得到每个感兴趣区域对应的多尺度卷积特征；多层特征提取模块计算方法表示为：ROI_feats＝MLPool([C5,C4,C3],ROIs)，其中，C5,C4,C3表示深度卷积网络中最后三层不同尺度的卷积特征，ROIs表示感兴趣区域，ROI_feats表示计算得到的多尺度卷积特征；MLPool表示多层特征提取计算方法；对于每一个感兴趣区域每一层卷积特征，都依次进行感兴趣区域池化、L2范数标准化、尺度缩放，最终将不同层的特征在通道维度上进行合并，得到多尺度卷积特征；步骤四、将步骤三得到的多尺度卷积特征输入到反向连接重加权模块，根据每个感兴趣区域的特征自适应地生成属于当前感兴趣区域的多尺度特征分布权重，使用该权重对特征进行重加权得到独特的多尺度融合特征；该感兴趣区域的多尺度特征ROI_feats通过两个全连接层得到反向连接特征向量F,将ROI_feats在通道维度上拉成向量U，再经过以下注意力模型的计算得到多尺度特征分布权重，通过对特征重加权得到最后的多尺度融合特征；...

【技术特征摘要】
1.一种基于自适应多尺度特征融合的路面交通标志检测方法，其特征在于包括以下步骤：步骤一、将图片分批次输入到深度卷积神经网络中，计算相应批次的卷积特征，得到深度卷积特征；步骤二、感兴趣区域提取网络根据最后一层深度卷积特征计算生成可能包含路面交通标志的感兴趣区域；步骤三、将步骤二得到的感兴趣区域输入到多层特征提取模块中，得到每个感兴趣区域对应的多尺度卷积特征；多层特征提取模块计算方法表示为：ROI_feats＝MLPool([C5,C4,C3],ROIs)，其中，C5,C4,C3表示深度卷积网络中最后三层不同尺度的卷积特征，ROIs表示感兴趣区域，ROI_feats表示计算得到的多尺度卷积特征；MLPool表示多层特征提取计算方法；对于每一个感兴趣区域每一层卷积特征，都依次进行感兴趣区域池化、L2范数标准化、尺度缩放，最终将不同层的特征在通道维度上进行合并，得到多尺度卷积特征；步骤四、将步骤三得到的多尺度卷积特征输入到反向连接重加权模块，根据每个...

【专利技术属性】
技术研发人员：袁媛，王琦，张晓强，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61