一种用于自动驾驶系统的道路目标识别方法技术方案

本发明专利技术公开了一种用于自动驾驶系统的道路目标识别方法，包括如下步骤：调整输入图片大小；通过主干网络提取图片特征；通过扩张卷积模块进行下采样；基于部分特征图构建特征金字塔结构；在特征金字塔结构和下采样所得的尺度不同的特征图上生成锚框；将图片通过网络得到边界框相对于锚框的偏移值，对其进行解码得到边界框；对这些边界框进行降序排列和非极大值抑制得到最终检测识别结果；在训练部分，利用平滑化的绝对值损失函数和平衡前背景样本类别的加权平均损失函数对该网络进行训练。本发明专利技术显著增大了网络浅层的感受野，满足了识别小目标时对空间分辨率的需求；本发明专利技术充分利用全部的前背景样本来训练网络，具有很好的普适性和广泛的应用前景。

A road target recognition method for automatic driving system

【技术实现步骤摘要】
一种用于自动驾驶系统的道路目标识别方法
本专利技术涉及目标识别
，具体涉及一种用于自动驾驶系统的道路目标识别方法。
技术介绍
目标识别一直是计算机视觉中的一个重要问题，它的主要任务是通过计算，自动完成对一张图片中感兴趣目标的位置和类别的预测。目标识别在很多方面都有着重要的应用，其中就包括自动驾驶技术：在自动驾驶场景下进行行人、车辆、交通标志、交通信号灯等目标的识别，以应对复杂的路况以及突发事件，保证行车安全。特征提取是传统目标识别技术中的关键，特征的质量往往可以很大程度上决定最终目标识别算法性能。不同的任务常常需要对特征有着不同的要求，也因此没有一种万能、通用的特征。而近年来基于深度学习技术的目标识别方法通过训练网络使得模型自主学习特征，使得识别精度大幅度提升，其中包括：基于区域建议的两阶段算法FasterR-CNN，R-FCN等；基于回归的单阶段算法，如YOLO，SSD等。然而，由于实际场景中目标物体的各种形变、尺度变化、姿态变化以及背景光照、角度、天气等复杂的环境因素，目标识别仍是一个具有挑战的任务。现有的目标识别方法在精确性以及实时性方面仍有上升空间。
技术实现思路
专利技术目的：针对现有技术存在的问题，本专利技术的目的是提供一种用于自动驾驶系统的道路目标识别方法，以提高自动驾驶场景下的目标识别的精确性和实时性。技术方案：一种用于自动驾驶系统的道路目标识别方法，包括如下步骤：步骤1、调整输入图片的尺寸，使其适配网络模型；步骤2、采用主干网络提取图片特征；优选的，所述主干网络采用50层残差网络。步骤3、通过扩张卷积模块进行下采样操作；步骤4、利用主干网络和下采样所得特征图构建特征金字塔结构；步骤5、在特征金字塔结构中的特征图和下采样所得的尺度不同的特征图上生成大小比例不同的锚框；步骤6、根据边界框相对于锚框的偏移值，对图片进行解码，得到边界框；步骤7、依照网络预测得分对边界框进行降序排列和非极大值抑制，得到模型预测的目标边界框；步骤8、在训练部分，利用平滑化绝对值损失函数和平衡前背景样本类别的加权平均损失函数的加权和作为损失函数，对步骤1至步骤5所述网络进行训练。进一步的，所述步骤2中，保留50层残差网络的C1、C2、C3、C4层；所述C1层为第一个卷积块的输出特征图，所述C2层为第一组残差块的输出特征图，所述C3层为第二组残差块的输出特征图，所述C4层为第三组残差块的输出特征图。进一步的，所述步骤3中，扩张卷积模块包括3个残差模块，各残差模块包括主路径和副路径；所述主路径依次为：卷积核为1×1的卷积，卷积核为3×3、扩张率为2的扩张卷积，卷积核为1×1的卷积；通道数恒为256，3个卷积之间使用线性整流函数作为激活函数；所述副路径将残差模块输入通过卷积核为1×1的卷积，并和主路径输出做元素级别加法，得到残差模块输出；特征图的大小在扩张卷积模块中保持不变。进一步的，所述步骤3中，下采样操作由连续6个卷积核为3×3、步幅为2的卷积堆叠实现。进一步的，所述步骤4中，所述特征金字塔结构由特征图通过横向连接和双线性插值上采样，自顶向下做特征融合所得。所述特征融合包括连结和元素级别加法两个操作。进一步的，所述步骤5中，按照如下规则生成大小比例不同的锚框：选取7个用于预测的特征图，在其上生成锚框，锚框面积分别设为{322,642,1282,2562,3412,4262,5122}，在每个特征图上以每个像素点为中心生成锚框，锚框宽高比设置为{1:2,1:1,2:1}，而对于每种宽高比的锚框，设置其大小为{20,21/3,22/3}。所述步骤8中，损失函数L(x,c,l,g)为：式中，Lloc为平滑化绝对值损失函数，Lconf为平衡前背景样本类别的加权平均损失函数；所述Lloc为：其中，i为预测框序号；j为真实框序号；p为类别序号，p＝0表示背景；表示第i个预测框和第j个真实框关于类别k是否匹配；所述smoothL1为：为预测框位置信息，为真实框相对于锚框的编码位置信息，二者都由框的中心点横坐标cx、纵坐标cy、框的宽w、高h所确定；所述Lconf为：其中，为预测框关于类别的置信度。有益效果：与现有技术相比，本专利技术具有如下显著进步：1、本专利技术属于单阶段目标识别算法，且采用层数适中的残差网络作为主干网络，在提升精度的同时依然保持相对高的识别速度，满足自动驾驶场景实际需求。2、本专利技术的网络中采用了扩张卷积，增大了网络浅层的感受野，满足了识别小目标时对空间分辨率的需求。3、本专利技术采用了特征融合结构，将高层抽象出的丰富的语义信息融合到浅层网络中，使得该方法对小目标的识别效果更好，使得车辆可以在离目标较远时就对路况做出判断。4、本专利技术在训练网络时，设计了一种平衡前背景样本类别的加权平均损失函数，使得训练能够充分利用全部的正样本和负样本，因而整体精度更高，满足复杂路况时的目标识别需求。附图说明图1为本专利技术实施例的模型示意图；图2为本专利技术方法模型中的扩张模块的基本构成单元示意图；图3(a)为标准卷积示意图；图3(b)为本专利技术方法模型中的扩张卷积示意图。具体实施方式下面结合附图和具体实施例，对本专利技术的技术方案及实现过程做进一步阐明。如图1所示，本专利技术提供一种用于自动驾驶系统的道路目标识别方法，包括如下步骤：1、对输入的图片数据，为适配网络模型对输入尺寸的要求并满足对识别精度的需求，调整其大小到512×512像素。2、将图片通过主干网络提取特征，主干网络采用50层残差网络，只保留其中的C1、C2、C3、C4层，它们分别为50层残差网络中第一个卷积块的输出特征图，第一组残差块的输出特征图，第二组残差块的输出特征图，第三组残差块的输出特征图；定义C3、C4层输出的特征图为P3、P4，以此类推。3、在步骤2主干网络之后连接扩张卷积模块并进行一系列下采样。具体的，扩张卷积模块由3个残差模块构成，每个残差模块分为两条路径；主路径依次是，卷积核为1×1的卷积，卷积核为3×3、扩张率为2的扩张卷积，以及卷积核为1×1的卷积，并保持通道数恒为256，3个卷积之间使用线性整流函数作为激活函数，副路径将残差模块输入通过卷积核为1×1的卷积并和主路径输出做元素级别加法得到残差模块输出，特征图大小(空间分辨率)在此模块保持不变，其中扩张卷积的具体操为：如果卷积核的大小为k×k，那么在扩张率为r时，需要在卷积核中插入r-1个零值。卷积核的尺寸将扩大为ke：ke＝k+(k-1)(r-1)其后的一系列下采样操作由连续6个卷积核为3×3、步幅为2的卷积堆叠串联实现；4、利用步骤2的主干网络和步骤3下采样所得一部分特征图构建特征金字塔结构，即将主干网络中的C3和C4层以及下采样得到的C4_post和P5_prev层通过横向连接和双线性插值上采样，自顶向下做特征融合所得；其中，C4_post表示扩张模块的输出特征图，P5_prev表示由C4_post下采样得到的特征图。特征融合由连结和元素级别加法两个操作完成，以两路输入为例，假设输入的通道分别为Xi和Yi(1≤i≤c，c为通道数)，连结操作的单个输出通道Zconcat为：元素级别加法操作的单个输出通道Zadd为：最后再采用3×3卷积核对每个融合结果进行卷积消除上采样的混叠效应。5、在步骤4特征金字塔结构中的特征图本文档来自技高网...

【技术保护点】
1.一种用于自动驾驶系统的道路目标识别方法，其特征在于，包括如下步骤：步骤1、调整输入图片的尺寸，使其适配网络模型；步骤2、采用主干网络提取图片特征；步骤3、通过扩张卷积模块进行下采样操作；步骤4、利用主干网络和下采样所得特征图构建特征金字塔结构；步骤5、在特征金字塔结构中的特征图和下采样所得的尺度不同的特征图上生成大小比例不同的锚框；步骤6、根据边界框相对于锚框的偏移值，对图片进行解码，得到边界框；步骤7、依照网络预测得分对边界框进行降序排列和非极大值抑制，得到模型预测的目标边界框；步骤8、在训练部分，利用平滑化绝对值损失函数和平衡前背景样本类别的加权平均损失函数的加权和作为损失函数，对步骤1至步骤5所述网络进行训练。

【技术特征摘要】
1.一种用于自动驾驶系统的道路目标识别方法，其特征在于，包括如下步骤：步骤1、调整输入图片的尺寸，使其适配网络模型；步骤2、采用主干网络提取图片特征；步骤3、通过扩张卷积模块进行下采样操作；步骤4、利用主干网络和下采样所得特征图构建特征金字塔结构；步骤5、在特征金字塔结构中的特征图和下采样所得的尺度不同的特征图上生成大小比例不同的锚框；步骤6、根据边界框相对于锚框的偏移值，对图片进行解码，得到边界框；步骤7、依照网络预测得分对边界框进行降序排列和非极大值抑制，得到模型预测的目标边界框；步骤8、在训练部分，利用平滑化绝对值损失函数和平衡前背景样本类别的加权平均损失函数的加权和作为损失函数，对步骤1至步骤5所述网络进行训练。2.根据权利要求1所述的用于自动驾驶系统的道路目标识别方法，其特征在于：所述步骤2中，所述主干网络采用50层残差网络。3.根据权利要求2所述的用于自动驾驶系统的道路目标识别方法，其特征在于：保留50层残差网络的C1、C2、C3、C4层；所述C1层为第一个卷积块的输出特征图，所述C2层为第一组残差块的输出特征图，所述C3层为第二组残差块的输出特征图，所述C4层为第三组残差块的输出特征图。4.根据权利要求1所述的用于自动驾驶系统的道路目标识别方法，其特征在于：所述步骤3中，扩张卷积模块包括3个残差模块，各残差模块包括主路径和副路径；所述主路径依次为：卷积核为1×1的卷积，卷积核为3×3、扩张率为2的扩张卷积，卷积核为1×1的卷积；通道数恒为256，3个卷积之间使用线性整流函数作为激活函数；所述副路径将残差模块输入通过卷积核为1×1的卷积，并和主路径输出做元素级别加法，得到残差...

【专利技术属性】
技术研发人员：徐小龙，赵家瀚，朱曼，李洋，柳林青，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32