一种基于多任务神经网络的汽车可行驶区域规划方法技术

本发明专利技术请求保护一种基于多任务神经网络的汽车可行驶区域规划方法，涉及深度学习、计算机视觉、辅助驾驶、图像处理等领域。首先本发明专利技术基于硬参数共享机制构建具有语义分割与目标检测两种功能的轻量级多任务神经网络；其次根据网络输出格式，制作训练集与构建相应的损失函数数学模型；再次对网络进行训练，使用本发明专利技术提出的损失函数数学模型进行反向传播优化网络参数；最后将多任务神经网络应用于汽车可行驶区域规划中。本发明专利技术的多任务神经网络不但具有车道分割功能，还具有车辆、行人检测功能，通过单目测距可以起到汽车防碰撞预警功能，减少汽车发生碰撞的概率。减少汽车发生碰撞的概率。减少汽车发生碰撞的概率。

【技术实现步骤摘要】
一种基于多任务神经网络的汽车可行驶区域规划方法


[0001]本专利技术属于深度学习、计算机视觉、辅助驾驶、图像处理等领域，具体涉及一种应用于汽车可行驶区域规划的多任务神经网络。

技术介绍

[0002]随着深度学习的发展，自动驾驶技术越来越成熟，一些公司已经生产出部分自动驾驶汽车，并上路测试，然而自动驾驶在环境感知领域仍然存在一些问题。自动驾驶中的环境感知需要分割车道并判断哪条车道为可行驶车道，以及检测前方车辆和行人等目标，防止发生碰撞。分割车道与检测目标属于两种不同的功能，分别是语义分割与目标检测。在车载芯片中同时运行语义分割与目标检测神经网络，会消耗车载芯片大量的计算资源，并对其他功能产生影响。
[0003]综上所述，现有技术存在的问题是：多种神经网络同时运行在一块车载芯片中，会对芯片产生极大的负荷并消耗大量的计算资源。
[0004]解决上述技术问题的难题：
[0005]根据现有的轻量级神经网络，构建出一种轻量级并包含语义分割和目标检测功能的多任务神经网络。
[0006]与本专利技术最接近的是对比文件CN1111178253A，本申请涉及一种自动驾驶的视觉感知方法、装置、计算机设备和存储介质所述方法包括：获取采集的视觉感知图像；将所述视觉感知图像输入训练好的多任务神经网络的主干网络，通过所述主干网络提取所述视觉感知图像的共享特征，得到共享特征图；将所述共享特征图分别输入所述多任务神经网络中的各分支网络，各所述分支网络基于所述共享特征图分别进行对应的任务的分类，输出相应任务的分类结果；根据预设视觉感知目标，提取对应任务的分类结果进行融合，得到视觉感知结果，所述视觉感知结果包括车道线信息、路面标志信息、通行区域路况信息和路面障碍物信息中的至少一种。采用本方法能够提高视觉感知的精度。
[0007]首先，文件CN1111178253A对应用在自动驾驶上的多任务神经网络只是一个笼统的概括性介绍，在他文件中的一些步骤流程，都是一些很宽泛的概括性流程，并不具有指导意义和现实意义；然后，应该选用何种网络，以及多网络之间如何组合连接也没有提交描述；其次，损失函数如何构建，选用什么损失函数也没有描述，也是一个简单线性加权求和；最后在文件CN1111178253A中提及的多任务神经网络，具有过多的任务分支，过多的任务分支会造成两点问题：1.难以训练，每个任务之间都有自己的独有属性，如果只使用简单的线性加权求和损失函数，个人任务网络并不能训练成功；2.参数过多，任务分支多，总网络的参数量就会增加，计算量相应也会增加，这样网络的计算速度就会非常慢，就无法达到实时要求，不具有实用价值，例如mask-rcnn，该网络仅具有两个任务分支，网络的检测速度就比较慢啦。
[0008]首先，本专利技术中的多任务神经网络，具有详细的网络结构图，可以复现，检测精度经过试验验证，可以达到辅助驾驶要求；其次本专利技术中的多任务神经网络速度很快，经过试
验验证可以达到20FPS以上，可以满足辅助驾驶的需求；然后，本文是基于YOLO网络并结合DenseNet与PSPNet网络进行改进的；最后本专利技术为了使网络能够快速收敛，特提出一种新的损失函数，经过试验验证可以有效加快网络收敛速度。

技术实现思路

[0009]本专利技术旨在解决以上现有技术的问题。提出了一种基于多任务神经网络的汽车可行驶区域规划方法。本专利技术的技术方案如下：
[0010]一种基于多任务神经网络的汽车可行驶区域规划方法，其包括以下步骤：
[0011]步骤1，构建具有语义分割与目标检测两种功能的轻量级多任务神经网络，包括：基于硬参数共享机制构建轻量级多任务神经网络任务共享层；构建多尺度目标检测特定层；基于金字塔池化模型构建语义分割特定层；
[0012]步骤2，根据轻量级多任务神经网络输出格式，制作训练集；
[0013]步骤3，构建多任务神经网络损失函数数学模型；
[0014]步骤4，将多任务神经网络应用于汽车可行驶区域规划中，将多任务神经网络模型部署至车载嵌入式平台中，在嵌入式平台中运行模型检测汽车前方车辆、行人，并分割车道，将检测到的信息发送至嵌入式平台控制中心，多任务神经网络模型分割车道，会将当前汽车所在车道和汽车旁边虚线分割车道检测出来，在图片中会用不同颜色显示，有颜色显示的区域都是可行驶区域，颜色是人为设定的，利用实验者和驾驶者观察，实际中这些有颜色显示的区域在计算机中的像素值都是像素值为1或2.。
[0015]进一步的，所述步骤1构建具有语义分割与目标检测两种功能的轻量级多任务神经网络，具体包括以下子步骤：
[0016]步骤1.1：基于硬参数共享机制构建轻量级多任务神经网络任务共享层，硬参数共享机制：网络中多个任务分支共享一个主干网络，即一个主干网络提取的图像特征传给多个任务分支；软参数共享机制：每个任务分支使用一个主干网络，然后使用算法将各个主干网络关联起来，该任务共享层结合DenseNet密集连接结构与跨级局部网络CSPNet的CSP残差结构：网络输入的是相机拍摄的一帧帧图片，图片中包含各种东西，本文所述网络的功能就是检测相机拍摄图片中的车辆，行人，任务共享层每次下采样，特征图尺寸就会下降一半，经过多次下采样，特征图的尺寸也会有多次下降一半，这些特征图叠在一起看起来就像一个金字塔；
[0017]步骤1.2：基于FPN特征金字塔网络方法，构建多尺度目标检测特定层；
[0018]步骤1.3：基于金字塔池化模型构建语义分割特定层，并使用双线性插值法对特征图进行上采样，使采样后的尺寸与网络输入尺寸相同。
[0019]进一步的，所述任务共享层共分为7层，从上到下分别是CBL层、CBL层、CSP层、CSP层、DCB、CSP层、CBL层，其中CBL层包括卷积层-批量归一化层-激活函数层；CSP层是一个残差结构，在ResNet的残差块外部再连接一条大的残差边，DCB层是DenseNet网络中的密集连接结构。
[0020]进一步的，所述步骤2根据轻量级多任务神经网络输出格式，制作训练集，具体包括以下子步骤：
[0021]步骤2.1：根据多任务神经网络输出，将训练集标签分为两类：用于目标检测的VOC
格式标签，用于语义分割的掩码格式标签；
[0022]步骤2.2：使用LabelImg与Labelme工具分别对同一张图片进行标注，然后生成.xml文件与单通道的.png灰度图，在灰度图中，不可行驶区域像素值为0，当前车道像素值为1，旁边可行驶车道像素值为2，使用K-means聚类算法，对所有的数据集中车辆，行人等预设目标尺寸进行聚类，生成5种尺寸的矩形框，按降序排列，其中前3种尺寸的矩形框作为目标检测特定层输出尺寸为13
×
13的特征图的默认框；其中后3种尺寸的矩形框作为目标检测特定层输出尺寸为26
×
26的特征图的默认框；目标检测特定层最后使用逻辑回归，从3个默认框中寻找置信度最高的那个，它就是输出最接近真实目标的默认框边界。
[0023]进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务神经网络的汽车可行驶区域规划方法，其特征在于，包括以下步骤：步骤1，构建具有语义分割与目标检测两种功能的轻量级多任务神经网络，包括：基于硬参数共享机制构建轻量级多任务神经网络任务共享层；构建多尺度目标检测特定层；基于金字塔池化模型构建语义分割特定层；步骤2，根据轻量级多任务神经网络输出格式，制作训练集；步骤3，构建多任务神经网络损失函数数学模型；步骤4，将多任务神经网络应用于汽车可行驶区域规划中，将多任务神经网络模型部署至车载嵌入式平台中，在嵌入式平台中运行模型检测汽车前方车辆、行人，并分割车道，将检测到的信息发送至嵌入式平台控制中心，多任务神经网络模型分割车道，会将当前汽车所在车道和汽车旁边虚线分割车道检测出来，在图片中会用不同颜色显示，有颜色显示的区域都是可行驶区域，颜色是人为设定的，利用实验者和驾驶者观察，实际中这些有颜色显示的区域在计算机中的像素值都是像素值为1或2。2.根据权利要求1所述的一种基于多任务神经网络的汽车可行驶区域规划方法，其特征在于，所述步骤1构建具有语义分割与目标检测两种功能的轻量级多任务神经网络，具体包括以下子步骤：步骤1.1：基于硬参数共享机制构建轻量级多任务神经网络任务共享层，硬参数共享机制：网络中多个任务分支共享一个主干网络，即一个主干网络提取的图像特征传给多个任务分支；软参数共享机制：每个任务分支使用一个主干网络，然后使用算法将各个主干网络关联起来，该任务共享层结合DenseNet密集连接结构与跨级局部网络CSPNet的CSP残差结构：网络输入的是相机拍摄的一帧帧图片，图片中包含各种东西，本文所述网络的功能就是检测相机拍摄图片中的车辆，行人，任务共享层每次下采样，特征图尺寸就会下降一半，经过多次下采样，特征图的尺寸也会有多次下降一半，这些特征图叠在一起看起来就像一个金字塔；步骤1.2：基于FPN特征金字塔网络方法，构建多尺度目标检测特定层；步骤1.3：基于金字塔池化模型构建语义分割特定层，并使用双线性插值法对特征图进行上采样，使采样后的尺寸与网络输入尺寸相同。3.根据权利要求2所述的一种基于多任务神经网络的汽车可行驶区域规划方法，其特征在于，所述任务共享层共分为7层，从上到下分别是CBL层、CBL层、CSP层、CSP层、DCB、CSP层、CBL层，其中CBL层包括卷积层-批量归一化层-激活函数层；CSP层是一个残差结构，在ResNet的残差块外部再连接一条大的残差边，DCB层是DenseNet网络中的密集连接结构。4.根据权利要求1所述的一种基于多任务神经网络的汽车可行驶区域规划方法，其特征在于，所述步骤2根据轻量级多任务神经网络输出格式，制作训练集，具体包括以下子步骤：步骤2.1：根据多任务神经网络输出，将训练集标签分为两类：用于目标检测的VOC格式标签，用于语义分割的掩码格式标签；步骤2.2：使用LabelIm...

【专利技术属性】
技术研发人员：冯明驰，卜川夏，高小倩，王字朋，王鑫，刘景林，孙博望，岑明，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：