一种车辆自动驾驶的障碍物识别方法技术

本发明专利技术提出一种车辆自动驾驶的障碍物识别方法，通过包括点云分支、图像分支、第一融合模块、第二融合模块以及检测头的双分支融合检测网络进行障碍物识别，通过第一融合模块，将点云特征与图像特征进行融合，有效提升了障碍物识别的效率以及准确性，通过第二融合模块，再一次将点云特征与图像特征进行融合，有效提升了障碍物检测的三维信息精确性。升了障碍物检测的三维信息精确性。升了障碍物检测的三维信息精确性。

【技术实现步骤摘要】
一种车辆自动驾驶的障碍物识别方法


[0001]本专利技术属于自动驾驶领域，尤其涉及一种车辆自动驾驶的障碍物识别方法。

技术介绍

[0002]自动驾驶系统需要在无人指挥的情况下感知周围环境，判断障碍物并作出反应策略，环境感知作为自动驾驶最关键的一环，是确保自动驾驶车辆对交通环境充分理解的关键步骤。
[0003]目前在汽车感知领域，主要有两大方向，一个是图像，一个是三维空间。摄像头的优点很多，比如擅长对车辆、行人、速度标志等物体进行分类，是唯一能够解释二维信息的传感器，例如速度标志、车道标记或交通灯。但是缺陷也非常明显，首先摄像头呈现的图片是二维的，摄像头无法可靠的测量距离和位置数据，而汽车行驶的空间是三维的。另外，最为关键的问题是摄像头严重依赖于光线，限制了使用场景以及天气。
[0004]因此，传感器融合技术应用而生，传感器融合技术就是将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述周围环境，因此，本专利技术使用雷达和相机两种传感器采集的信息进行融合，高速场景使用激光雷达和相机两种传感器采集信息进行融合，能够提高检测精度，将高速环境下的自动驾驶车辆前方障碍物检测方法研究速环境下精准、即时的前方车辆数据信息提供给车辆的自动驾驶系统，对于自动驾驶系统能否做出正确决策与控制以保证车辆的安全驾驶有重要意义。然而，目前的融合技术计算量较大，且检测目标的结果不准确，无法在自动驾驶过程中，实时、准确的进行障碍物的识别。

技术实现思路

[0005]本专利技术的目的在于解决上述现有技术中无法实时、准确的进行障碍物的识别的难题，提供一种车辆自动驾驶的障碍物识别方法，以达到实时、准确的进行障碍物的识别的效果。
[0006]本专利技术提供一种车辆自动驾驶的障碍物识别方法，所述方法包括：S1，通过工业相机以及激光雷达采集图像数据以及激光雷达点云数据；S2，对所述图像数据以及激光雷达点云数据进行预处理；S3，将图像数据与激光雷达点云数据进行时间对准；S4，将对准后的图像数据与激光雷达点云数据输入双分支融合检测网络进行障碍物检测，得到障碍物的检测结果；所述双分支融合检测网络包括点云分支、图像分支、第一融合模块、第二融合模块以及检测头，所述点云分支用于提取点云特征，所述图像分支用于提取图像特征，所述第一融合模块以及所述第二融合模块用于特征融合，所述检测头用于生成障碍物的检测结果。
[0007]进一步的，所述点云分支包括输入层、四个串行连接的Set Abstraction模块、四个串行连接的Feature Propogation模块，所述Set Abstraction模块生成的特征表示为SA
i
，所述Feature Propogation模块生成的特征表示为FP
i
，i=1,2,3,4。
[0008]进一步的，所述图像分支包括输入层、四个串行连接的图像特征提取块，所述图像特征提取块生成的特征表示为F
i
，所述图像特征提取块包括卷积块、逐元素相加操作，四个卷积块生成的特征表示为F
i
’
，
i=1,2,3,4,将所述SA
i
与F
i
’
输入所述第一融合模块，将所述F
i
’
与所述第一融合模块的输出通过逐元素相加操作得到F
i
，将所述F
1、
F
2、
F
3、
F4进行融合，得到融合之后的特征F。
[0009]进一步的，所述卷积块包括第一卷积层、BN层、Relu、第二卷积层、BN层、Relu。
[0010]进一步的，所述第一融合模块包括：将SA
i
与映射矩阵M输入点云特征转换模块，生成经过转换之后的特征SA
i
’
，将SA
i
’
与F
i
’
输入融合特征生成模块，将所述融合特征生成模块的输出作为第一融合模块的输出，表示为：
[0011]其中，S()表示sigmoid激活函数，Gap()表示全局平均池化；所述映射矩阵M为通过将激光雷达点云数据映射到图像数据而生成的。
[0012]进一步的，所述将所述F
i
’
与所述第一融合模块的输出通过逐元素相加操作得到F
i
表示为：。
[0013]进一步的，所述双分支融合检测网络还包括将所述融合之后的特征F以及FP4输入到第二融合模块进行特征融合，并将融合之后的特征输入到检测头得到障碍物检测结果。
[0014]本专利技术与现有技术相比存在的有益效果是：本专利技术提供了一种车辆自动驾驶的障碍物识别方法，通过包括点云分支、图像分支、第一融合模块、第二融合模块以及检测头的双分支融合检测网络进行障碍物识别，通过第一融合模块，将点云特征与图像特征进行融合，有效提升了障碍物识别的效率以及准确性，通过第二融合模块，再一次将点云特征与图像特征进行融合，有效提升了障碍物检测的三维信息精确性。
附图说明
[0015]为了更清楚的说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术中描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一种实施方式，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为一种车辆自动驾驶的障碍物识别方法的流程图；图2为一种双分支融合检测网络的结构图。
具体实施方式
[0017]为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面对本专利技术具体实施方式中的技术方案进行清楚、完整的描述，以进一步阐述本专利技术，显然，所描述的具体实施方式仅仅是本专利技术的一部分实施方式，而不是全部的样式。
[0018]下面结合附图对本专利技术作进一步详细描述：如附图1所示，为了解决现有技术中无法实时、准确的进行障碍物的识别的难题，本专利技术提供一种车辆自动驾驶的障碍物识别方法，以达到实时、准确的进行障碍物的识别的效果。
[0019]所述方法包括：S1，通过工业相机以及激光雷达采集图像数据以及激光雷达点云数据；S2，对所述图像数据以及激光雷达点云数据进行预处理；S3，将图像数据与激光雷达点云数据进行时间对准；S4，将对准后的图像数据与激光雷达点云数据输入双分支融合检测网络进行障碍物检测，得到障碍物的检测结果；所述双分支融合检测网络包括点云分支、图像分支、第一融合模块、第二融合模块以及检测头，所述点云分支用于提取点云特征，所述图像分支用于提取图像特征，所述第一融合模块以及所述第二融合模块用于特征融合，所述检测头用于生成障碍物的检测结果。
[0020]如附图2所示，进一步的，所述点云分支包括输入层、四个串行连接的Set Abstraction模块、四个串行连接的Feature Propogation模块，所述Set Abstraction模块生成的特征表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆自动驾驶的障碍物识别方法，其特征在于，所述方法包括：S1，通过工业相机以及激光雷达采集图像数据以及激光雷达点云数据；S2，对所述图像数据以及激光雷达点云数据进行预处理；S3，将图像数据与激光雷达点云数据进行时间对准；S4，将对准后的图像数据与激光雷达点云数据输入双分支融合检测网络进行障碍物检测，得到障碍物的检测结果；所述双分支融合检测网络包括点云分支、图像分支、第一融合模块、第二融合模块以及检测头，所述点云分支用于提取点云特征，所述图像分支用于提取图像特征，所述第一融合模块以及所述第二融合模块用于特征融合，所述检测头用于生成障碍物检测结果。2.根据权利要求1所述的一种车辆自动驾驶的障碍物识别方法，其特征在于，所述点云分支包括输入层、四个串行连接的Set Abstraction模块、四个串行连接的Feature Propogation模块，所述Set Abstraction模块生成的特征表示为SA
i
，所述Feature Propogation模块生成的特征表示为FP
i
，i=1,2,3,4。3.根据权利要求2所述的一种车辆自动驾驶的障碍物识别方法，其特征在于，所述图像分支包括输入层、四个串行连接的图像特征提取块，所述图像特征提取块生成的特征表示为F
i
，所述图像特征提取块包括卷积块、逐元素相加操作，四个卷积块生成的特征表示为F
i
’
，
将所述SA
i
与F
i
’
输入所述第一融合模块，将所述F

【专利技术属性】
技术研发人员：马琼琼，单萍，沈亮，马列，
申请(专利权)人：江苏天一航空工业股份有限公司，
类型：发明
国别省市：