一种基于深度学习的实时检测及识别障碍物的方法技术

本发明专利技术涉及计算机识别技术领域，具体涉及一种基于深度学习的实时检测及识别障碍物的方法。本发明专利技术的是通过以下技术方案得以实现的：一种基于深度学习的实时检测及识别障碍物的方法，包含以下步骤：车辆硬件安装步骤；数据采集步骤；数据导入步骤；识别操作步骤。本发明专利技术的目的是提供一种基于深度学习的实时检测及识别障碍物的方法，收集大量实车收集且带标签的数据集，对检测和识别提供了精确的判断依据，识别精准。

A Method of Real-time Detection and Recognition of Obstacles Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的实时检测及识别障碍物的方法
本专利技术涉及计算机识别
，具体涉及一种基于深度学习的实时检测及识别障碍物的方法。
技术介绍
随着人们生活水平的提高，汽车作为常用的代步工具，已经成为了生活必需品之一。在信息行业和智能领域的发展和探索下，汽车的智能化得到了迅速发展。其中，汽车的无人驾驶技术是该领域的重点研究方向。在汽车无人驾驶技术中，检测及识别汽车前进方向的障碍物，是汽车无人驾驶面临的的关键技术问题。已有的技术方案是使用相机拍摄前方的物体，对图片进行处理检测障碍物，或者联合超声波雷达及毫米波雷达，进行数据融合，来判断前方的障碍物。但是这样的技术方案存在着若干缺陷，一方面，存在着识别延时，实时性低；另一方面，识别效果并不理想，输出结果稳定性差；最后，检测范围及距离受到相机等设备的限制。
技术实现思路
本专利技术的目的是提供一种基于深度学习的实时检测及识别障碍物的方法，收集大量实车收集且带标签的数据集，对检测和识别提供了精确的判断依据，识别精准。本专利技术的上述技术目的是通过以下技术方案得以实现的：一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：包含以下步骤：车辆硬件安装步骤：在目标车辆上安装激光雷达；数据采集步骤：收集到激光雷达收集到的物体信息和与之对应的标签信息作为选择数据；深度学习网络模型构建步骤：在该步骤中，构建深度学习网络模型；数据导入步骤：将所述选择数据导入到所述深度学习网络模型，运行所述深度学习网络模型；识别操作步骤：控制所述目标车辆运行，将所述目标车辆上的激光雷达反馈数据作为输入数据，输入到所述深度学习网络模型中，对路面信息进行实时检测及识别。作为本专利技术的优选，所述深度学习网络模型包括依次连接的特征学习网络、中间层网络和区域建议网络；所述的特征学习网络，是深度学习网络模型的前端，用于学习障碍物特征信息；所述中间层网络包含三个网络层，用于提取特征信息并作为下一步的输入；所述区域建议网络，是深度学习网络模型的末端，用于学习障碍物抽象特征信息。作为本专利技术的优选，所述的特征学习网络包括点云数据的分组、特征编码及稀疏张量表示，所述点云数据的分组是将输入点云数据按照指定的三维规格进行剪裁分组；所述点云数据特征编码是将分组后的每个数据组输入全连接层进行特征提取，再经过最大池化层，提取出每个分组内的特征表示；所述稀疏张量表示是将上一步提取的特征表示，整合成一个四维的张量形式。作为本专利技术的优选，所述点云数据特征编码，包括三个全连接层和一个最大池化层；所述全连接层是对每个元素的特征表示；所述最大池化层是对每组元素特征表示的局部聚合。作为本专利技术的优选，所述中间层网络，包括一个卷积层和一个非线性层，用于进一步的特征提取和对下一步学习网络的输入表示。作为本专利技术的优选，所述区域建议网络是改进后不同于普通的目标检测的网络框架；所述区域建议网络包括三个全卷积网络层。作为本专利技术的优选，所述区域建议网络包括三个全卷积网络层，第一个全卷积网络层包含批规范化层和非线性层；第二个全卷积网络层有一个最大池化层和三个卷积层；第三个全卷积网络层有五个卷积层和一个非线性层。作为本专利技术的优选，所述数据采集步骤中采集到的所述选择数据包含带标签信息的数据集，所述带标签信息的数据集为实车采集的行车障碍物，包括车辆，行人，树木。作为本专利技术的优选，在所述数据导入步骤后，在所述识别操作步骤前，还包含模型微调步骤，在该步骤中，用户对模型中的参数权重和模型结构进行调整。综上所述，本专利技术具有如下有益效果：1、本专利技术应用大量实车收集且带标签的数据集，对车辆实时检测及识别障碍物上提供了更为精确的判断依据，模型的精确度高。2、本专利技术使用数据进行了预训练、微调等工作，避免了模型初期训练权值参数的随机初始化而导致的精度问题。3、本专利技术使用了端到端的网络模型，使得模型更智能，能主动学习数据的分布特征。4、本专利技术应用特征学习网络，针对一定范围内的输入数据量，都可以统一编码特征，使得网络应用的广度得到保证。具体实施方式：以下对本专利技术作进一步详细说明。本具体实施例仅仅是对本专利技术的解释，其并不是对本专利技术的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本专利技术的权利要求范围内都受到专利法的保护。实施例1，在目标车辆上安装激光雷达，在车辆行驶过程中，激光雷达可以实时反馈激光雷达所探测到的雷达数据流，数据一般为bin的二进制数据。数据采集步骤，在该步骤中，收集到所有后期放入学习网络模型中的数据，具体的，数据来源于激光雷达公开数据库。此数据库在现有技术中为公开数据库，本领域技术人员可以获取该资源。数据库中的数据包含三维标注物体信息和与之对应的标签信息。三维标注物体信息数据格式一般为bin的二进制数据，而与之对应的标签信息为txt文本，包括不同车辆，不同行人，不同树木等障碍物。这个数据库中的数据截取部分，后期导入到深度学习网络模型中，数据导入的比例可以在35%-45%之间，如选择40%的数据导入。深度学习网络模型构建步骤，深度学习网络模型包括依次连接的特征学习网络、中间层网络和区域建议网络。特征学习网络，是深度学习网络模型的前端，用于学习障碍物特征信息；中间层网络是由三个网络层构成，用于提取特征信息并作为下一步的输入；区域建议网络，是深度学习网络模型的末端，用于学习障碍物抽象特征信息。因数据的复杂程度，为了保证准确度而适当地增加网络框架，分层训练，以到达检测及识别效果，故而设计特征学习网络、中间层网络和区域建议网络。特征学习网络包括点云数据的分组、特征编码及稀疏张量表示。其中，点云数据的分组是将输入点云数据按照一定的三维规格进行剪裁分组；点云数据特征编码是将分组后的每个数据组输入全连接层进行特征提取，再经过最大池化层，提取出每个分组内的特征表示；稀疏张量表示是将上一步提取的特征表示，整合成一个四维的张量形式。点云数据特征编码，包括三个全连接层和一个最大池化层；全连接层是对每个元素的特征表示；最大池化层是对每组元素特征表示的局部聚合。中间层网络，包括一个卷积层和一个非线性层，用于进一步的特征提取和对下一步学习网络的输入表示。区域建议网络是改进后不同于普通的目标检测的网络框架；区域建议网络包括三个全卷积网络层。其中，第一个全卷积网络层有三个卷积层，一个批规范化层和一个非线性层；第二个全卷积网络层有五个卷积层，一个批规范化层和一个非线性层；第三个全卷积网络层有五个卷积层，一个批规范化层和一个非线性层。至此，本实施例的深度学习网络模型构建完成。随后，数据导入步骤，将上文中提到的数据采集步骤中选择的部分数据导入到已经构建好的深度学习网络模型中。运行后，由工程人员进行深度学习网络模型的微调，得到合适的模型。深度学习网络模型的微调，针对预训练得到的参数权重和模型结构，根据一定的经验进行微调，得到更佳的识别效果。此后，车辆行驶，开启激光雷达，收集倒实时的激光雷达反馈数据，将该反馈数据作为输入数据输入深度学习网络中进行检测和识别，检测并识别实车前方的障碍物。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：包含以下步骤： 车辆硬件安装步骤：在目标车辆上安装激光雷达； 数据采集步骤：收集到激光雷达收集到的物体信息和与之对应的标签信息作为选择数据； 深度学习网络模型构建步骤：在该步骤中，构建深度学习网络模型； 数据导入步骤：将所述选择数据导入到所述深度学习网络模型，运行所述深度学习网络模型； 识别操作步骤：控制所述目标车辆运行，将所述目标车辆上的激光雷达反馈数据作为输入数据，输入到所述深度学习网络模型中，对路面信息进行实时检测及识别。

【技术特征摘要】
1.一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：包含以下步骤：车辆硬件安装步骤：在目标车辆上安装激光雷达；数据采集步骤：收集到激光雷达收集到的物体信息和与之对应的标签信息作为选择数据；深度学习网络模型构建步骤：在该步骤中，构建深度学习网络模型；数据导入步骤：将所述选择数据导入到所述深度学习网络模型，运行所述深度学习网络模型；识别操作步骤：控制所述目标车辆运行，将所述目标车辆上的激光雷达反馈数据作为输入数据，输入到所述深度学习网络模型中，对路面信息进行实时检测及识别。2.根据权利要求1所述的一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：所述深度学习网络模型包括依次连接的特征学习网络、中间层网络和区域建议网络；所述的特征学习网络，是深度学习网络模型的前端，用于学习障碍物特征信息；所述中间层网络包含三个网络层，用于提取特征信息并作为下一步的输入；所述区域建议网络，是深度学习网络模型的末端，用于学习障碍物抽象特征信息。3.根据权利要求2所述的一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：所述的特征学习网络包括点云数据的分组、特征编码及稀疏张量表示，所述点云数据的分组是将输入点云数据按照指定的三维规格进行剪裁分组；所述点云数据特征编码是将分组后的每个数据组输入全连接层进行特征提取，再经过最大池化层，提取出每个分组内的特征表示；所述稀疏张量表示是将上一步提取的特征表示，整合成一个四维的张量形式。4.根据权利要...

【专利技术属性】
技术研发人员：彭育辉，郑玮鸿，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35