一种无人驾驶车辆的环境感知方法及控制端技术

本发明专利技术公开了一种无人驾驶车辆的环境感知方法及控制端，将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理，建立三维周边环境模型；根据周边环境模型获取道路上所有物体的属性信息，根据道路上所有物体的属性信息生成驾驶决策。本发明专利技术通过激光雷达传感器、视觉传感器和毫米波雷达传感器的优劣互补，从而形成完善且稳定可靠的环境感知系统。

【技术实现步骤摘要】
一种无人驾驶车辆的环境感知方法及控制端
本专利技术涉及无人驾驶
，特别涉及一种无人驾驶车辆的环境感知方法及控制端。
技术介绍
近年来，随着各传感器的高速发展，无人驾驶技术的不断革新，越来越多的传感器被用在无人驾驶车辆上，无人驾驶车辆对环境的感知是实现真正无人驾驶必不可少的部分，在无人驾驶过程中路面上难免会出现突发情况使无人驾驶车辆无法继续沿原先规划的路线行驶，如各种障碍物，凹坑等，这时若无人驾驶车辆没有相应的环境感知系统则无法判断在道路上遇到的突发情况，若继续行驶将造成重大的安全事故。所以环境感知系统是自主无人驾驶进行自主避障驾驶的实现基础，而如今的环境感知系统都存在有一定的缺陷，从而制约了无人驾驶的发展。
技术实现思路
本专利技术所要解决的技术问题是：提供一种无人驾驶车辆的环境感知方法及控制端，以形成完善且稳定可靠的环境感知系统。为了解决上述技术问题，本专利技术采用的技术方案为：一种无人驾驶车辆的环境感知方法，包括步骤：S1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理，建立三维周边环境模型；S2、根据所述周边环境模型获取道路上所有物体的属性信息，根据所述道路上所有物体的属性信息生成驾驶决策。为了解决上述技术问题，本专利技术采用的另一种技术方案为：一种无人驾驶车辆的环境感知控制端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：S1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理，建立三维周边环境模型；S2、根据所述周边环境模型获取道路上所有物体的属性信息，根据所述道路上所有物体的属性信息生成驾驶决策。本专利技术的有益效果在于：一种无人驾驶车辆的环境感知方法及控制端，在无人驾驶过程中，通过将位于车辆四周的视觉传感器、毫米波雷达传感器和激光雷达传感器所发送的传感数据进行图像融合处理，以实时且高度还原出无人驾驶车辆的周边环境。其中，激光雷达传感器的分辨率高、抗干扰能力强且获取的数据信息丰富可实现快速空间建模；视觉传感器能够分辨颜色，实现对物体的测距；毫米波雷达传感器的全天候性好，不受各种不良天气光线等因素影响，能够很好的弥补激光雷达传感器与视觉传感器在这方面的劣势，即通过激光雷达传感器、视觉传感器和毫米波雷达传感器的优劣互补，从而形成完善且稳定可靠的环境感知系统。附图说明图1为本专利技术实施例的一种无人驾驶车辆的环境感知方法的流程示意图；图2为本专利技术实施例的一种无人驾驶车辆的环境感知控制端的结构示意图。标号说明：1、一种无人驾驶车辆的环境感知控制端；2、处理器；3、存储器。具体实施方式为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。请参照图1，一种无人驾驶车辆的环境感知方法，包括步骤：S1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理，建立三维周边环境模型；S2、根据所述周边环境模型获取道路上所有物体的属性信息，根据所述道路上所有物体的属性信息生成驾驶决策。从上述描述可知，本专利技术的有益效果在于：在无人驾驶过程中，通过将位于车辆四周的视觉传感器、毫米波雷达传感器和激光雷达传感器所发送的传感数据进行图像融合处理，以实时且高度还原出无人驾驶车辆的周边环境。其中，激光雷达传感器的分辨率高、抗干扰能力强且获取的数据信息丰富可实现快速空间建模；视觉传感器能够分辨颜色，实现对物体的测距；毫米波雷达传感器的全天候性好，不受各种不良天气光线等因素影响，能够很好的弥补激光雷达传感器与视觉传感器在这方面的劣势，即通过激光雷达传感器、视觉传感器和毫米波雷达传感器的优劣互补，从而形成完善且稳定可靠的环境感知系统。进一步地，所述步骤S1具体包括以下步骤：S11、接收位于车辆前方的双目摄像头所发送的前方双目图像数据、位于车辆两侧的单目摄像头所发送的两侧单目图像数据以及位于车辆后方的单目摄像头所发送的后方单目图像数据，以得到四周图像数据；S12、接收位于车辆前方和后方的毫米波雷达传感器所发送的前方毫米波点云数据和后方毫米波点云数据，以得到四周毫米波数据；S13、接收位于车辆车顶的激光雷达传感器所发送的四周点云数据；S14、从所述四周点云数据中提取重要特征点，从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点，基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合，得到带有色彩、大小、类型和距离的三维周边环境模型。从上述描述可知，设置在前方的双目摄像头能轻松实现对物体的测距，同时，通过激光雷达传感器所获取的丰富数据信息来实现快速空间建模，通过寻找特征点来实现数据融合，从而还原出更加接近现实环境的三维模型。进一步地，所述步骤S14具体包括以下步骤：从所述四周点云数据中提取重要特征点，从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点；基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行交叉误差计算，得到三组误差数据，根据三组误差数据得到最终误差数据，将所述四周点云数据、所述四周毫米波数据和所述四周图像数据分别与所述最终误差数据进行优化处理，得到优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据；将优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合，以得到带有色彩、大小、类型和距离的三维周边环境模型，所述三维周边环境模型根据四周毫米波数据对雷达范围内的所有物体的距离和大小进行实时校准。从上述描述可知，通过将三种环境传感数据进行误差衰减计算，从而更好的对三种传感数据进行融合并保证融合后的三维模型能高度还原现实环境；同时，毫米波雷达传感器的测量速度较快，在判断前方道路上存在障碍物时，毫米波雷达的传感数据会较激光雷达和图像数据先到，因此，三维周边环境模型里的物体的距离、大小根据毫米波雷达传感器的测量数据进行实时校准，以确保对现实环境的实时还原。进一步地，所述步骤S1中“基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合”具体包括以下步骤：依靠授时定位模块对摄像头、毫米波雷达传感器和激光雷达传感器进行时间授时；基于所述相同特征点来对位于同一时刻的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合。从上述描述可知，三种传感数据之间的实时本文档来自技高网...

【技术保护点】
1.一种无人驾驶车辆的环境感知方法，其特征在于，包括步骤：/nS1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理，建立三维周边环境模型；/nS2、根据所述周边环境模型获取道路上所有物体的属性信息，根据所述道路上所有物体的属性信息生成驾驶决策。/n

【技术特征摘要】
1.一种无人驾驶车辆的环境感知方法，其特征在于，包括步骤：
S1、将位于车辆四周的视觉传感器所发送的四周图像数据、位于车辆四周的毫米波雷达传感器所发送的四周毫米波数据以及位于车辆车顶的激光雷达传感器所发送的四周点云数据进行图像融合处理，建立三维周边环境模型；
S2、根据所述周边环境模型获取道路上所有物体的属性信息，根据所述道路上所有物体的属性信息生成驾驶决策。


2.根据权利要求1所述的一种无人驾驶车辆的环境感知方法，其特征在于，所述步骤S1具体包括以下步骤：
S11、接收位于车辆前方的双目摄像头所发送的前方双目图像数据、位于车辆两侧的单目摄像头所发送的两侧单目图像数据以及位于车辆后方的单目摄像头所发送的后方单目图像数据，以得到四周图像数据；
S12、接收位于车辆前方和后方的毫米波雷达传感器所发送的前方毫米波点云数据和后方毫米波点云数据，以得到四周毫米波数据；
S13、接收位于车辆车顶的激光雷达传感器所发送的四周点云数据；
S14、从所述四周点云数据中提取重要特征点，从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点，基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合，得到带有色彩、大小、类型和距离的三维周边环境模型。


3.根据权利要求2所述的一种无人驾驶车辆的环境感知方法，其特征在于，所述步骤S14具体包括以下步骤：
从所述四周点云数据中提取重要特征点，从所述四周图像数据和所述四周毫米波数据中找到与所述重要特征点相对应的相同特征点；
基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行交叉误差计算，得到三组误差数据，根据三组误差数据得到最终误差数据，将所述四周点云数据、所述四周毫米波数据和所述四周图像数据分别与所述最终误差数据进行优化处理，得到优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据；
将优化后的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合，以得到带有色彩、大小、类型和距离的三维周边环境模型，所述三维周边环境模型根据四周毫米波数据对雷达范围内的所有物体的距离和大小进行实时校准。


4.根据权利要求2所述的一种无人驾驶车辆的环境感知方法，其特征在于，所述步骤S1中“基于所述相同特征点来对所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合”具体包括以下步骤：
依靠授时定位模块对摄像头、毫米波雷达传感器和激光雷达传感器进行时间授时；
基于所述相同特征点来对位于同一时刻的所述四周点云数据、所述四周毫米波数据和所述四周图像数据进行数据融合。


5.根据权利要求1所述的一种无人驾驶车辆的环境感知方法，其特征在于，所述步骤S2具体包括以下步骤：
根据所述周边环境模型获取道路上所有物体的类型、距离、大小和运动状态；
若所述道路上的物体为静止的非活体小物体时，则判别为低风险，自动执行躲避所述非活体小物体的操作；
若所述道路上的物体为静止的非活体大物体时，则判别为中风险，并判断所述道路上是否存在可以绕开所述非活体大物体的可规避道路，若有，则沿着所述可规避道路进行行驶，否则提前发出刹车指令以规避所述非活体大物体；
若所述道路上的物体为活体生物时，则判别为高风险，根据所述活体生物的实时运动轨迹来预测所述活体生物的未来运动轨迹，判断所述活体生物的未来运动轨迹与所述车辆的未来行驶轨迹是否存在重合，若存在重合，则根据所述活体生物与所述车辆在重合位置的时间点来进一步预判所述活体生物是否会与所述车辆进行碰撞，若存在碰撞的可能性，则发出减速指令或停车指令以规避所述活体生物。


6.一种无人驾驶车辆的环境感知控制端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其...

【专利技术属性】
技术研发人员：林特，
申请(专利权)人：江苏盛海智能科技有限公司，
类型：发明
国别省市：江苏;32