一种基于硬件同步的无人驾驶感知系统及其工作方法技术方案

本发明专利技术公开了一种基于硬件同步的无人驾驶感知系统及其工作方法，装置包括至少一个以上激光雷达、至少一个以上彩色视觉相机、至少一个灰度视觉相机、至少一个以上惯性测量单元(IMU)，至少以一个以上的硬件同步电路板，包含有激光雷达、视觉软件运行的系统环境的工业计算机等，本发明专利技术对惯性测量单元、激光雷达和视觉相机同时尽行了硬件同步，同步的传感器类型多，获得的数据种类丰富，采用高性能单片机对信号进行处理，由硬件本身产生的时间差为微秒级，同步精度高。本发明专利技术将所有的传感器和控制处理系统集成在一个可移动平台上，方便对传统的汽车进行改造和安装该基于硬件同步的无人驾驶感知系统。

A Driverless Perception System Based on Hardware Synchronization and Its Working Method

【技术实现步骤摘要】
一种基于硬件同步的无人驾驶感知系统及其工作方法
本专利技术涉及机动车
，具体涉及无人驾驶车辆
，特别是一种基于硬件同步的无人驾驶感知系统及其工作方法。
技术介绍
近年来，随着计算机技术以及传感器技术的发展，使得无人驾驶汽车越来越贴近人们的日常生活，在增强高速公路安全、缓解交通拥堵、减少空气污染等领域，无人驾驶会带来颠覆性的改善，具有广阔的应用前景。由于无人驾驶面临一系列复杂环境的影响，单一的传感器无法满足在各样环境下感知周围环境的需求，因此需要多个传感器协同工作。不同类型的传感器由于硬件参数不同，采集周期和采集频率存在一定的差异，传回来的数据存在一定的时间差，不同步的数据会对后期的数据融合和算法开发产生极大的影响。而现有的无人驾驶感知系统都从软件的层面对传感器传回的数据进行二次的处理之后发布，并未实际解决硬件上存在的时间差的问题。
技术实现思路
为了解决现有技术存在的上述问题，本专利技术目的在于提供一种能综合利用激光、视觉、全球定位系统和惯性导航系统等多种传感器获取的数据，并对数据进行硬件同步的无人驾驶感知系统及其工作方法。本专利技术是通过以下技术方案来实现的：一种基于硬件同步的无人驾驶感知装置，所述的装置包括至少一个以上激光雷达、至少一个以上彩色视觉相机、至少一个灰度视觉相机、至少一个以上惯性测量单元(IMU)，至少以一个以上的硬件同步电路板，包含有激光雷达、视觉软件运行的系统环境的工业计算机，所述的激光雷达、彩色视觉相机、灰度视觉相机、硬件同步电路板均与工业计算机相连，惯性测量单元与硬件同步电路板相连，以上部件均设置于车载支架平台上。作为进一步地改进，本专利技术所述车载支架平台固定于汽车顶部，其四周无遮挡。作为进一步地改进，本专利技术所述的激光雷达固定于车载支架平台上表面的中心线上，其中至少一个垂直放置于车载支架平台上中心线的中间段，至少一对激光雷达与车载支架平台呈45度角分列于左右两侧段。作为进一步地改进，本专利技术所述彩色视觉相机至少一对位于车载支架平台前侧，灰度视觉相机至少一对分别而位于车载支架平台左右两侧，至少一个灰度相机位于车载平台后方，灰度视觉相机至少一对位于车载平台支架平台前侧。作为进一步地改进，本专利技术所述同步硬件电路板分为电源模块、控制芯片模块、转换模块、USB模块、触发信号输出模块及IMU输入端，电源模块包括电源输入和电源输出，触发信号输出模块包括触发信号输出端1和触发信号输出端2，惯性测量单元与IMU输入端相连，转换模块与USB模块和控制芯片模块信号相连，USB模块与工业计算机相连，控制芯片模块分别与触发信号输出端1和触发信号输出端2相连，触发信号输出端1与视觉相机相连，触发信号输出端2与激光雷达相连。作为进一步地改进，本专利技术所述的硬件同步电路板的电源模块利用车载电源供电，降压后输出电流给控制芯片以及外部传感器供电。本专利技术还公开了一种基于硬件同步的无人驾驶感知装置的工作方法，具体步骤如下：1)、硬件同步电路板的IMU输入端接收惯性测量单元发送来的采集信息，包括角速度、加速度和已经发送的数据包个数等以及用于同步的固定频率的脉冲信号；2)、对相机进行同步，将相机设置成外部触发模式，确保其可以在外部有上升沿信号的时候触发相机采集图像，计算惯性测量单元已发送的数据包个数，当其为相机分频数整数倍时，对相机输出一个高电平的脉冲触发信号，触发相机进行图像采集，其中相机分频数为惯性测量单元发送的脉冲触发频率除以相机采集频率得到的值；3)、对激光雷达进行同步，对已经得到的惯性测量单元发送数据包个数执行以下处理步骤：利用数据包个数得到一个含有UTC时间的NMEA语句，其中UTC为hh:mm:ss格式，hh为小时数，mm为分钟数，ss为秒数，将hh和mm转换成秒数，即分别乘以3600和60，同ss相加得到一个总秒数S，令S等于当前得到的惯性测量单元已经发送的数据包个数，激光雷达在收到惯性测量单元降频脉冲信号和NMEA语句时进行时间同步。作为进一步地改进，本专利技术所述的惯性测量单元产生脉冲信号，经过硬件同步电路板转换输出给激光雷达，从而对激光雷达进行同步，惯性测量单元每次发送数据时获得当前惯性测量单元已经发送的数据包数以及当前数据包数对应的采样时间。作为进一步地改进，本专利技术根据惯性测量单元发送的数据包数得出一个时间，以RS232信号的形式发送给激光雷达，脉冲信号到来的时候将该时间逆向推理得到对应惯性测量单元的数据包数，再根据已经接收到惯性测量单元该数据包的时间戳，作为当前激光雷达的时间戳。作为进一步地改进，本专利技术用所述惯性测量单元发送脉冲信号的频率除以视觉相机的采样频率得到该相机的分频数，得到的惯性测量单元发送的数据包总数为该相机分频数的整数倍时输出一个高电平信号触发该相机进行图像采集。相比于现有技术，本专利技术的有益效果在于：1.本专利技术对惯性测量单元、激光雷达和视觉相机同时尽行了硬件同步，同步的传感器类型多，获得的数据种类丰富。2.本专利技术采用高性能单片机对信号进行处理，由硬件本身产生的时间差为微秒级，同步精度高。3.本专利技术将所有的传感器和控制处理系统集成在一个可移动平台上，方便对传统的汽车进行改造和安装该基于硬件同步的无人驾驶感知系统。4.本专利技术采用多个激光雷达，且成一定角度安装，相较于之前单一激光雷达的无人驾驶感知系统，可以采集数据的范围更大，有利于后期的地图重构。5.本专利技术的视觉相机的布置遍布前后左右四个方向，相较于单独在正前方布置双目相机的方案，该基于硬件的无人驾驶感知系统的视线范围更加宽广，有利于后期地图的重构及决策。附图说明通过阅读参照以下附图所做的对非限制性实施所做的详细描述，本申请的其它特征、目的和优点将会更加明显：图1是本专利技术装置的结构示意图；图2是本专利技术装置之间的通信结构示意图；图3是本专利技术的硬件同步电路的系统结构图；图4是本专利技术装置的工作流程图。图中，1是灰度视觉相机，2是彩色视觉相机，3是激光雷达，4是惯性测量单元，5是工业计算机，6是硬件同步电路板，7是车载支架平台与汽车顶部连接件。具体实施方式为实现上述目的，本专利技术公开了一种基于硬件同步的无人驾驶感知系统，包括三个激光雷达3、二个彩色视觉相机2、五个灰度视觉相机1、一个惯性测量单元4，一个硬件同步电路板6，包含有激光雷达3、视觉软件运行的系统环境的工业计算机5，激光雷达3、彩色视觉相机2、灰度视觉相机1、硬件同步电路板6均与工业计算机5有线连接，惯性测量单元4与硬件同步电路板6有线连接，以上设备均设置于车载支架平台上，所述的惯性测量单元4用于获取当前无人车的速度、线加速度、角速度及位姿信息。车载支架平台固定于汽车顶部，其四周无遮挡。三个激光雷达3均固定于车载支架平台中心上表面的中心线上，其中一个垂直放置于车载支架平台上表面中心线的中点位置，另外两个激光雷达3与车载支架平台呈45度角对应分布于中心线的左右两侧段，两个彩色视觉相机2位于车载支架平台前侧，用于采集无人车正前方场景彩色图片信息；六个灰度视觉相机1一对分别而位于车载支架平台左右两侧，用于观测无人车左右两侧场景，一个灰度相机位于车载平台后方，用于观测无人车后方场景，另一对灰度视觉相机1位于车载平台支架平台前侧，用于采集无人车正前方场景灰度图片信息；硬件同步电路板6包括电源输出模本文档来自技高网...

【技术保护点】
1.一种基于硬件同步的无人驾驶感知装置，其特征在于，所述的装置包括至少一个以上激光雷达(3)、至少一个以上彩色视觉相机(2)、至少一个灰度视觉相机(1)、至少一个以上惯性测量单元(4)(IMU)，至少以一个以上的硬件同步电路板(6)，包含有激光雷达(3)、视觉软件运行的系统环境的工业计算机(5)，所述的激光雷达(3)、彩色视觉相机(2)、灰度视觉相机(1)、硬件同步电路板(6)均与工业计算机(5)相连，所述的惯性测量单元(4)与硬件同步电路板(6)相连，以上部件均设置于车载支架平台上。

【技术特征摘要】
1.一种基于硬件同步的无人驾驶感知装置，其特征在于，所述的装置包括至少一个以上激光雷达(3)、至少一个以上彩色视觉相机(2)、至少一个灰度视觉相机(1)、至少一个以上惯性测量单元(4)(IMU)，至少以一个以上的硬件同步电路板(6)，包含有激光雷达(3)、视觉软件运行的系统环境的工业计算机(5)，所述的激光雷达(3)、彩色视觉相机(2)、灰度视觉相机(1)、硬件同步电路板(6)均与工业计算机(5)相连，所述的惯性测量单元(4)与硬件同步电路板(6)相连，以上部件均设置于车载支架平台上。2.根据权利要求1所述的基于硬件同步的无人驾驶感知装置，其特征在于，所述车载支架平台固定于汽车顶部，其四周无遮挡。3.根据权利要求2所述的基于硬件同步的无人驾驶感知装置，其特征在于，所述的激光雷达(3)固定于车载支架平台上表面的中心线上，其中至少一个垂直放置于车载支架平台上中心线的中间段，至少一对激光雷达(3)与车载支架平台呈45度角分列于左右两侧段。4.根据权利要求2所述的基于硬件同步的无人驾驶感知装置，其特征在于，所述彩色视觉相机(2)至少一对位于车载支架平台前侧，所述灰度视觉相机(1)至少一对分别而位于车载支架平台左右两侧，至少一个灰度相机位于车载平台后方，所述灰度视觉相机(1)至少一对位于车载平台支架平台前侧。5.根据权利要求1所述的基于硬件同步的无人驾驶感知装置，其特征在于，本发明所述同步硬件电路板分为电源模块、控制芯片模块、转换模块、USB模块、触发信号输出模块及IMU输入端，所述的电源模块包括电源输入和电源输出，所述的触发信号输出模块包括触发信号输出端1和触发信号输出端2，所述的惯性测量单元(4)通与IMU输入端相连，所述的转换模块与USB模块和控制芯片模块信号相连，所述的USB模块与工业计算机(5)相连，所述的控制芯片模块分别于触发信号输出端1和触发信号输出端2相连，所述的触发信号输出端1与视觉相机相连，触发信号输出端2与激光雷达(3)相连。6.根据权利要求1所述的基于硬件同步的无人驾驶感知装置，其特征在于，所述的硬件同步电路板(6)的电源模块利用车载电源供电，降压后输出电流给控制芯片以及外部传感器供电。7....

【专利技术属性】
技术研发人员：熊蓉，唐立，韩福长，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33