无人驾驶车载传感器数据采集与处理系统与方法技术方案

本发明专利技术公开了一种无人驾驶车载传感器数据采集与处理系统与方法，该系统与方法基于“JetsonTX2核心板+载板”作为系统硬件计算平台；通过I/O检测脚本模块启动传感器数据采集节点与数据处理节点；针对激光雷达点云数据中噪点、离群点问题，提出自适应体素栅格化点云滤波方法进行解决；针对低照度环境下摄像头图像检测精度不足问题，基于Retinex理论进行二维高斯函数归一化结合双边滤波进行解决；将处理后的各传感器数据以激光雷达工作频率为基准进行时间配准并完成空间配准，输入具有时空一致性的传感器数据，作为无人驾驶系统中感知模块、规划模块与控制模块的输入信息。

【技术实现步骤摘要】
无人驾驶车载传感器数据采集与处理系统与方法
本专利技术属于无人驾驶车载传感器数据处理领域，特别是无人驾驶车载传感器数据采集与处理系统与方法。
技术介绍
无人驾驶汽车是一种智能汽车，也称轮式移动机器人，以车内计算机系统作为计算单元，通过激光雷达、摄像头及惯性导航系统等车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，规划一条安全无碰撞的路径，控制车辆的速度与转向，从而使车辆能够安全、可靠地在道路上自动驾驶。无人驾驶车载传感器作为车辆行驶的“眼睛”，其数据准确性会直接影响无人驾驶系统感知结果与路径规划的准确度，从而影响车辆行驶安全性。在无人驾驶车载激光雷达点云数据处理领域，网格化的滤波算法被广泛研究、应用。Desbrun等人提出一种基于平均曲率流的方法，它是用平均曲率的变化来表达目标的几何轮廓的变化，平均曲率是正常曲率在2π范围内的代数平均，这种方式使得目标特征发生不可避免的弯曲；Fleishman等将图像滤波领域的双边带滤波运用到三维网格模型滤波中，这类方式运行速度快，但是处理后的点云数据在保持目标原始特征方面效果不好；Johes等提出具有良好鲁棒性的非循环两部算法，但是该类滤波算法运行速度较慢，实时性不足。在低照度环境下摄像头图像数据处理领域方法较多，应用最广泛的有直方图均衡化方法、Retinex图像增强方法等。直方图均衡化方法在提高图像对比度、减少运行时间等方面有较大优势，但容易出现过增强及增强不均等现象。Retinex图像增强方法颜色保真度较好，更加适用于低照度环境下的图像增强，但由于算法时间复杂度较高，不易满足无人驾驶系统实时性需求。
技术实现思路
本专利技术的目的在于提供种通用的体积较小、接口丰富、功耗较低无人驾驶车载传感器数据数据采集与处理的计算平台，同时解决激光雷达点云滤波中算法实时性与滤波精度不足、低照度环境下摄像头图像识别精度不足等问题，以实现提高无人驾驶系统感知精度，保证无人驾驶车辆行驶安全。实现本专利技术目的的技术解决方案为：一种无人驾驶车载传感器数据采集与处理系统，包括：传感器模块，用于获取车辆行驶过程中的道路信息；I/O检测模块，用于检测接口模块中数据类型，启动数据处理模块中相应的传感器数据处理节点；所述数据处理模块包括雷达数据处理单元、摄像头数据处理单元；所述摄像头图像数据处理单元，用于对原始图像数据基于多尺度Retinex图像增强算法，通过两次一维高斯函数卷积代替二维高斯函数卷积，得到多尺度增强后的图片，并在此基础上结合双边滤波，得到增强后的图像；所述雷达数据处理单元，用于将输入的激光雷达三维点云数据求解出最小三维立方体包围盒，把三维立方体包围盒分解为若干小立方体，然后将所有的点云数据划分于栅格之中，再根据最小二乘平面法估计各个点的法向量，最后在此基础上选择距离栅格重心的最近点代表栅格中其他点，得到各栅格点云集重心集合；时空配准模块，用于将处理后的传感器数据以激光雷达工作频率为基准进行时间配准，并将经过点云滤波后的激光雷达点云数据与低照度环境下摄像头图像增强数据处理进行像素级融合，实现空间配准，输入具有时空一致性的融合数据，最后将融合后的时空配准节点发布，作为无人驾驶系统下游模块提供输入数据。一种无人驾驶车载传感器数据采集与处理方法，其特征在于，包括以下步骤：步骤1、对IMU、GPS、激光雷达、摄像头，毫米波雷达进行标定，分别获取摄像头内部参数以及激光雷达、毫米波雷达外部参数，并将IMU、GPS坐标转换至车体质心坐标下；步骤2、通过判断数据类型来启动相应传感器数据采集节点与数据处理节点；步骤3、在各传感器数据处理节点中，通过对激光雷达点云数据中存在的噪点、离群点进行点云滤波处理，对低照度环境下摄像头图像进行增强处理，对毫米波雷达进行信号处理与杂点滤波处理，对IMU/GPS进行数据融合处理，然后将各数据处理节点发布；步骤4、将处理后的激光雷达点云数据、摄像头图像数据、毫米波雷达数据及IMU/GPS数据以激光雷达工作频率为基准进行时间配准；将激光雷达点云数据与摄像头图像数据进行像素级融合，实现空间配准，最后生成具有时空一致性的融合数据。本专利技术与现有技术相比，其显著优点是：(1)采用“JetsonTX2核心板+底板”作为系统计算平台能够实现在满足计算能力的基础上实现体积更小、接口类型丰富，能够适应于目前无人驾驶嵌入式计算平台发展方向，同时便于开发人员二次开发、迭代。(2)通过两次一维高斯函数卷积代替二维高斯函数卷积，并在此基础上结合双边滤波对多尺度Retinex图像增强方法进行改进，丰富了图像细节、解决了低照度环境下摄像头感知精度较低，图像边缘缺失及多尺度Retinex图像增强技术中过增强的问题。(3)通过将输入的激光雷达三维点云数据求解出最小三维立方体包围盒，把三维立方体包围盒分解为若干小立方体(即栅格)，然后将所有的点云数据划分于栅格之中，再根据最小二乘平面法估计各个点的法向量，最后在此基础上选择距离栅格重心的最近点代表栅格中其他点。能够解决体素栅格滤波算法中存在的滤波去噪效果不明显、特征点丢失、实时性不足等问题。附图说明图1为本专利技术的车载传感器数据采集与处理系统硬件设计框架图。图2为本专利技术的基于ROS系统的无人驾驶车载传感器数据采集与处理流程图。图3为本专利技术的改进后的多尺度Retinex图像增强算法流程图。图4为本专利技术的改进后的体素栅格化点云滤波算法流程图。具体实施方式下面结合附图及具体实施例对本专利技术做进一步的介绍。结合图1，本专利技术所述的无人驾驶车载传感器数据采集与处理系统，基于JetsonTX2核心板设计具有相应接口的载板，将核心板与载板作为无人驾驶研究的工控平台。所采用的JetsonTX2核心板包含两块CPU和一块有256个CUDA核心的GPU，其中CPU由两个ARMv864位CPU集群组成，这就极大保证了系统的实时性、准确性。该系统设有传感器模块、电源管理模块、接口模块、I/O检测模块、数据处理模块、时空配准模块及无人驾驶下游模块(感知模块、规划模块、控制模块)。所述传感器模块包含GPS、IMU、激光雷达、摄像头、毫米波雷达，用于获取车辆行驶过程中的车辆、行人、交通标志等道路信息。所述电源管理模块包含12V-5V、12V-3V、12V-1.8V电源转换部分，选用TPS53015芯片实现3.3V、5V电压输出，并采用APW8805实现1.8V电压稳定输出，通过DC/DC转换，为硬件平台接口模块提供相应电压需求。所述接口模块根据传感器模块中各接口类型设计，包含USB通信模块、Ethernet通信模块、CAN通讯模块、UART通讯模块及用于连接显示器的HDMI接口、用于后期调试的Debug_UART接口。所述I/O检测模块用于检测接口模块中数据类型，启动数据处理模块中相应的传感器数据处理节点。所述数据处理本文档来自技高网...

【技术保护点】
1.一种无人驾驶车载传感器数据采集与处理系统，包括：/n传感器模块，用于获取车辆行驶过程中的道路信息；/nI/O检测模块，用于检测接口模块中数据类型，启动数据处理模块中相应的传感器数据处理节点；/n所述数据处理模块包括雷达数据处理单元、摄像头数据处理单元；其特征在于，/n所述摄像头图像数据处理单元，用于对原始图像数据基于多尺度Retinex图像增强算法，通过两次一维高斯函数卷积代替二维高斯函数卷积，得到多尺度增强后的图片，并在此基础上结合双边滤波，得到增强后的图像；/n所述雷达数据处理单元，用于将输入的激光雷达三维点云数据求解出最小三维立方体包围盒，把三维立方体包围盒分解为若干小立方体，然后将所有的点云数据划分于栅格之中，再根据最小二乘平面法估计各个点的法向量，最后在此基础上选择距离栅格重心的最近点代表栅格中其他点，得到各栅格点云集重心集合；/n时空配准模块，用于将处理后的传感器数据以激光雷达工作频率为基准进行时间配准，并将经过点云滤波后的激光雷达点云数据与低照度环境下摄像头图像增强数据处理进行像素级融合，实现空间配准，输入具有时空一致性的融合数据，最后将融合后的时空配准节点发布，作为无人驾驶系统下游模块提供输入数据。/n...

【技术特征摘要】
1.一种无人驾驶车载传感器数据采集与处理系统，包括：
传感器模块，用于获取车辆行驶过程中的道路信息；
I/O检测模块，用于检测接口模块中数据类型，启动数据处理模块中相应的传感器数据处理节点；
所述数据处理模块包括雷达数据处理单元、摄像头数据处理单元；其特征在于，
所述摄像头图像数据处理单元，用于对原始图像数据基于多尺度Retinex图像增强算法，通过两次一维高斯函数卷积代替二维高斯函数卷积，得到多尺度增强后的图片，并在此基础上结合双边滤波，得到增强后的图像；
所述雷达数据处理单元，用于将输入的激光雷达三维点云数据求解出最小三维立方体包围盒，把三维立方体包围盒分解为若干小立方体，然后将所有的点云数据划分于栅格之中，再根据最小二乘平面法估计各个点的法向量，最后在此基础上选择距离栅格重心的最近点代表栅格中其他点，得到各栅格点云集重心集合；
时空配准模块，用于将处理后的传感器数据以激光雷达工作频率为基准进行时间配准，并将经过点云滤波后的激光雷达点云数据与低照度环境下摄像头图像增强数据处理进行像素级融合，实现空间配准，输入具有时空一致性的融合数据，最后将融合后的时空配准节点发布，作为无人驾驶系统下游模块提供输入数据。


2.根据权利要求1所述的无人驾驶车载传感器数据采集与处理系统，其特征在于，所述摄像头图像数据处理单元得到增强图像的具体过程如下：
(1)建立图像、外界环境相关的入射分量以及与外界环境无关的反射分量的关系，并转化为对数关系；
(2)通过将多尺度Retinex增强算法中二维高斯函数改进为两步一维高斯函数卷积，先对原始图像数据按照行像素点进行一维高斯卷积，再对所得结果进行列像素点进行一维高斯卷积；
(3)卷积处理后的反射分量的对数域进行量化处理得到多尺度增强后的图片；
(4)增强后的图片采用双边滤波进行保边去噪处理，得到最后的增强后的图像。


3.根据权利要求2所述的无人驾驶车载传感器数据采集与处理系统，其特征在于，保边去噪处理，采用双边滤波器模板w(i,j,k,l)：



其中，r(i,j,k,l)为值域核，d(i,j,k,l)为空间域核；f(k,l)表示图像在模板窗口中心坐标(k,l)处的像素值；f(i,j)表示图像在模板窗口其他系数坐标(i,j)处的像素值；σr为高斯函数标准差，σd为高斯函数标准差。


4.根据权利要求1所述的无人驾驶车载传感器数据采集与处理系统，其特征在于，所述激光雷达数据处理单元处理得到各栅格点云集重心集合，具体过程如下：
(1)根据三维点云坐标，计算出在三轴三个方向的最大及最小坐标值，并得到三维立方体包围盒体积；
(2)确定分解后的立方体栅格边长；
(3)点云数据本身所在的小立方体栅格和相邻栅格中的数据点，与任一数据点之间的距离选取g个最近的数据点；
(4)估计点云法向量：对于三维立方体包围盒中每个点云数据中任一数据点pi，获取其最相近的g个近邻点，然后求解出一个局部最小二乘平面；对应于协方差矩阵M的最小特征值的特征向量即质心的法向量；
(5)选取栅格点云集重心，激光雷达点云滤波后的数据即各栅格点云集重心集合。


5.根据权利要求4所述的无人驾驶车载传感器数据采集与处理系统，其特征在于，栅格点云重心(Xc，Yc，Zc)求解公式可表示为：

【专利技术属性】
技术研发人员：朱红赛，孙敏杰，苏岩，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32