一种基于双目相机的车载路面不平度识别系统及方法技术方案

本发明专利技术提供了一种基于双目相机的车载路面不平度识别系统，包括：图像获取模块，获取车辆前方路面的双目图像；图像处理模块，将接收的双目图像进行三维重建并对可通行的点云进行提取；车速采集模块，采集车速信号；方向盘转角采集模块，采集方向盘转角信号；不平度计算模块，基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及将相应的路面不平度等级指令发送给提醒模块；提醒模块，根据所接收的路面不平度等级指令来输出相应的提醒信号。本发明专利技术能够提前获取路面的不平度信息，给驾驶员进行提醒，确保了驾驶安全性，并可将该信号提供给其他电子控制系统，提高车辆路面适应性。

【技术实现步骤摘要】
一种基于双目相机的车载路面不平度识别系统及方法
本专利技术涉及一种车载路面不平度识别系统及方法，具体涉及一种基于双目相机的车载路面不平度识别系统及方法。
技术介绍
车辆在行驶过程中会受到路面颠簸起伏的影响，引起车轮或车身的垂向振动，直接影响整车的平顺性和驾驶员的舒适性；并且由于车轮垂直载荷和接地面积不稳定，也会影响各车轮的地面附着力，进而对车辆的制动性和操纵稳定性有很大影响；电子空气悬架(ECAS)、制动防抱死系统(ABS)、电子稳定性系统(ESC)等系统也会针对路面不平度的变化调整控制模式或参数，提高其在不平路面的适应性。现有系统一般通过电子空气悬架系统(ECAS)的悬架高度信号或电子稳定性系统(ESP)的轮速信号的时域/频域特征进行识别。但是这些识别方法只能在车辆于不平路面上行驶过一段距离之后才能识别到路面变化，具有一定的滞后性，而在识别过程中不平路面已经对驾驶员和车辆产生了不利的影响。因此，提前获取路面的不平度信息，给驾驶员进行提醒，并将该信号提供给其他电子控制系统，是提升车辆驾驶体验和整车电控系统适应性的关键。
技术实现思路
针对上述技术问题，本专利技术提供一种能够提前获取路面的不平度信息，给驾驶员进行提醒的基于双目相机的车载路面不平度识别系统及方法。本专利技术采用的技术方案为：本专利技术一实施例提供一种基于双目相机的车载路面不平度识别系统，包括图像获取模块、图像处理模块、车速采集模块、方向盘转角采集模块、不平度计算模块和提醒模块；所述图像获取模块为双目相机，用于获取车辆前方路面的双目图像并将获取的双目图像发送给所述图像处理模块；所述图像处理模块用于将接收的所述双目图像进行三维重建并对可通行的点云进行提取，以及将提取的可通行点云发送给所述不平度计算模块；所述车速采集模块用于采集车速信号并发送给所述不平度计算模块；所述方向盘转角采集模块用于采集方向盘转角信号并发送给所述不平度计算模块；所述不平度计算模块用于基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及将相应的路面不平度等级指令发送给所述提醒模块；所述提醒模块用于根据所接收的路面不平度等级指令来输出相应的提醒信号。可选地，还包括相机标定模块，用于对所述双目相机进行标定以获取相机标定参数并发送给所述图像处理模块；所述相机标定参数包括两个相机间的基线距离、镜头焦距、旋转矩阵、平移向量、镜头畸变系数和光心偏移位置。可选地，所述图像处理模块用于将接收的所述双目图像进行三维重建并对可通行的点云进行提取具体包括：利用预设校正方法和所获取的相机标定参数对所接收的双目图像进行校正，得到校正后的双目图像；利用预设匹配方法对校正后的双目图像进行立体匹配，得到双目图像的图像像素点之间的对应关系；基于所述双目图像的图像像素点之间的对应关系以及相机标定参数，计算经立体匹配后的双目图像在相应坐标系中的三维坐标；其中，双目图像的相应坐标系是以该图像对应相机的光心为原点，Z轴垂直成像平面向外，X轴沿成像平面水平向右，Y轴沿成像平面竖直向下的坐标系；将所计算的双目图像的三维坐标进行坐标转换，使得相机坐标系下的三维坐标点云转换为车体坐标系下的点云；其中，车体坐标系是以车辆后轴中心为原点，X轴向前，Y轴向左，Z轴垂直向上的坐标系；将车体坐标系的X轴中小于预设距离阈值的三维点云在X-Y平面内划分为预定规格的栅格，将所述栅格内Z向高度最大值与最小值之差不大于预设阈值的栅格内的点云进行提取，得到可通行点云。可选地，所述不平度计算模块用于基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，具体包括：利用预设计算公式，基于接收的可通行点云、车速信号和方向盘转角信号计算车辆的行驶区域，得到行驶区域点云；基于所述行驶区域点云计算路面不平度方差；基于所计算的路面不平度方差和预设判定方式确定路面不平度等级。可选地，基于所述行驶区域点云计算路面不平度方差包括：基于所述行驶区域点云和预设算法，确定拟合的基准平面；计算所述行驶区域点云中的每个采样点到所述基准平面的距离；将每个采样点到所述基准平面的距离进行平方之后进行求和，得到距离平方和值；将所得到的距离平方和值除以所述行驶区域点云中的采样点总数，得到所述路面不平度方差。可选地，所述路面不平度等级包括第一等级、第二等级、第三等级和第四等级；其中，基于所计算的路面不平度方差和预设判定方式确定路面不平度等级包括：当当前路面不平度等级为第一等级时，如果所计算的路面不平度方差大于第一预设角度门限下限值时，则将当前的路面不平度等级确定为第二等级；当当前路面不平度等级为第二等级时，如果所计算的路面不平度方差大于第二预设角度门限下限值时，则将当前的路面不平度等级确定为第三等级；如果所计算的路面不平度方差小于第一预设角度门限上限值时，则将当前的路面不平度等级确定为第一等级；当当前路面不平度等级为第三等级时，如果所计算的路面不平度方差大于第三预设角度门限值时，则将当前的路面不平度等级确定为第四等级；如果所计算的路面不平度方差小于第二预设角度门限上限值时，则将当前的路面不平度等级确定为第二等级；当当前路面不平度等级为第四等级时，如果所计算的路面不平度方差大于第四预设角度门限值时，则将当前的路面不平度等级确定为第三等级。本专利技术另一实施例提供一种车载路面不平度识别方法，包括：获取车辆前方路面的双目图像；接收所述双目图像并对所接收的双目图像进行三维重建并对可通行的点云进行提取；采集车速信号和方向盘转角信号；接收所述可通行点云、车速信号和方向盘转角信号并基于所接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及发送相应的路面不平度等级指令；接收所述路面不平度等级指令并基于所接收的路面不平度等级指令来输出相应的提醒信号。可选地，还包括：对所述双目相机进行标定以获取相机标定参数；所述相机标定参数包括两个相机间的基线距离、镜头焦距、旋转矩阵、平移向量、镜头畸变系数和光心偏移位置。可选地，所述接收所述双目图像并对所接收的双目图像进行三维重建并对可通行的点云进行提取具体包括：利用预设校正方法和所获取的相机标定参数对所接收的双目图像进行校正，得到校正后的双目图像；利用预设匹配方法对校正后的双目图像进行立体匹配，得到双目图像的图像像素点之间的对应关系；基于所述双目图像的图像像素点之间的对应关系以及相机标定参数，计算经立体匹配后的双目图像在相应坐标系中的三维坐标；其中，双目图像的相应坐标系是以该图像对应相机的光心为原点，Z轴垂直成像平面向外，X轴沿成像平面水平向右，Y轴沿成像平面竖直向下的坐标系；将所计算的双目图像的三维坐标进行坐标转换，使得相机坐标系下的三维坐标点云转换为车体坐标系下的点云；其中，车体坐标系是以车辆后轴中心为原点，X轴向前，Y轴向左，Z轴垂直向上的坐标系；将车体坐标系的X轴中小于预设距离阈值的三维点云在X-Y平面内划分为预定规格的栅格，将所述栅格内Z向高度最大值与最小值之差不大于预设阈值的栅格内的点云进行提取，得到可通行点云。可选地，所述接收所述可通行点云、车速信号和方向盘转角信号并基于所接收的可通行点云、车速信号和方向本文档来自技高网...

【技术保护点】
一种基于双目相机的车载路面不平度识别系统，其特征在于，包括图像获取模块、图像处理模块、车速采集模块、方向盘转角采集模块、不平度计算模块和提醒模块；所述图像获取模块为双目相机，用于获取车辆前方路面的双目图像并将获取的双目图像发送给所述图像处理模块；所述图像处理模块用于将接收的所述双目图像进行三维重建并对可通行的点云进行提取，以及将提取的可通行点云发送给所述不平度计算模块；所述车速采集模块用于采集车速信号并发送给所述不平度计算模块；所述方向盘转角采集模块用于采集方向盘转角信号并发送给所述不平度计算模块；所述不平度计算模块用于基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及将相应的路面不平度等级指令发送给所述提醒模块；所述提醒模块用于根据所接收的路面不平度等级指令来输出相应的提醒信号。

【技术特征摘要】
1.一种基于双目相机的车载路面不平度识别系统，其特征在于，包括图像获取模块、图像处理模块、车速采集模块、方向盘转角采集模块、不平度计算模块和提醒模块；所述图像获取模块为双目相机，用于获取车辆前方路面的双目图像并将获取的双目图像发送给所述图像处理模块；所述图像处理模块用于将接收的所述双目图像进行三维重建并对可通行的点云进行提取，以及将提取的可通行点云发送给所述不平度计算模块；所述车速采集模块用于采集车速信号并发送给所述不平度计算模块；所述方向盘转角采集模块用于采集方向盘转角信号并发送给所述不平度计算模块；所述不平度计算模块用于基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及将相应的路面不平度等级指令发送给所述提醒模块；所述提醒模块用于根据所接收的路面不平度等级指令来输出相应的提醒信号。2.根据权利要求1所述的系统，其特征在于，还包括相机标定模块，用于对所述双目相机进行标定以获取相机标定参数并发送给所述图像处理模块；所述相机标定参数包括两个相机间的基线距离、镜头焦距、旋转矩阵、平移向量、镜头畸变系数和光心偏移位置。3.根据权利要求2所述的系统，其特征在于，所述图像处理模块用于将接收的所述双目图像进行三维重建并对可通行的点云进行提取具体包括：利用预设校正方法和所获取的相机标定参数对所接收的双目图像进行校正，得到校正后的双目图像；利用预设匹配方法对校正后的双目图像进行立体匹配，得到双目图像的图像像素点之间的对应关系；基于所述双目图像的图像像素点之间的对应关系以及相机标定参数，计算经立体匹配后的双目图像在相应坐标系中的三维坐标；其中，双目图像的相应坐标系是以该图像对应相机的光心为原点，Z轴垂直成像平面向外，X轴沿成像平面水平向右，Y轴沿成像平面竖直向下的坐标系；将所计算的双目图像的三维坐标进行坐标转换，使得相机坐标系下的三维坐标点云转换为车体坐标系下的点云；其中，车体坐标系是以车辆后轴中心为原点，X轴向前，Y轴向左，Z轴垂直向上的坐标系；将车体坐标系的X轴中小于预设距离阈值的三维点云在X-Y平面内划分为预定规格的栅格，将所述栅格内Z向高度最大值与最小值之差不大于预设阈值的栅格内的点云进行提取，得到可通行点云。4.根据权利要求3所述的系统，其特征在于，所述不平度计算模块用于基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，具体包括：利用预设计算公式，基于接收的可通行点云、车速信号和方向盘转角信号计算车辆的行驶区域，得到行驶区域点云；基于所述行驶区域点云计算路面不平度方差；基于所计算的路面不平度方差和预设判定方式确定路面不平度等级。5.根据权利要求4所述的系统，其特征在于，基于所述行驶区域点云计算路面不平度方差包括：基于所述行驶区域点云和预设算法，确定拟合的基准平面；计算所述行驶区域点云中的每个采样点到所述基准平面的距离；将每个采样点到所述基准平面的距离进行平方之后进行求和，得到距离平方和值；将所得到的距离平方和值除以所述行驶区域点云中的采样点总数，得到所述路面不平度方差。6.根据权利要求4所述的系统，其特征在于，所述路面不平度等级包括第一等级、第二等级、第三等级和第四等级；其中...

【专利技术属性】
技术研发人员：张建，黄海洋，王御，陈鸿帅，刘秋铮，王康，刘晔，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：吉林,22