一种智能驾驶雷达和图像融合的人机交互方法技术

本发明专利技术公开了一种智能驾驶雷达和图像融合的人机交互方法，包括以下的步骤：雷达目标数据采集及处理，雷达目标坐标变换，图像数据采集及处理，视频图像的二次绘图，多媒体屏幕显示。本发明专利技术将汽车前向毫米波雷达检测的目标通过坐标变换的方法绘制在视频图像上，最终显示在车载多媒体屏幕，实现了雷达数据与视频图像数据的融合，完成了数据的可视化人机交互过程；为用户观察智能驾驶系统运行状况提供依据；为开发人员检查传感器数据及其处理过程的实效性、准确性提供依据；快速变换易于实现，在保证数据准确性的同时，节约CPU资源及研发成本。

A human computer interaction method of intelligent driving radar and image fusion

【技术实现步骤摘要】
一种智能驾驶雷达和图像融合的人机交互方法
本专利技术涉及车辆智能探测障碍物
，具体涉及一种智能驾驶雷达和图像融合的人机交互方法。
技术介绍
随着智能汽车科技的快速发展，智能驾驶系统也在不断推陈出新，如何使智能驾驶系统做到驾乘更安全、用户体验更佳一直都是业界努力的方向。现在的智能驾驶系统越来越依靠对数据进行分析处理实现车辆控制，数据处理是十分复杂的过程，尤其是雷达检测的数据，其数据量大、变化速度快，却难以让用户直观感知判断，另一方面，通过摄像头采集的视频图像数据虽可让用户直观感知，却缺乏更精准的距离、坐标等数据支持。如果可将雷达检测的数据和视频图像数据进行二者融合，相信用户和开发人员就可通过智能驾驶系统更直观了解雷达检测的目标情况，使操作更便捷、驾乘更安全，也会让开发人员系统更有效地开发智能驾驶系统。目前，虽也有基于雷达和图像数据融合通过深度学习对车载障碍物检测方法，但其方法是通过融合雷达点云数据和摄像头数据，对真实数据进行测试确定了适合真实情况的通道配置，达到利用Yolo深度卷积神经网络模型处理融合数据，实现道路场景的目标障碍物检测。该方法涉及的设备实施成本较高，不利于快速推广，基于深度学习的融合数据检测方法还需要有足够数量的样本数据作为支持，短期内很难达到理想的检测效果，同时，也缺乏更好的人机交互，用户和开发人员难以直接可视化地利用这些数据进行观察智能驾驶系统的运行状况。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提供一种智能驾驶雷达和图像融合的人机交互方法。>为实现上述目的，本专利技术提供以下的技术方案：一种智能驾驶雷达和图像融合的人机交互方法，包括以下的步骤：雷达目标数据采集及处理，通过毫米波雷达探测采集雷达目标，采集雷达原始点数据，计算出坐标并标记时间，对多个目标数据进行存储，通过时间有效性筛选掉过时数据；雷达目标坐标变换，根据几何光学模型建立的快速坐标换算，通过对采集到的雷达目标物体平面数据纵向几何光路换算、横向几何光路换算、俯仰方向快速修正换算成屏幕上影像平面数据；图像数据采集及处理，通过域控制器采集摄像头实时视频图像，经过对比度优化、矫正畸变、感兴趣区域提取处理过程，形成视频图像；视频图像的二次绘图，利用域控制器的绘图组件，将雷达目标的影像平面数据绘制在实时所述视频图像上，合成影像平面数据；多媒体屏幕显示，将所述影像平面数据显示于多媒体屏幕，并显示纵向标尺、直线行驶轨迹、坐标数值、实时车速及方向盘角度。进一步地，所述纵向几何光路换算包括如下步骤：目标物体在物平面的相对高度(hi/hm)与其在像平面的相对高度(h′i/h′m)相等，如式(1)所示：当摄像头水平向前时，能拍摄到的可观测的最近地点物体视野高度hm等于摄像头高度h的两倍，如式(2)所示：hm＝2h(2)；目标物体i在物面上的投影高度hi，可根据物体的纵向距离yi计算得到，如式(3)所示：其中，y0为可观测的最近地点物体到摄像头的距离，可根据垂直方向最大视场角度α计算，如式(4)所示：则地平面上的物体纵向距离yi可变换为屏幕上的像素高度h′i，如式(5)所示：其中，h′m为屏幕高度。进一步地，所述横向几何光路换算包括如下步骤：目标物体在物平面的相对宽度(ki/km)与其在像平面的相对高度(k′i/k′m)相等，如式(6)所示：当摄像头水正向前时，能拍摄到的可观测的最近地点物体视野宽度km根据水平方向视场角度β和y0计算,如式(7)所示：目标物体在物平面上的投影宽度ki，可根据物体到摄像头的横向距离xi以及yi、y0计算得到,如式(8)所示：则地面上的物体横向距离xi可变换为屏幕上的像素宽度k′i,如式(9)所示其中，y0为可观测的最近地点物体到摄像头的距离，yi为物体的纵向距离，k′m为屏幕宽度，(xi,yi)为通过毫米波雷达采集的数据。进一步地，所述俯仰方向快速修正换算包括如下步骤：可旋转摄像头俯仰方向旋转后，目标物体在物面上的投影点与旋转前距离很近，将两个投影点近似为同一点，简化计算复杂度，目标物体在俯仰方向旋转后屏幕上的影像高度H′i按照如式(10)所示计算:其中，y0为可观测的最近地点物体到摄像头的距离，γ为摄像头俯仰方向旋转角度。进一步地，所述雷达目标数据采集及处理还包括如下步骤：多次采样的数据ID号相同时，则覆盖历史数据，并更新采样时间；数据ID号不同时，新建数据并标记采样时间。采用以上技术方案的有益效果是：采用本专利技术将汽车前向毫米波雷达检测的目标通过坐标变换的方法绘制在视频图像上，最终显示在车载多媒体屏幕，实现了雷达数据与视频图像数据的融合，完成了数据的可视化人机交互过程；为用户观察智能驾驶系统运行状况提供依据；为开发人员检查传感器数据及其处理过程的实效性、准确性提供依据；快速变换易于实现，在保证数据准确性的同时，节约CPU资源及研发成本。附图说明下面结合附图对本专利技术的具体实施方式作进一步详细的描述。图1是本专利技术实施例提供的雷达目标与图像融合的总体流程图；图2是本专利技术实施例提供的雷达目标数据处理原理图；图3是本专利技术实施例提供的纵向几何光路坐标变换过程图；图4是本专利技术实施例提供的横向几何光路坐标变换过程图；图5是本专利技术实施例提供的俯仰方向几何光路快速修正过程图；图6是本专利技术实施例提供的多媒体屏幕的人机交互显示示意图；图中：1、摄像头；2、毫米波雷达；3、可观测的最近地点物体；4、目标物体；5、可旋转摄像头；6、纵向标尺；7、行驶轨迹；8、雷达目标框图；9、当前车速值和方向盘角度值显示区。具体实施方式下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。如图1至2所示，本实施一种智能驾驶雷达和图像融合的人机交互方法，包括以下的步骤：雷达目标数据采集及处理，通过毫米波雷达2探测采集雷达目标，采集雷达原始点数据，计算出坐标并标记时间，对多个目标数据进行存储，多次采样的数据ID号相同时，则覆盖历史数据，并更新采样时间；数据ID号不同时，新建数据并标记采样时间，通过时间有效性筛选掉过时数据。雷达目标坐标变换，根据几何光学模型建立的快速坐标换算，通过对采集到的雷达目标物体4平面数据纵向几何光路换算、横向几何光路换算、俯仰方向快速修正换算成屏幕上影像平面数据；如图3所示，所述纵向几何光路换算包括如下步骤：目标物体4在物平面的相对高度(hi/hm)与其在像平面的相对高度(h′i/h′m)相等，如式(1)所示：当摄像头1水平向前时，能拍摄到的可观测的最近地点物体3视野高度hm本文档来自技高网...

【技术保护点】
1.一种智能驾驶雷达和图像融合的人机交互方法，其特征在于，包括以下的步骤：/n雷达目标数据采集及处理，通过毫米波雷达探测采集雷达目标，采集雷达原始点数据，计算出坐标并标记时间，对多个目标数据进行存储，通过时间有效性筛选掉过时数据；/n雷达目标坐标变换，根据几何光学模型建立的快速坐标换算，通过对采集到的雷达目标物体平面数据纵向几何光路换算、横向几何光路换算、俯仰方向快速修正换算成屏幕上影像平面数据；/n图像数据采集及处理，通过域控制器采集摄像头实时视频图像，经过对比度优化、矫正畸变、感兴趣区域提取处理过程，形成视频图像；/n视频图像的二次绘图，利用域控制器的绘图组件，将雷达目标的影像平面数据绘制在实时所述视频图像上，合成影像平面数据；/n多媒体屏幕显示，将所述影像平面数据显示于多媒体屏幕，并显示纵向标尺、直线行驶轨迹、坐标数值、实时车速值及方向盘角度值。/n

【技术特征摘要】
1.一种智能驾驶雷达和图像融合的人机交互方法，其特征在于，包括以下的步骤：
雷达目标数据采集及处理，通过毫米波雷达探测采集雷达目标，采集雷达原始点数据，计算出坐标并标记时间，对多个目标数据进行存储，通过时间有效性筛选掉过时数据；
雷达目标坐标变换，根据几何光学模型建立的快速坐标换算，通过对采集到的雷达目标物体平面数据纵向几何光路换算、横向几何光路换算、俯仰方向快速修正换算成屏幕上影像平面数据；
图像数据采集及处理，通过域控制器采集摄像头实时视频图像，经过对比度优化、矫正畸变、感兴趣区域提取处理过程，形成视频图像；
视频图像的二次绘图，利用域控制器的绘图组件，将雷达目标的影像平面数据绘制在实时所述视频图像上，合成影像平面数据；
多媒体屏幕显示，将所述影像平面数据显示于多媒体屏幕，并显示纵向标尺、直线行驶轨迹、坐标数值、实时车速值及方向盘角度值。


2.根据权利要求1所述的智能驾驶雷达和图像融合的人机交互方法，其特征在于，所述纵向几何光路换算包括如下步骤：
目标物体在物平面的相对高度(hi/hm)与其在像平面的相对高度(h′i/h′m)相等，如式(1)所示：



当摄像头水平向前时，能拍摄到的可观测的最近地点物体视野高度hm等于摄像头高度h的两倍，如式(2)所示：
hm＝2h(2)；
目标物体i在物面上的投影高度hi，可根据物体的纵向距离yi计算得到，如式(3)所示：



其中，y0为可观测的最近地点物体到摄像头的距离，可根据垂直方向最大视场角度α计算，如式(4)所示：



则地平面上的物体纵向距离yi可变换为屏幕上的像素高度h′i，如式(5)所示：
...

【专利技术属性】
技术研发人员：赵金龙，朱永生，欧阳琼林，
申请(专利权)人：深圳市布谷鸟科技有限公司，恒大新能源汽车科技广东有限公司，
类型：发明
国别省市：广东;44