一种基于多源车载设备的融合感知方法及系统技术方案

本发明专利技术涉及融合感知技术领域，尤其是涉及一种基于多源车载设备的融合感知方法及系统。所述方法包括获取车辆周边的环境数据和车辆状态数据；对获取的环境数据和车辆状态数据进行时间同步；对时间同步后的环境数据进行特征提取；用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果。本发明专利技术通过对多传感器检测到的目标进行全局跟踪，能有效实现环境感知、障碍物检测、轨迹预测、预警信息和导航等功能。设备在行驶道路感知层面能识别前方人行道、交通路侧标识、交通信号灯和道路地形路况等；能够实时、准确识别周边影响交通安全的物体，可靠、准确识别地规划出可保证规范、安全、迅速到达目的地的行驶路径。迅速到达目的地的行驶路径。迅速到达目的地的行驶路径。

【技术实现步骤摘要】
一种基于多源车载设备的融合感知方法及系统


[0001]本专利技术涉及融合感知
，尤其是涉及一种基于多源车载设备的融合感知方法及系统。

技术介绍

[0002]随着社会经济和科学技术持续快速的发展，机动车辆迅速增加，不同智能水平的车辆逐渐进入市场，智能网联车辆和普通车辆将在很长一段时间内以不同比例混合在道路上。面对日益复杂的城市道路交通系统，提高交通管理水平和交通运行效率，保证交通安全稳定尤为重要。因此，对异构交通流运行状态的研究具有十分重要的理论意义和应用价值，而实时准确的获取交通参数信息就是研究异构交通流运行状态的基础。同时技术发展使得交通检测器性能逐渐优化，设备种类多样。
[0003]然而传统的信息获取方式一般都采用单一类型传感器，由于受到自身制约，单一传感器无法获取到足够全面的信息。例如，视频检测器在大雾、雨雪等光照条件较差的恶劣天气环境中的观察范围会受到影响，此外体积较大车辆的遮挡容易造成小型车辆的漏检；毫米波雷达能够穿透雾、烟、灰尘，通过捕获反射信号获取距离、速度、角度等参数，但在因高分辨率多次识别大型车辆不同位置的情况下会产生检测误差。且单一的传感器采集的数据并不具备整体性和智能性，3D环境建模使激光雷达成为核心传感器，但其无法识别图像及颜色，且在恶劣天气下性能明显降低。毫米波雷达能实现全天候感知，但其分辨率较低，且难以成像。摄像头价格低廉，能够识别交通参与者和交通标识，但却无法实现点阵建模和远距测距。因此亟需一种基于多源车载设备的融合感知方法及系统。

技术实现思路

[0004]为了解决上述提到的问题，本专利技术提供一种基于多源车载设备的融合感知方法及系统。
[0005]第一方面，本专利技术提供的一种基于多源车载设备的融合感知方法，采用如下的技术方案：一种基于多源车载设备的融合感知方法，包括：获取车辆周边的环境数据和车辆状态数据；对获取的环境数据和车辆状态数据进行时间同步；对时间同步后的环境数据进行特征提取；利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果。
[0006]进一步地，所述获取车辆周边的环境数据和车辆状态数据，包括利用车载激光雷达、毫米波雷达和摄像头，获取车辆周边的环境数据。
[0007]进一步地，所述获取车辆周边的环境数据和车辆状态数据，包括利用车辆的惯导系统获取车辆行驶过程性中的速度、偏角和位置信息，将其作为车辆状态数据；进一步地，所述对获取的环境数据和车辆状态数据进行时间同步，包括通过控制
采样周期和采样帧率，实现共同采样一帧数据，保证时间同步。
[0008]进一步地，所述对时间同步后的环境数据和车辆状态数据进行特征提取，包括利用预训练CNN模型对车辆的环境数据提取特征图。
[0009]进一步地，所述利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果，包括将提取的特征图拼接操作后形成多尺度的特征图结构，并将特征图结构送入神经网络中。
[0010]进一步地，所述利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果，还包括利用神经网络根据特征图结构得出知结果。
[0011]第二方面，一种基于多源车载设备的融合感知系统，包括：数据获取模块，被配置为，获取车辆周边的环境数据和车辆状态数据；同步模块，被配置为，对获取的环境数据和车辆状态数据进行时间同步；特征提取模块，被配置为，对时间同步后的环境数据进行特征提取；融合感知模块，被配置为，利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果。
[0012]第三方面，本专利技术提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于多源车载设备的融合感知方法。
[0013]第四方面，本专利技术提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于多源车载设备的融合感知方法。
[0014]综上所述，本专利技术具有如下的有益技术效果：本专利技术通过对多传感器检测到的目标进行全局跟踪，能有效实现环境感知、障碍物检测、轨迹预测、预警信息和导航等功能。设备在行驶道路感知层面能识别前方人行道、交通路侧标识、交通信号灯和道路地形路况等；能够实时、准确识别周边影响交通安全的物体，可靠、准确识别地规划出可保证规范、安全、迅速到达目的地的行驶路径。
附图说明
[0015]图1是本专利技术实施例1的一种基于多源车载设备的融合感知方法的流程示意图。
具体实施方式
[0016]以下结合附图对本专利技术作进一步详细说明。
[0017]实施例1参照图1，本实施例的一种基于多源车载设备的融合感知方法，包括：获取车辆周边的环境数据和车辆状态数据；对获取的环境数据和车辆状态数据进行时间同步；对时间同步后的环境数据进行特征提取；利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果。所述获取车辆周边的环境数据和车辆状态数据，包括利用车载激光雷达、毫米波雷达和摄像头，获取车辆周边的环境数据。所述获取车辆周边的环境数据和车辆状态数据，包括利用车辆的惯导系统获取车辆行驶过程性中的速度、偏角和位置信息，将其作为车辆状态数据；所述对获取的环境数据和车辆状态数据进行时间同步，包括通过控制采样周期和采样帧率，实现共同采样一帧数据，保证时间同步。所
述对时间同步后的环境数据和车辆状态数据进行特征提取，包括利用预训练CNN模型对车辆的环境数据提取特征图。所述利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果，包括将提取的特征图拼接操作后形成多尺度的特征图结构，并将特征图结构送入神经网络中。所述利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果，还包括利用神经网络根据特征图结构得出知结果。
[0018]具体的，本专利技术利用多源传感器包括设置在车辆上的激光雷达、毫米波雷达和摄像头；其中，所述激光雷达用于生成原始点云数据，包括4线、16线和32线激光雷达；所述4线激光雷达布置于车辆前方正中位置；所述16线激光雷达位于车辆前方，以对称分居4线激光雷达两侧；所述32线雷达位于车辆顶部；所述毫米波雷达用于生成包含障碍物信息毫米波信号数据，包括ESR毫米波雷达和RSDS毫米波雷达；所述ESR毫米波雷达安装于车辆前方，位于4线激光雷达上方；所述RSDS毫米波雷达安装于16线激光雷达下方；所述摄像头用于采集图像和视频信息数据，包括普通摄像头和鱼眼摄像头。
[0019]所述普通摄像头位于驾驶室前上方，用于采集图像和视频信息；所述鱼眼摄像头安装于车辆反光镜处，用于采集图像信息。
[0020]上述多源传感器中，毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。
[0021]通过建立精确的雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现多传感器数据的空间融合的关键；雷达与视觉传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源车载设备的融合感知方法，其特征在于，包括：获取车辆周边的环境数据和车辆状态数据；对获取的环境数据和车辆状态数据进行时间同步；对时间同步后的环境数据进行特征提取；利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果。2.根据权利要求1所述的一种基于多源车载设备的融合感知方法，其特征在于，所述获取车辆周边的环境数据和车辆状态数据，包括利用车载激光雷达、毫米波雷达和摄像头，获取车辆周边的环境数据。3.根据权利要求2所述的一种基于多源车载设备的融合感知方法，其特征在于，所述获取车辆周边的环境数据和车辆状态数据，包括利用车辆的惯导系统获取车辆行驶过程性中的速度、偏角和位置信息，将其作为车辆状态数据。4.根据权利要求3所述的一种基于多源车载设备的融合感知方法，其特征在于，所述对获取的环境数据和车辆状态数据进行时间同步，包括通过控制采样周期和采样帧率，实现共同采样一帧数据，保证时间同步。5.根据权利要求4所述的一种基于多源车载设备的融合感知方法，其特征...

【专利技术属性】
技术研发人员：陈雪梅，薛杨武，肖龙，杨宏伟，赵小萱，
申请(专利权)人：山东汇创信息技术有限公司，
类型：发明
国别省市：