一种多传感器数据融合方法技术

本发明专利技术公开了一种多传感器数据融合方法，通过确定从多路摄像头、多路激光雷达和多路毫米波雷达的多路传感数据的基准时间，并获取多路激光雷达的点云数据，并转换为结构化数据作为第一待融合数据；根据多路毫米波雷达的点云数据组成的结构化数据的时间戳和预设的偏置时间，确定每一路毫米波雷达点云数据最接近所述基准时间的第二待融合数据，以及多路摄像头时间同步的第三待融合数据；将每一路未超时的数据进行融合，得到每一路的融合数据；将符合预设的融合条件的多路融合数据进行合并，作为融合感知的输出结果。能够解决多传感器数据融合中的时间同步问题，避免感知系统发生目标感知错误、融合错误和追踪失误的问题。融合错误和追踪失误的问题。融合错误和追踪失误的问题。

【技术实现步骤摘要】
一种多传感器数据融合方法


[0001]本专利技术涉及车联网
，具体涉及一种多传感器数据融合方法。

技术介绍

[0002]感知系统作为车路协同技术体系中的核心组成，可用于支撑各类车联网应用场景及辅助高等级自动驾驶落地实现。通过路侧智能设备对交通环境进行智能感知，对交通参与者、道路状况、交通态势等进行智能识别，并将识别结果通过C
‑
V2X通信技术实时发送给智能网联车辆进行决策，提升车辆的感知范围，提供超视距路况感知功能，有效弥补单车智能的感知盲点，提升车辆行驶的安全性和效率。但单一的感知设备，如：激光雷达、毫米波雷达、摄像机等均存在各自的短板，难以适用于所有场景。而将不同感知设备获取的数据通过边缘计算能力进行融合，使能数据的维度更丰富、数据的置信度更高。
[0003]但是各传感器设备由于时钟晶振、传输频率、传感器自身设备延时、网路传输延时等问题，在数据容易时，难以实现多传感器时间同步，容易导致目标感知错误、融合错误和追踪失误的问题。

技术实现思路

[0004]为了解决上述问题，本专利技术提出一种多传感器数据融合方法，能够解决多传感器数据融合中的时间同步问题，避免感知系统发生目标感知错误、融合错误和追踪失误的问题。
[0005]本专利技术实施例提供一种多传感器数据融合方法，所述方法包括：
[0006]确定从多路摄像头、多路激光雷达和多路毫米波雷达的多路传感数据的基准时间，并获取多路激光雷达的点云数据，并转换为结构化数据作为第一待融合数据；
[0007]根据多路毫米波雷达的点云数据组成的结构化数据的时间戳和预设的偏置时间，确定每一路毫米波雷达点云数据最接近所述基准时间的第二待融合数据；
[0008]从多路摄像头获取的视频流配置时间戳，并根据预设的最小偏置值和预设的最大偏置值，截取每一路视频流中和所述基准时间同步的第三待融合数据；
[0009]根据预设的超时条件对所述第一待融合数据、所述第二待融合数据和所述第三待融合数据中每一路数据进行判断，将每一路未超时的数据进行融合，得到每一路的融合数据；
[0010]将符合预设的融合条件的多路融合数据进行合并，作为融合感知的输出结果。
[0011]优选地，在确定基准时间前，所述方法还包括：
[0012]对所述多路摄像头、所述多路激光雷达和所述多路毫米波雷达进行空间参数的同步标定，所述空间参数包括相机内参、激光雷达外参、毫米波雷达外参以及多传感器的融合参数。
[0013]作为一种优选方案，在确定基准时间前，所述方法还包括：
[0014]通过GPS技术、NTP时间同步技术或者PTP时间同步技术对所述多路摄像头、所述多
路激光雷达和所述多路毫米波雷达进行统一授时，同步时间。
[0015]优选地，所述基准时间采用所述多路激光雷达的时间戳。
[0016]作为一种优选方案，所述根据多路毫米波雷达的点云数据组成的结构化数据的时间戳和预设的偏置时间，确定每一路毫米波雷达点云数据最接近所述基准时间的第二待融合数据，具体包括：
[0017]以所述基准时间的时间戳T0为基准，结合预设的偏置时间T
Hr
，确定毫米波雷达的时间区间为[T0‑
T
hr
，T0+T
hr
]；
[0018]找到N路毫米波雷达结构化数据中每一路最接近所述时间区间中心点的内的一帧数据，将找到的N帧数据R
1n
、R
2n
、R
3n
...R
Nn
作为所述第二待融合数据。
[0019]优选地，所述从多路摄像头获取的视频流配置时间戳，并根据预设的最小偏置值和预设的最大偏置值，截取每一路视频流中和所述基准时间同步的第三待融合数据，具体包括：
[0020]对多路摄像头获取的数据中进行识别，并对其中无时间戳的视频帧数据进行解码，并配置本地时间的时间戳，完成视频流的授时；
[0021]将授时后的视频流的视频帧按照预设的延迟缓存到缓存队列；
[0022]获取缓存队列里N路视频流的视频帧的时间戳Tc，计算所述基准时间和每一视频的视频戳T
c
的差值，并比较计算的差值与根据每路配置的偏置区间确定最小偏置值T
min
、所述最大偏置值T
max
间的大小关系；
[0023]当T
min
≤T0‑
T
c
≤T
max
，且所述最小偏置值为正值时，截取每一路同步的待融合视频帧，将获取的N路待融合视频帧C
1n
、C
2n
、C
3n
...C
Nn
作为所述第三待融合数据；
[0024]当T0‑
T
c
＜T
min
，且T0‑
T
c
＞T
max
，且所述最小偏置值为负值时，截取每一路同步的待融合视频帧，将获取的N路待融合视频帧C
1n
、C
2n
、C
3n
...C
Nn
作为所述第三待融合数据；
[0025]当某一路的视频帧满足预测的下一个基准时间的偏置区间，则该路视频流缓存队列满足下一个偏置区间的一帧待融合视频帧不推出。
[0026]优选地，所述根据预设的超时条件对所述第一待融合数据、所述第二待融合数据和所述第三待融合数据中每一路数据进行判断，将每一路未超时的数据进行融合，得到每一路的融合数据，具体包括：
[0027]查验所述第一待融合数据、所述第二待融合数据和所述第三待融合数据的时间戳，判断第i路的第一数据LF，第二数据R
in
和第三数据C
iN
的时间戳T
ki
与所述基准时间的时间差，是否超过预设的第一阈值T
M1
；
[0028]当第i路的第一数据LF，第二数据R
in
和第三数据C
iN
的时间戳T
ki
与所述基准时间的时间差，存在超过所述第一阈值T
M1
的数据时，抛弃第i路数据；
[0029]当第i路的第一数据LF，第二数据R
in
和第三数据C
iN
的时间戳T
ki
与所述基准时间的时间差，均不超过所述第一阈值T
M1
时，将第i路的第一数据LF，第二数据R
in
和第三数据C
iN
进行融合，得到第i路的融合数据；
[0030]通过对每一路的数据进行判断，得到每一路的融合数据；
[0031]其中，i＝1，2，
…
，N，N为多传感器的路数，N为正整数。
[0032]优选地，所述将符合预设的融合条件的多路融合数据进行合并，作为融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多传感器数据融合方法，其特征在于，所述方法包括：确定从多路摄像头、多路激光雷达和多路毫米波雷达的多路传感数据的基准时间，并获取多路激光雷达的点云数据，并转换为结构化数据作为第一待融合数据；根据多路毫米波雷达的点云数据组成的结构化数据的时间戳和预设的偏置时间，确定每一路毫米波雷达点云数据最接近所述基准时间的第二待融合数据；从多路摄像头获取的视频流配置时间戳，并根据预设的最小偏置值和预设的最大偏置值，截取每一路视频流中和所述基准时间同步的第三待融合数据；根据预设的超时条件对所述第一待融合数据、所述第二待融合数据和所述第三待融合数据中每一路数据进行判断，将每一路未超时的数据进行融合，得到每一路的融合数据；将符合预设的融合条件的多路融合数据进行合并，作为融合感知的输出结果。2.根据权利要求1所述的多传感器数据融合方法，其特征在于，在确定基准时间前，所述方法还包括：对所述多路摄像头、所述多路激光雷达和所述多路毫米波雷达进行空间参数的同步标定，所述空间参数包括相机内参、激光雷达外参、毫米波雷达外参以及多传感器的融合参数。3.根据权利要求1所述的多传感器数据融合方法，其特征在于，在确定基准时间前，所述方法还包括：通过GPS技术、NTP时间同步技术或者PTP时间同步技术对所述多路摄像头、所述多路激光雷达和所述多路毫米波雷达进行统一授时，同步时间。4.根据权利要求1所述的多传感器数据融合方法，其特征在于，所述基准时间采用所述多路激光雷达的时间戳。5.根据权利要求1所述的多传感器数据融合方法，其特征在于，所述根据多路毫米波雷达的点云数据组成的结构化数据的时间戳和预设的偏置时间，确定每一路毫米波雷达点云数据最接近所述基准时间的第二待融合数据，具体包括：以所述基准时间的时间戳T0为基准，结合预设的偏置时间T
Hr
，确定毫米波雷达的时间区间为[T0‑
T
hr
，T0+T
hr
]；找到N路毫米波雷达结构化数据中每一路最接近所述时间区间中心点的内的一帧数据，将找到的N帧数据R
1n
、R
2n
、R
3n
...R
Nn
作为所述第二待融合数据。6.根据权利要求1所述的多传感器数据融合方法，其特征在于，所述从多路摄像头获取的视频流配置时间戳，并根据预设的最小偏置值和预设的最大偏置值，截取每一路视频流中和所述基准时间同步的第三待融合数据，具体包括：对多路摄像头获取的数据中进行识别，并对其中无时间戳的视频帧数据进行解码，并配置本地时间的时间戳，完成视频流的授时；将授时后的视频流的视频帧按照预设的延迟缓存到缓存队列；获取缓存队列里N路视频流的视频帧的时间戳Tc，计算所述基准时间和每一视频的视频戳T
c
的差值，并比较计算的差值与根据每路配置的偏置区间确定最小偏置值T
min
、所述最大偏置值T
max
间的大小关系；当T
min
≤T0‑
T
c
≤T
max
，且所述最小偏置值为正值时，截取每一路同步的...

【专利技术属性】
技术研发人员：吴冬升，郑泽彬，潘丰鑫，袁爱平，郑廷钊，刘双广，
申请(专利权)人：高新兴科技集团股份有限公司，
类型：发明
国别省市：