【技术实现步骤摘要】
本申请涉及雷达和视频融合，具体涉及一种雷视智能融合的方法及系统。
技术介绍
1、雷视融合是指将雷达数据和视频数据的信息整合在一起的方式，旨在提供更全面更准确的环境感知。雷达是利用无线电波进行探测和定位目标的技术，有着不受光照影响、长距离探测以及测量精准的优点，但是其存在分辨率有限和目标识别困难的缺点。视频数据是使用摄像机将捕捉到的光信号转化为电信号呈现的数据，视频数据的优点在于拥有高分辨率，能够提供丰富信息，同样存在容易受到光照条件限制和易被遮挡的缺点。由此雷视融合是将两种数据之间的优势互补，主要应用于自动驾驶、无人机和军事系统中。
2、由于雷达数据和视频数据具有不同的特性和表示方式，由此为两种异构的数据融合带来困难。特别是在数据采集的过程中，视频数据容易受到光照因素的影响，造成像素点不准确等问题；雷达数据容易受回波噪声和电波散射的影响，造成回波强度和回波频率发生改变。
技术实现思路
1、为了解决上述技术问题，本专利技术提供一种雷视智能融合的方法及系统，所采用的技术方案具体如下：
2、第一方面，本专利技术实施例提供了一种雷视智能融合的方法，该方法包括以下步骤：
3、获取各采样时刻的视频数据和雷达数据，所述雷达数据为与视频数据相同大小的数据，雷达数据各位置对应视频数据各位置的像素点；
4、对于各采样时刻各位置的雷达数据，根据雷达数据的发射时刻和接收时刻的时间差构建与视频数据相同大小的距离图；将雷达数据进行傅里叶变换得到频谱图，获取频谱图
5、根据采样时刻位置及其前n个采样时刻对应位置的回波受扰因子之间的差异得到采样时刻位置的受扰前溯判定系数；根据采样时刻位置的回波受扰因子和受扰前溯判定系数得到受扰置信度系数；根据采样时刻及其上一采样时刻相同位置的距离值以及受扰置信度系数得到采样时刻位置的最优距离估计；将采样时刻各位置的最优距离估计组成采样时刻的最优距离估计图；
6、将各采样时刻的最优距离估计图与视频数据进行融合得到各采样时刻的雷视融合数据。
7、优选的，所述获取频谱图中各频率分量及其对应的能量，包括：
8、将频谱图中各包络的最大能量对应的频率作为各包络的频率分量；
9、将频谱图中所有包络的最大能量对应的频率分量作为基波频率，将基波频率对应的能量记为基波能量；
10、将基波能量的预设倍数下的能量作为筛选标准，将频谱图中大于筛选标准的最大能量对应包络的频率分量筛选出来，得到频谱图中各频率分量及其对应的能量。
11、优选的，所述根据频谱图中各频率分量及其对应的能量之间的差异得到频率紊乱系数，包括：
12、计算频率分量与基波频率的差值作为第一差值，计算频率分量对应的能量与基波能量的差值作为第二差值，计算所述第二差值与所述第一差值的比值的绝对值；
13、将频谱图中所有频率分量的所述绝对值的均值作为频率紊乱系数。
14、优选的，所述根据频谱图中的基波频率、基波能量以及雷达发射的脉冲信号频率和脉冲信号能量得到基波偏移系数，包括：
15、计算雷达发射的脉冲信号能量与基波能量的比值；
16、计算雷达发射的脉冲信号频率与基波频率的差值绝对值，将所述差值绝对值作为以自然常数为底数的指数函数的指数；
17、将指数函数的计算结果与所述比值的乘积作为基波偏移系数。
18、优选的，所述根据频率紊乱系数以及基波偏移系数得到回波受扰因子，包括：
19、计算频率紊乱系数与第一权重调节因子的乘积，计算基波偏移系数与第二权重调节因子的乘积，将两个乘积的和值作为回波受扰因子。
20、优选的，所述根据采样时刻位置及其前n个采样时刻对应位置的回波受扰因子之间的差异得到采样时刻位置的受扰前溯判定系数，包括：
21、将采样时刻位置的前n个采样时刻对应位置的回波受扰因子组成采样时刻位置的前溯受扰序列的各元素；
22、对于前溯受扰序列各元素，计算元素值与采样时刻位置的回波受扰因子的差值绝对值，将前溯受扰序列中所有元素的所述差值绝对值的均值作为采样时刻位置的前溯受扰序列差异系数；
23、获取前溯受扰序列中的最大值和最小值，计算采样时刻位置的回波受扰因子与最小值的差值作为第三差值，计算最大值与最小值的差值作为第四差值；
24、计算所述第三差值与所述第四差值的比值的绝对值，将所述绝对值与前溯受扰序列差异系数的乘积作为采样时刻位置的受扰前溯判定系数。
25、优选的，所述根据采样时刻位置的回波受扰因子和受扰前溯判定系数得到受扰置信度系数，包括：
26、将采样时刻位置的回波受扰因子和受扰前溯判定系数的乘积作为采样时刻位置的受扰置信度系数。
27、优选的，所述根据采样时刻及其上一采样时刻相同位置的距离值以及受扰置信度系数得到采样时刻位置的最优距离估计，包括：
28、将第一采样时刻位置的上一采样时刻对应位置的最优距离估计设置为0；
29、根据采样时刻的时间顺序，从前往后依次计算各采样时刻位置的最优距离估计，所述采样时刻位置的最优距离估计的计算方法为：
30、将采样时刻的受扰置信度系数与预设受扰缩放因子的比值的相反数作为以自然常数为底数的指数函数的指数；
31、获取采样时刻位置的上一采样时刻对应位置的最优距离估计，获取采样时刻位置在距离图中的距离值，计算所述距离值与上一采样时刻对应位置的最优距离估计的差值；
32、计算所述差值与所述指数函数的计算结果的乘积，将所述乘积与上一采样时刻对应位置的最优距离估计的和值作为采样时刻位置的最优距离估计。
33、优选的，所述将各采样时刻的最优距离估计图与视频数据进行融合得到各采样时刻的雷视融合数据，包括：
34、对于各采样时刻的最优距离估计图和图像数据，将图像数据采用二维伽马函数进行校正得到校正图像数据；
35、采用神经网络对最优距离估计图和校正图像数据进行融合得到雷视融合数据。
36、第二方面，本专利技术实施例还提供了一种雷视智能融合的系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
37、本专利技术至少具有如下有益效果：
38、本专利技术通过雷达回波信号在频率响应上与发射信号之间的差异，通过计算频率紊乱系数和基波偏移系数，从而得到对应位置的回波受扰因子，从频域层面分析了回波信号中受到外界干扰导致能量衰减、频率偏移的程度，使得对后续距离图中对应位置的距离值可以初步判别其异常波动情况；
本文档来自技高网...
【技术保护点】
1.一种雷视智能融合的方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的一种雷视智能融合的方法，其特征在于，所述获取频谱图中各频率分量及其对应的能量，包括：
3.如权利要求2所述的一种雷视智能融合的方法，其特征在于，所述根据频谱图中各频率分量及其对应的能量之间的差异得到频率紊乱系数，包括：
4.如权利要求2所述的一种雷视智能融合的方法，其特征在于，所述根据频谱图中的基波频率、基波能量以及雷达发射的脉冲信号频率和脉冲信号能量得到基波偏移系数，包括：
5.如权利要求1所述的一种雷视智能融合的方法，其特征在于，所述根据频率紊乱系数以及基波偏移系数得到回波受扰因子，包括：
6.如权利要求5所述的一种雷视智能融合的方法，其特征在于，所述根据采样时刻位置及其前N个采样时刻对应位置的回波受扰因子之间的差异得到采样时刻位置的受扰前溯判定系数，包括：
7.如权利要求1所述的一种雷视智能融合的方法，其特征在于，所述根据采样时刻位置的回波受扰因子和受扰前溯判定系数得到受扰置信度系数，包括：
8.如权利要求1
9.如权利要求1所述的一种雷视智能融合的方法，其特征在于，所述将各采样时刻的最优距离估计图与视频数据进行融合得到各采样时刻的雷视融合数据，包括：
10.一种雷视智能融合的系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任意一项所述方法的步骤。
...【技术特征摘要】
1.一种雷视智能融合的方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的一种雷视智能融合的方法，其特征在于，所述获取频谱图中各频率分量及其对应的能量，包括：
3.如权利要求2所述的一种雷视智能融合的方法，其特征在于，所述根据频谱图中各频率分量及其对应的能量之间的差异得到频率紊乱系数，包括：
4.如权利要求2所述的一种雷视智能融合的方法，其特征在于，所述根据频谱图中的基波频率、基波能量以及雷达发射的脉冲信号频率和脉冲信号能量得到基波偏移系数，包括：
5.如权利要求1所述的一种雷视智能融合的方法，其特征在于，所述根据频率紊乱系数以及基波偏移系数得到回波受扰因子，包括：
6.如权利要求5所述的一种雷视智能融合的方法，其特征在于，所述根据采样时刻位置及其前n个采样时刻对应位置的回...
【专利技术属性】
技术研发人员：吴柯维，朱小平，何晓罡，吴银，
申请(专利权)人：北京卓视智通科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。