雷视融合系统、终端技术方案

本发明专利技术公开了一种雷视融合系统，包括雷达模块，用于通过雷达获得位置信息；视觉摄像头模块，用于捕捉影像信息；鲁棒性多级融合模块，用于将位置信息和影像信息进行多级融合，获得融合信息；多目标学习模块，用于识别融合信息中的多目标检测、跟踪、行为。本发明专利技术能够提高行为识别效果，为智能驾驶做好基础保障。为智能驾驶做好基础保障。为智能驾驶做好基础保障。

【技术实现步骤摘要】
雷视融合系统、终端


[0001]本专利技术涉及检测系统，具体为雷视融合系统、终端。

技术介绍

[0002]目前每个城市的每百户家庭有用汽车数越来越高，因此城市的交通负载越来越大，越来越容易出现拥堵现象。现在越来越多的智能汽车出现，也逐渐衍生出智能驾驶功能，但是想要真正实现智能驾驶，则需要非常高精度的信号传输，并且对动态识别也具有非常高的要求，需要预测行人行为、附近车辆行为、红绿灯变化等，因此智能驾驶对于动态行为识别的要求非常高。

技术实现思路

[0003]针对现有技术存在的不足，本专利技术的目的在于提供一种雷视融合系统、终端，能够提高行为识别效果，为智能驾驶做好基础保障。
[0004]为实现上述目的，本专利技术提供了如下技术方案：一种雷视融合系统，包括
[0005]雷达模块，用于通过雷达获得位置信息；
[0006]视觉摄像头模块，用于捕捉影像信息；
[0007]鲁棒性多级融合模块，用于将位置信息和影像信息进行多级融合，获得融合信息；
[0008]多目标学习模块，用于识别融合信息中的多目标检测、跟踪、行为。
[0009]作为本专利技术的进一步改进，所述雷达模块包括非均匀稀疏阵天线和干扰抑制模块；
[0010]该非均匀稀疏阵天线的具有发射天线和接收天线，所述发射天线的x轴坐标包括0和9λ/2；所述接收天线的x轴坐标包括0、3λ/2、4λ/2、6λ/2；
[0011]所述干扰抑制模块获取接收天线的数据，并通过干扰抑制模块降低干扰，并传输给鲁棒性多级融合模块。
[0012]作为本专利技术的进一步改进，该非均匀稀疏阵天线具有16个阵元，其中发射天线的分布为Tx＝[1000000001]；接收天线的分布为Rx＝[1001101]，其中1表示所处位置有天线，0表示所处位置没有天线。
[0013]作为本专利技术的进一步改进，所述雷达模块还包括用于获取接收天线和发射天线的信号处理模块，该信号处理模块包括依次连接的混频器、带通滤波器、AD采样电路、距离FFT模块、二维FFT模块、非相干累加模块、恒虚警率检测模块、目标点角度估算模块；
[0014]所述混频器与接收天线和发射天线均电连接。
[0015]作为本专利技术的进一步改进，所述鲁棒性多级融合模块包括图像增强模块、特征表示模块、多级融合结构模块，所述图像增强模块用于增强视觉摄像头捕捉的影像；所述特征表示模块用于获取增强后的影像的影像信息和雷达模块的位置信息的特征数据；多级融合结构模块用于获取影像信息和雷达模块的特征数据，并进行雷视融合获得融合信息。
[0016]作为本专利技术的进一步改进，所述多目标学习模块包括目标检测模块、目标跟踪模
块、行为识别模块、轨迹更新预测模块；所述目标检测模块获取融合信息，并向目标跟踪模块、行为识别模块、轨迹更新预测模块传递融合信息内的多目标信息；目标跟踪模块实时获取多目标信息中的位置变化数据，并将该跟踪数据发送给轨迹更新预测模块；所述轨迹更新预测模块位置变化数据实时更新预测轨迹；所述行为识别模块获取预测轨迹和多目标信息并分析获得行为动作。
[0017]作为本专利技术的进一步改进，所述图像增强模块包括去雨、去雾、去雪的画质修复步骤。
[0018]作为本专利技术的进一步改进，所述干扰抑制模块通过FMCW和STFI技术抑制干扰。
[0019]一种雷视融合终端，其内部设置了上述系统。
[0020]本专利技术的有益效果，雷达模块用于获取雷达探测的多目标位置信息，同时通过视觉摄像头模块捕捉多目标影像信息，以两者作为基础，通过鲁棒性多级融合模块将位置信息和影像信息进行结合，实现高精度的识别。鲁棒性多级融合方案相比普通的数据融合来说，具备更高的成像效果，能够让识别精度更高，能够辅助多目标学习模块的多目标检测、跟踪和行为。
附图说明
[0021]图1为本专利技术的系统框图；
[0022]图2为本专利技术的非均匀稀疏阵天线阵列图；
[0023]图3为本专利技术的雷达模块框图；
[0024]附图标号：1、雷达模块；11、非均匀稀疏阵天线；111、发射天线；112、接收天线；12、干扰抑制模块；2、视觉摄像头模块；3、鲁棒性多级融合模块；31、图像增强模块；32、特征表示模块；33、多级融合结构模块；4、多目标学习模块；41、目标检测模块；42、目标跟踪模块；43、行为识别模块；44、轨迹更新预测模块；5、信号处理模块；51、混频器；52、带通滤波器；53、AD采样电路；54、距离FFT模块；55、二维FFT模块；56、非相干累加模块；57、恒虚警率检测模块；58、目标点角度估算模块。
具体实施方式
[0025]下面将结合附图所给出的实施例对本专利技术做进一步的详述。
[0026]参照图1
‑
3所示，一种雷视融合系统，包括
[0027]雷达模块1，用于通过雷达获得位置信息；
[0028]视觉摄像头模块2，用于捕捉影像信息；
[0029]鲁棒性多级融合模块3，用于将位置信息和影像信息进行多级融合，获得融合信息；
[0030]多目标学习模块4，用于识别融合信息中的多目标检测、跟踪、行为。
[0031]其中雷达模块1用于获取雷达探测的多目标位置信息，同时通过视觉摄像头模块2捕捉多目标影像信息，以两者作为基础，通过鲁棒性多级融合模块3将位置信息和影像信息进行结合，实现高精度的识别。另外，鲁棒性多级融合方案相比普通的数据融合来说，具备更高的成像效果，能够让识别精度更高，能够辅助多目标学习模块4的多目标检测、跟踪和行为。
[0032]更具体的来说，所述鲁棒性多级融合模块3包括图像增强模块31、特征表示模块32、多级融合结构模块33，所述图像增强模块31用于增强视觉摄像头捕捉的影像；所述特征表示模块32用于获取增强后的影像的影像信息和雷达模块1的位置信息的特征数据；多级融合结构模块33用于获取影像信息和雷达模块1的特征数据，并进行雷视融合获得融合信息。
[0033]通过图像增强模块31能够提高影像的画质，进而为提高识别精度做好基础，然后通过特征表示模块32对影像数据信息和位置信息进行特征获取，通过特征获取能够排除数据量，而且能够精确获得目标所处的位置及影像，同时能够增加硬件处理速度。再将获取到的特征数据通过多级融合结构模块33进行融合，构成雷视融合模式，进一步提高识别准确率。
[0034]更进一步的，所述多目标学习模块4包括目标检测模块41、目标跟踪模块42、行为识别模块43、轨迹更新预测模块44；所述目标检测模块41获取融合信息，并向目标跟踪模块42、行为识别模块43、轨迹更新预测模块44传递融合信息内的多目标信息；目标跟踪模块42实时获取多目标信息中的位置变化数据，并将该跟踪数据发送给轨迹更新预测模块44；所述轨迹更新预测模块44位置变化数据实时更新预测轨迹；所述行为识别模块43获取预测轨迹和多目标信息并分析获得行为动作。
[0035]其中目标检测模块41是获取融合信息，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种雷视融合系统，其特征在于，包括雷达模块，用于通过雷达获得位置信息；视觉摄像头模块，用于捕捉影像信息；鲁棒性多级融合模块，用于将位置信息和影像信息进行多级融合，获得融合信息；多目标学习模块，用于识别融合信息中的多目标检测、跟踪、行为。2.根据权利要求1所述的雷视融合系统，其特征在于，所述雷达模块包括非均匀稀疏阵天线和干扰抑制模块；该非均匀稀疏阵天线的具有发射天线和接收天线，所述发射天线的x轴坐标包括0和9λ/2；所述接收天线的x轴坐标包括0、3λ/2、4λ/2、6λ/2；所述干扰抑制模块获取接收天线的数据，并通过干扰抑制模块降低干扰，并传输给鲁棒性多级融合模块。3.根据权利要求2所述的雷视融合系统，其特征在于，该非均匀稀疏阵天线具有16个阵元，其中发射天线的分布为Tx＝[1000000001]；接收天线的分布为Rx＝[1001101]，其中1表示所处位置有天线，0表示所处位置没有天线。4.根据权利要求3所述的雷视融合系统，其特征在于，所述雷达模块还包括用于获取接收天线和发射天线的信号处理模块，该信号处理模块包括依次连接的混频器、带通滤波器、AD采样电路、距离FFT模块、二维FFT模块、非相干累加模块、恒虚警率检测模块、目标点角度估算模块；所述混频器与接收天线和发...

【专利技术属性】
技术研发人员：周双，
申请(专利权)人：浙江六季信息科技有限公司，
类型：发明
国别省市：