基于雷达和视频联动的深度融合算法制造技术

本发明专利技术公开了基于雷达和视频联动的深度融合算法，包括以下步骤：步骤一，训练集建立；步骤二，基础模型建立；步骤三，融合数据接收；步骤四，模型内部调整；步骤五，联动融合处理；步骤六，像素处理显示；本发明专利技术，在训练集建立的过程中使用高斯滤波器进行平滑处理替代人工处理的模糊聚焦图像，无需人工参与训练材料的处理过程，减轻了前端工作人员提取分割的处理工作量；融合处理之前结合前期处理结果优化调整融合基础模型的内部结构，避免融合处理时因步长不匹配而增大融合处理的信息损失率；在进行可视化显示之前，通过像素处理调整输出影像的像素点大小，优化了联动融合的影像输出，满足了用户的个性化需求，提高了用户的使用体验。验。验。

【技术实现步骤摘要】
基于雷达和视频联动的深度融合算法


[0001]本专利技术涉及融合处理
，具体为基于雷达和视频联动的深度融合算法。

技术介绍

[0002]雷达与视频的融合处理，可以在有限的检测点环境下提供全面的视频输出，优化了用户的视觉感官体验，在环境感知领域中得到了广泛的应用，现有用于雷达与视频的融合算法基本可以满足日常的使用需求，但仍存在一定的不足之处，其一，现有用于雷达与视频的融合算法中的训练集大多需要人工进行导入处理，处理过程中需要人工提取聚焦模糊图像并进行监督训练，增大了前端工作人员提取分割的处理工作量；其二，现有用于雷达与视频的融合算法无法结合输入数据对融合模型进行优化调整，融合模型中的处理步数与初始数据不匹配；会增大融合处理的信息损失率；其三，现有用于雷达与视频的融合算法无法在显示生成之前对输出的影像像素进行调整，难以满足用户的个性化需求，降低了用户的使用体验；因此设计基于雷达和视频联动的深度融合算法是很有必要的。

技术实现思路

[0003]本专利技术的目的在于提供基于雷达和视频联动的深度融合算法，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：基于雷达和视频联动的深度融合算法，包括以下步骤：步骤一，训练集建立；步骤二，基础模型建立；步骤三，融合数据接收；步骤四，模型内部调整；步骤五，联动融合处理；步骤六，像素处理显示；
[0005]其中上述步骤一中，向融合处理平台中上传融合算法的学习训练集，之后对训练集中的数据进行预处理；
[0006]其中上述步骤二中，将步骤一中经过预处理节后的数据倒入学习算法中，生成对应的融合基础模型；
[0007]其中上述步骤三中，将需要进行深度融合的雷达数据和视频数据传输到融合处理平台中，随后分别对雷达数据和视频数据进行前期处理；
[0008]其中上述步骤四中，结合步骤三中雷达数据和视频数据的前期处理结果，对融合基础模型模型进行优化调整，调整后得到深度融合处理模型；
[0009]其中上述步骤五中，将步骤三中雷达数据和视频数据的前期处理结果导入步骤四中得到的深度融合处理模型，之后通过深度融合处理模型进行联动融合处理；
[0010]其中上述步骤六中，将步骤五中得到的联动融合处理传输到后处理端口中进行像素处理，之后将处理后的影像传输到平台的显示端进行可视化显示。
[0011]优选的，所述步骤一中，对训练集中的数据进行预处理的方式为，使用高斯滤波器分别对聚焦清晰的视频信息和采样波形完整的雷达数据进行平滑处理，之后通过特征提取分别调用视频信息和雷达数据中的特征，然后生成对应的散焦融合图像。
[0012]优选的，所述步骤二中，融合基础模型分为8层结构，其中前5层为卷积层，后3层为
全连接层，模型的输出末端以softmax函数作为损失函数，卷积层之间直接连接，且第3到第5层卷积层之间设置有池化层，卷积层与池化层之间设置有4096个结点，最后输出到softmax损失层，完成模型的输出过程。
[0013]优选的，所述步骤三中，对雷达数据进行前期处理的过程为：首先去除数据的收尾无效波段，之后进行水平距离均匀化处理，接着调整波形方向，并进行零点校正，随后分别进行水平滤波和垂直滤波，然后按照介电常数和电磁波速来识别目标信号。
[0014]优选的，所述步骤三中，对视频数据进行前期处理的过程为：首先分析视频数据中的无效帧段，接着通过过滤处理去除数据中的无效帧段，接着分析视频的格式规格，并根据平台的兼容模式对处理后的视频进行格式转化。
[0015]优选的，所述步骤四中，对融合基础模型模型进行优化调整的过程为：首先分别接收并分析步骤三中雷达数据和视频数据的前期处理结果，然后判定数据的规格、像素大小及数据特征，随后根据判定结果调整融合基础模型中的卷积层实际参与处理的层数，并同步调整卷积层中的卷积核数量，之后根据卷积核数量调整卷积层中池化层的大小，并调节全连接层上的输入输出结点。
[0016]优选的，所述步骤六中，像素处理的过程为：首先使用Brenner函数计算处理后相邻两个像素点的色度差平方，之后使用Sobel算子对水平和垂直方向的梯度值进行调整，然后通过拉普拉斯能量函数进行空间域的焦点检测，最后结合焦点检测结果调整像素点的大小。
[0017]与现有技术相比，本专利技术的有益效果是：该基于雷达和视频联动的深度融合算法，在训练集建立的过程中使用高斯滤波器分别对聚焦清晰的视频信息和采样波形完整的雷达数据进行平滑处理，替代人工处理的模糊聚焦图像，无需人工参与训练材料的处理过程，从而减轻了前端工作人员提取分割的处理工作量；在模型内部调整的过程中，结合前期处理结果调整融合基础模型中卷积层的实际运行层数、卷积核数量、池化层大小以及全连接层上的输入输出结点，对模型的处理步长进行优化，避免模型处理时因步长不匹配而增大融合处理的信息损失率；在显示端进行可视化显示之前通过Brenner函数计算色度差平方，再通过Sobel算子调整梯度值，之后通过拉普拉斯能量函数进行空间域的焦点检测，最后根据焦点检测结果调整像素点的大小，对显示端的显示影像进行优化处理，满足了用户的个性化需求，提高了用户的使用体验。
附图说明
[0018]图1为本专利技术的算法流程图。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]请参阅图1，本专利技术提供的一种实施例：基于雷达和视频联动的深度融合算法，包括以下步骤：步骤一，训练集建立；步骤二，基础模型建立；步骤三，融合数据接收；步骤四，
模型内部调整；步骤五，联动融合处理；步骤六，像素处理显示；
[0021]其中上述步骤一中，向融合处理平台中上传融合算法的学习训练集，之后对训练集中的数据进行预处理，对训练集中的数据进行预处理的方式为，使用高斯滤波器分别对聚焦清晰的视频信息和采样波形完整的雷达数据进行平滑处理，之后通过特征提取分别调用视频信息和雷达数据中的特征，然后生成对应的散焦融合图像；
[0022]其中上述步骤二中，将步骤一中经过预处理节后的数据倒入学习算法中，生成对应的融合基础模型，融合基础模型分为8层结构，其中前5层为卷积层，后3层为全连接层，模型的输出末端以softmax函数作为损失函数，卷积层之间直接连接，且第3到第5层卷积层之间设置有池化层，卷积层与池化层之间设置有4096个结点，最后输出到softmax损失层，完成模型的输出过程；
[0023]其中上述步骤三中，将需要进行深度融合的雷达数据和视频数据传输到融合处理平台中，随后分别对雷达数据和视频数据进行前期处理；其中对雷达数据进行前期处理的过程为：首先去除数据的收尾无效波段，之后进行水平距离均匀化处理，接着调整波形方向，并进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于雷达和视频联动的深度融合算法，包括以下步骤：步骤一，训练集建立；步骤二，基础模型建立；步骤三，融合数据接收；步骤四，模型内部调整；步骤五，联动融合处理；步骤六，像素处理显示；其特征在于：其中上述步骤一中，向融合处理平台中上传融合算法的学习训练集，之后对训练集中的数据进行预处理；其中上述步骤二中，将步骤一中经过预处理节后的数据倒入学习算法中，生成对应的融合基础模型；其中上述步骤三中，将需要进行深度融合的雷达数据和视频数据传输到融合处理平台中，随后分别对雷达数据和视频数据进行前期处理；其中上述步骤四中，结合步骤三中雷达数据和视频数据的前期处理结果，对融合基础模型模型进行优化调整，调整后得到深度融合处理模型；其中上述步骤五中，将步骤三中雷达数据和视频数据的前期处理结果导入步骤四中得到的深度融合处理模型，之后通过深度融合处理模型进行联动融合处理；其中上述步骤六中，将步骤五中得到的联动融合处理传输到后处理端口中进行像素处理，之后将处理后的影像传输到平台的显示端进行可视化显示。2.根据权利要求1所述的基于雷达和视频联动的深度融合算法，其特征在于：所述步骤一中，对训练集中的数据进行预处理的方式为，使用高斯滤波器分别对聚焦清晰的视频信息和采样波形完整的雷达数据进行平滑处理，之后通过特征提取分别调用视频信息和雷达数据中的特征，然后生成对应的散焦融合图像。3.根据权利要求1所述的基于雷达和视频联动的深度融合算法，其特征在于：所述步骤二中，融合基础模型分为8层结构，其中前5层为卷积层，后3层为全连接层，模型的输出末端以softmax函数作为损失函数，卷积层之间直接连接，且第3到...

【专利技术属性】
技术研发人员：孟政，
申请(专利权)人：广东中科新微安全科技有限公司，
类型：发明
国别省市：