【技术实现步骤摘要】
本专利技术属于计算机视觉、目标毁伤评估领域，具体涉及一种基于多源信息融合的战场目标三维重建与毁伤评估方法，进一步说，涉及一种基于双分支深度网络三维重建及小样本学习的战场目标毁伤评估方法。
技术介绍
1、在军事战争中，目标毁伤效果评估(battle damage assessment，bda)，又称战斗毁伤评估、作战毁伤评估，对于发动的每一轮打击进行迅速的评估和反馈，以便做出下一轮打击决策。在战争全面信息化的背景下，战争局势高度的动态性和不确定性使对目标毁伤进行全面而实时评估成为迫切需要解决的问题。
2、传统军事目标的毁伤评估主要依靠人工检查和分析，这种方法存在着许多弱点。首先，人工评估容易受主观因素的影响，评估结果的准确性不高。其次，人工评估效率低下，不能及时地反馈给指挥员和作战人员，对作战决策产生不良影响。此外，传统的毁伤评估方法只能提供目标受损的二维信息，无法给出目标在三维空间中的具体受损情况，给作战决策带来了不便。
技术实现思路
1、为了解决现有技术中存在的缺陷，本专利技术公开一种基于多源信息融合的战场目标三维重建与毁伤评估方法，进一步说，涉及一种基于双分支深度网络三维重建及小样本学习的战场目标毁伤评估方法，其技术方案如下：该评估方法包括如下步骤：
2、步骤1：多传感器数据源的融合，以实现快速、准确的三维重建；
3、步骤2：建立三维重建框架网络范式：采用了包含二维视觉图像和稀疏深度数据双处理分支的基于vit(vision transform
4、步骤3：目标点云的重建；
5、步骤4：基于元学习的小样本点云分类研究，实现对毁伤评估的快速学习。
6、优选为：所述多传感器数据的融合包括：对相机采集的二维视觉图像数据和经由激光雷达采集的稀疏点云处理得到的稀疏深度数据进行多模态融合。
7、优选为：所述三维重建框架网络范式包括：单目深度信息挖掘模块，该模块是将单目预测与深度分支预测的稠密深度通过置信度做中期融合，从而快速输出深度预测与语义分割预测结果，辅助双分支网络的训练。
8、优选为：所述三维重建框架网络范式还包括：双分支网络结构，所述双分支网络结构包括如下内容：
9、(1)二维视觉图像处理分支：通过将基于vit(vision transformer)编码器组件进行串联的方式构建二维视觉图像处理分支；该解码器分为了两个部分进行实现：
10、a.重组模块：将任何一个vit编码器的输出序列重组为图嵌入数据；
11、该重组模块的结构包括：读取模块、连接模块、重采样模块；
12、将图片划分成p*p大小的若干个正方形分块，记分块数量为np。所述读取模块将长度为np+1的序列映射到长度为np的序列，为下一步连接层的变形做准备；该读取模块得到的np个全局图向量被重整为图片形式，将每个全局图向量按照其在图片的初始位置排列。
13、所述重采样模块将上一步得到的特征图进行不同尺度的重采样，具体操作如下：首先使用一个1*1卷积层进行特征重组，之后用3*3的反卷积层进行放大，用3*3的卷积层进行缩小，卷积/反卷积的步长由缩放的倍数决定。
14、b.融合模块：基于多尺度融合的思想对多个vit编码器输出的图嵌入数据进行融合；
15、(2)稀疏深度数据处理分支：包括以卷积神经网络cnn为基础的编码器-解码器组件以及池化组件，其工作过程为：来自二维视觉图像处理分支的图像引导信息与稀疏深度数据结合，经过一个残差下采样模块，得到大小为输入图像一半尺寸的特征图；将该特征图与稀疏深度数据非零平均池化后的特征图相结合，再次经过残差下采样得到进一步缩小的特征图，并再次与非零平均池化的特征图结合，如此重复。
16、优选为：所述步骤3进一步包括如下内容：所述目标点云的重建
17、(1)深度图-点云转换：将双分支三维重建网络生成的语义分割遮罩作用在经由激光雷达采集的稀疏点云处理得到的稀疏深度数据上，即可获得仅含有目标的深度图，将该深度图的每组坐标转换到世界坐标系坐标，即得到目标在该帧的三维点云。
18、(2)点云融合：在将每一帧的深度图转化为点云后，对多组点云进行融合。融合中先对点云进行滤波，将点云密度降低，减少数据量并识别和去除点云中的离群点，再对滤波后点云进行平滑处理，从而生成连续的曲面模型。
19、优选为：所述步骤4进一步包括如下内容：
20、(1)毁伤等级类别定义：对于装甲车辆目标来说，可将其分为毁伤分级模型的四个等级：
21、a.无毁伤；
22、b.“m”级毁伤，指坦克瘫痪不能进行可控运动，且不能有乘员当场修复的破坏；
23、c.“f”级毁伤，指坦克主要武器丧失功能的破坏，或者由于乘员物理草坪做造成，或是配套设备被破坏，不堪使用且不能由乘员当场修复造成；
24、d.“k”级毁伤，指坦克被击毁，并达到无法修复程度的破坏。
25、(2)毁伤评估：将毁伤评估作为分类问题求解，基于protonet小样本学习算法对步骤3中重建得到的点云进行准确分类，归于上述建立的毁伤分级模型中四个等级之一。
26、本专利技术针对的毁伤评估问题是一个4分类问题。因此对protonet来说，这是一个4way-kshot学习。按照不同的k值对protonet进行训练。
27、protonet训练配置
28、
29、有益效果
30、1、本专利技术使用相机与激光雷达融合+双分支深度网络的方案构建一个三维重建框架，并在框架中添加单目深度信息挖掘模块辅助算法的训练。它对rgb和稀疏深度图进行多模态融合，并快速输出深度预测与语义分割预测结果，实现对目标的实时重建。
31、2、为实现基于三维点云的准确分类，需要大量毁伤样本提供支撑，但由于数据来源受限，实际能获得的样本数量很少；本专利技术采用基于小样本学习的毁伤评估方法，在样本数量受限的情况下仍可通过重建得到的点云图像进行毁伤等级评估。
本文档来自技高网...【技术保护点】
1.一种基于多源信息融合的战场目标三维重建与毁伤评估方法，该方法是基于双分支深度网络三维重建及小样本学习的战场目标毁伤评估方法，其特征为，包括如下步骤：
2.根据权利要求1所述的基于多源信息融合的战场目标三维重建与毁伤评估方法，其特征为：所述多传感器数据的融合包括：对相机采集的二维视觉图像数据和经由激光雷达采集的稀疏点云处理得到的稀疏深度数据进行多模态融合。
3.根据权利要求1所述的基于多源信息融合的战场目标三维重建与毁伤评估方法，其特征为：所述三维重建框架网络范式包括单目深度信息挖掘模块，该模块是将单目预测与深度分支预测的稠密深度通过置信度做中期融合，从而快速输出深度预测与语义分割预测结果，辅助双分支网络的训练。
4.根据权利要求1所述的基于多源信息融合的战场目标三维重建与毁伤评估方法，其特征为：所述三维重建框架网络范式还包括双分支网络结构，所述双分支网络结构包括如下内容：
5.根据权利要求1所述的基于多源信息融合的战场目标三维重建与毁伤评估方法，其特征为：所述步骤3目标点云的重建，进一步包括如下内容：
6.根据权利要
7.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行权利要求1至6中任意一项所述的方法。
8.一种电子装置，其特征在于，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行权利要求1至6中任意一项所述的方法。
...【技术特征摘要】
1.一种基于多源信息融合的战场目标三维重建与毁伤评估方法，该方法是基于双分支深度网络三维重建及小样本学习的战场目标毁伤评估方法，其特征为，包括如下步骤：
2.根据权利要求1所述的基于多源信息融合的战场目标三维重建与毁伤评估方法，其特征为：所述多传感器数据的融合包括：对相机采集的二维视觉图像数据和经由激光雷达采集的稀疏点云处理得到的稀疏深度数据进行多模态融合。
3.根据权利要求1所述的基于多源信息融合的战场目标三维重建与毁伤评估方法，其特征为：所述三维重建框架网络范式包括单目深度信息挖掘模块，该模块是将单目预测与深度分支预测的稠密深度通过置信度做中期融合，从而快速输出深度预测与语义分割预测结果，辅助双分支网络的训练。
4.根据权利要求1所述的基于多源信息融合的战场目标三维重建与毁伤评估方法，其特征为：所述三维...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。