本发明专利技术提供了一种向巷战中多目标精确识别的视觉感知方法、系统及装置，本发明专利技术基于已知类别目标检测数据集，构建并训练多目标检测网络模型；判别当前检测图像中是否存在未识别目标，对新类别目标进行标注；采用元学习策略重构多目标检测网络模型，完成多目标检测网络模型中新类别目标注册；获得多目标定位区域，并通过多尺度语义分割网络在多目标定位区域内对不同目标与背景进行分离，获取不同目标的实例边界；构建多目标空间区域关系矩阵，能够实现少量标准样本扩增下的多目标识别网络性能提升，使其能够快速达成未知目标精确识别的目的，从而大幅度降低视野中存在未知目标下的网络训练时间，提升无人装备的战场适应能力。
【技术实现步骤摘要】
本专利技术属于计算机视觉，尤其涉及一种面向巷战中多目标精确识别的视觉感知方法、系统及装置。
技术介绍
1、巷战一般被称为“城市战”，即在城市狭窄的街道和复杂的环境中进行的战斗。由于环境复杂的特点，巷战往往是伤亡最大的战争形式，具有敌我彼此混合、犬牙交错、危险性强等特点。在现代化巷战中部署有相关人工智能算法的无人装备越来越重要，现有无人装备通过机器视觉中的多目标识别算法可以实现目标捕捉、跟踪和判断的功能，能显著提升对敌方目标的打击效率，提高作战目标实现的概率。
2、然而现有多目标识别算法主要基于已有的数据集进行模型训练，导致其输出的模型仅能对已知目标进行识别，无法快速实现未知目标的扩充，虽然通过样本扩充和模型重训练能够提升模型对未知目标的感知能力，但仍存在样本数量限制下的性能瓶颈，导致无人装备在巷战中对敌方目标的误识别和漏检测，限制了无人装备的应用范围和战场作用。
3、同时，巷战中敌我双方存在大量目标的交织穿插，且无人装备在移动过程中需要对视野中不断出现的新类别目标进行判别分析和识别跟踪。因此，如何提升多目标识别模型的快速可扩展能力成为本领域亟需解决的问题。
技术实现思路
1、为了解决上述
技术介绍
中存在的技术问题，本专利技术提供了一种面向巷战中多目标精确识别的视觉感知方法、系统及装置，以解决现有多目标识别算法无法快速实现未知目标的扩充，导致无人装备在巷战中对敌方目标的误识别和漏检测的问题。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、第一方面，提供了一种面向巷战中多目标精确识别的视觉感知方法，包括如下步骤：
4、s1、基于已知类别目标检测数据集，构建并训练多目标检测网络模型；所述多目标检测网络模型包括特征提取网络、特征融合网络和目标预测网络；
5、s2、获取当前检测图像，通过训练后的多目标检测网络模型对所述当前检测图像进行检测；
6、s3、判别当前检测图像中是否存在未识别目标；若存在未识别目标，则确定未识别目标为新类别目标，并对新类别目标进行标注；
7、s4、基于已知类别目标检测数据集和已标注的新类别目标，采用元学习策略重构多目标检测网络模型，完成多目标检测网络模型中新类别目标注册；
8、s5、基于重构的多目标检测网络模型，获得当前检测图像的多目标定位区域，通过多尺度语义分割网络在多目标定位区域内对不同目标与背景进行分离，获取不同目标的实例边界；
9、s6、基于步骤s5中的多目标定位区域间的位置关系和不同目标的实例边界，构建当前视角下各区域目标的相对位置关系，生成融合目标类别与位置的多目标空间区域关系矩阵。
10、进一步地，所述在步骤s1之前还包括构建已知类别目标检测数据集，具体为：
11、采集巷战环境中不同角度下的图像并保存为特定的图片格式，对采集图像中的不同目标的具体区域进行标注，采用矩形框方法对不同目标的具体区域进行标定，从而构建实测下的巷战中已知类别目标检测数据集，并将已知类别目标检测数据集拆分为训练数据集和测试数据集；
12、所述矩形框在对不同目标的具体区域进行标定时，通过计算标定矩形框在图像上的坐标来确定不同目标具体区域的真实中心坐标和边界框长宽值；所述边界框为包围不同目标具体区域的最小矩形框。
13、进一步地，所述步骤s1具体为：
14、s101、通过数据增强策略对已知类别目标检测数据集中的训练数据集和测试数据集进行数据增强；
15、s102、采用特征提取网络、特征融合网络和目标预测网络，搭建多目标检测网络模型，实现目标区域预测功能；
16、s103、通过不同准则对不同类别目标进行标签分配，为多目标检测网络模型预测提供真实值；
17、s104、基于标签分类的结果，采用不同的损失函数计算分类和回归任务的损失，并利用反向传播算法迭代更新多目标检测网络模型的权重；
18、s105、将训练数据集中的图像数据批量输入到已构建的多目标检测网络模型中完成参数更新；
19、s106、对训练后的多目标检测网络模型，基于测试数据集实现其性能测试，并选择最优性能的网络模型，为优化后的多目标检测网络模型。
20、进一步地，所述步骤s2具体为：
21、s201、将当前检测图像输入特征提取网络进行特征提取，获得图像的特征图；
22、s202、将图像的特征图输入到特征融合网络进行特征融合处理，获得融合特征图；
23、s203、将融合特征图输入到目标预测网络，得到预测不同目标的类别、目标中心点位置以及目标所属区域大小，获得多目标区域定位。
24、进一步地，所述步骤s3具体为：
25、s301、对当前检测图像中已识别的目标进行描述，获取每个目标类别标签ki(i＝1,2，...，n)和区域大小si(i＝1,2，...，n)，式中n为已识别的最大类别数量，i为当前目标类别编号；
26、s302、判断当前视域内所有目标类别的数量nreal与已识别的最大类别数量n之间的关系；
27、s303、若nreal>n，则判别当前视域内存在未知目标，需要对已有的多目标检测网络模型进行扩充。
28、进一步地，所述步骤s4具体为：
29、s401、通过采用已知类别目标检测数据集中的已知图像对特征提取网络进行训练，得到对应的特征图输出函数，如下式所示：
30、
31、式中，m为已知图像的特征图输出结果，i为输入图像，f为特征图提取函数；是输出的特征图的步长，r为卷积步长，h和w分别为输入图像的高度和宽度；n为已识别的最大类别数量，其中n个类别分别对应n个通道；
32、s402、通过对已知图像所提取的特征图和不同目标的卷积核权重进行卷积核运算，得到第k类目标的热力图预测结果：
33、yk＝q(m，ck)＝m⊙ck，k∈{1，2，...，n)
34、式中，yk为第k类目标的对应热力图预测结果，ck代表对应第k类目标的卷积核权重，⊙代表卷积核运算，q为物体定位函数；
35、s403、基于已标注的少量包含新类别的图像数据与已知类别目标检测数据集混合构建增量类别目标识别数据集；
36、所述增量类别目标识别数据集包含的类别为n+l，其中n为已知类别的数量，l为新增类别数量；
37、s404、基于已构建的增量目标检测数据集，采用元学习采样策略构建小样本学习任务，随机从n个已知类别中采样nt类目标和从l个增量类别中采样lt类目标，构建新集合t＝(nt+lt)，并基于新集合t获取支撑集s和查询集q；
38、s405、基于特征图提取函数f采用前向传播方式生成支撑集对应权重参数，如下式所示：
39、
40、式中，是第k类目标的输出权重参数，函数h是元学习中的编码生成器，sk为输入的第k类本文档来自技高网
...
【技术保护点】
1.一种面向巷战中多目标精确识别的视觉感知方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述在步骤S1之前还包括构建已知类别目标检测数据集，具体为：
3.根据权利要求1所述的方法，其特征在于，所述步骤S1具体为：
4.根据权利要求1所述的方法，其特征在于，所述步骤S2具体为：
5.根据权利要求1所述的方法，其特征在于，所述步骤S3具体为：
6.根据权利要求1所述的方法，其特征在于，所述步骤S4具体为：
7.根据权利要求1所述的方法，其特征在于，所述步骤S5具体为：
8.根据权利要求1所述的方法，其特征在于，所述步骤S6中的多目标空间区域关系矩阵为：
9.一种面向巷战中多目标精确识别的视觉感知系统，其特征在于，包括：
10.一种面向巷战中多目标精确识别的视觉感知的装置，其特征在于，包括：图像获取设备，用于实时采集巷战中的图像；
【技术特征摘要】
1.一种面向巷战中多目标精确识别的视觉感知方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述在步骤s1之前还包括构建已知类别目标检测数据集，具体为：
3.根据权利要求1所述的方法，其特征在于，所述步骤s1具体为：
4.根据权利要求1所述的方法，其特征在于，所述步骤s2具体为：
5.根据权利要求1所述的方法，其特征在于，所述步骤s3具体为：
6....
【专利技术属性】
技术研发人员：陈年瑞，蔡耀仪，张伟，卢山，龙彬，
申请(专利权)人：长沙湘计海盾科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。