基于深度学习的坦克图像数据集建立及关键点检测方法技术

本申请提供基于深度学习的坦克图像数据集建立及关键点检测方法，方法包括：将待检测图片输入识别模型中，检测是否存在坦克，若存在坦克输出带有边界框及关键点标签的结果图片；识别模型通过以下方法确定：建立坦克图像数据集、掩膜与关键点标注信息；批量生成坦克图像数据集，并将坦克图像数据集分为训练集，验证集与测试集；建立坦克检测模型；建立坦克关键点检测模型；对图像数据进行增强处理；分别进行坦克检测模型、坦克关键点检测模型的训练。本申请针对坦克图像数据较少的问题提出解决方法，可高效生成大量可用数据集。可高效生成大量可用数据集。可高效生成大量可用数据集。

【技术实现步骤摘要】
基于深度学习的坦克图像数据集建立及关键点检测方法


[0001]本申请涉及人工智能
，特别涉及基于深度学习的坦克图像数据集建立及关键点检测方法。

技术介绍

[0002]现代坦克集新技术于一身，纳攻防于一体，机动性与火力俱佳，在未来战场的地位仍将举足轻重。坦克始终是最重要的突击武器。坦克除了具备强大的地面突击力，两栖坦克还擅长海上突击，空降坦克可在敌后方和战略要地实施空降突击。所以针对坦克的打击以及研究仍然重要。
[0003]随着战争逐渐进入现代化，信息化与智能化，计算机处理战场信息越来越重要。现代坦克集新技术于一身，纳攻防于一体，机动性与火力俱佳，在未来战场的地位仍将举足轻重。对敌方坦克的打击要从大火力，高穿甲转变为高精准度。所以，坦克关键点的识别就尤为重要。精准快速的关键点识别可以指导精确打击，也对后期敌我坦克的毁伤评估有很大的帮助。
[0004]但是，由于坦克仅可能在战争以及演戏等特殊情况下出现，因此，目前坦克数据的收集工作比较难以开展。坦克数据缺少，进而容易引发坦克关键点定位不精确的问题。

技术实现思路

[0005]本申请提供了基于深度学习的坦克图像数据集建立及关键点检测方法，可用于解决目前坦克数据紧缺的技术问题。
[0006]本申请提供基于深度学习的坦克图像数据集建立及关键点检测方法，所述方法包括：
[0007]将待检测图片输入识别模型中，检测是否存在坦克，若存在坦克输出带有边界框及关键点标签的结果图片；所述识别模型包括坦克检测模型、坦克关键点检测模型；r/>[0008]所述识别模型通过以下方法确定：
[0009]步骤1，建立坦克图像数据集、掩膜与关键点标注信息；
[0010]步骤2，批量生成坦克图像数据集，并将坦克图像数据集分为训练集，验证集与测试集；
[0011]步骤3，建立坦克检测模型；
[0012]步骤4，建立坦克关键点检测模型；
[0013]步骤5，对图像数据进行增强处理；
[0014]步骤6，分别进行坦克检测模型、坦克关键点检测模型的训练。
[0015]可选的，建立坦克图像数据集、掩膜与关键点标注信息，包括：
[0016]步骤101，收集坦克图像，进行预处理；
[0017]步骤102，标注出坦克图像中关键点；关键点包括轮对、炮管、炮口、前装甲、后装甲、侧面装甲以及顶部装甲；
[0018]步骤103，在坦克图像中标注出坦克边界框，得到掩膜，并生成最小标记框；
[0019]步骤104，将得到的标记信息存入json文件并将格式修改统一。
[0020]可选的，批量生成坦克图像数据集，并将坦克图像数据集分为训练集，验证集与测试集，
[0021]包括：
[0022]步骤201，收集背景图片，将其大小调整为预设大小；
[0023]步骤202，收集背景噪声图像并制作背景噪声的掩膜；背景噪声为背景图片中除坦克以外的对象；
[0024]步骤203，随机选择一个或几个背景噪声，进行大小，旋转处理后，添加到背景图片中；
[0025]步骤204，随机选取数张坦克图片并进行亮度、对比度、大小角度、关键点坐标的变化处理；
[0026]步骤205，生成数据集，且有对应的训练需要的json格式。
[0027]可选的，建立坦克检测模型，包括：
[0028]所述坦克检测模型采用Keypoint RCNN，从输入至输出端依次包括残差网络、区域候选网络以及感兴趣头部网络；
[0029]其中，输入端连接残差网络，生成特征图，特征图输入区域候选网络经过锚框处理与坐标回归处理后生成候选区域，候选区域经过感兴趣头部网络的三条支线分别生成检测框，掩码以及关键点热图；
[0030]残差网络分为5个特征层:stage1、stage2、stage3、stage4、stage5，每个特征层的特征图尺寸不同，后一阶段特征图长宽是前一阶段的0.5倍；其中，stage5的特征图通过步长为 2的最大池化，长宽缩小为原来的0.5，将特征图输入区域候选网络生成锚框，用回归对锚框进行修改使其接近标注；选择特征图的依据为：
[0031][0032]level0＝4为当前锚框映射的特征层，s0＝224为标准图片大小，area为锚框面积；
[0033]感兴趣区域头部网络的输入是ROIAlign层处理后的新特征图，通过多个全连接层输出物体的分类置信度和检测框坐标回归值；用交叉熵损失计算分类损失，记为Loss
cls
，用 Smooth L
1 Loss计算检测框坐标回归损失，记为公式如下：
[0034][0035]可选的，建立坦克关键点检测模型，包括：
[0036]将keypoint
‑
rcnn网络中关键点参数修改为坦克图像数据集内容，通过pycocotools库评估自定义的七类关键点的预测值与真值的匹配程度，设置置信度选择边界框，通过NMS在剩余的边界框中选择最合适的，删除其他部分与候选方框重叠的边界框，将交集阈值设定为0.3 来定义重叠程度；
[0037]关键点分支通过3
×
3卷积和转置卷积得到N
×
28
×
28
×
C特征图，其中C为关键点数量，通过双线性插值放大特征图，将标注转化为热点图，用特征图和热点图计算交叉熵损
失，记为Loss
kp
；
[0038]就多任务网络结构的性能受每一个任务损失函数的权重影响很大的问题，引入同方差不确定性学习不同任务损失的最优权重；定义概率模型：
[0039]P(y|f
W
(x))＝N(f
W
(x),σ2)
[0040]其中f
W
(x)是神经网络的输出，x是输入数据，W是权重，σ2是观测噪声；
[0041]Sigmoid激活函数为：
[0042]P(y|f
W
(x))＝Softmax(f
W
(x))
[0043]极大似然估计表示下式：
[0044][0045]其中，σ是高斯分布的标准差，也是作为模型的噪声；
[0046]根据W和σ最大化似然分布；假设y1为回归问题输出，y2为分类问题输出，σ1,σ2分别为回归问题以及分类问题的噪声，则：
[0047][0048]其中L(W，σ1，σ2)为多任务模型的损失函数。
[0049]可选的，对图像数据进行增强处理，包括：
[0050]定义一个在训练过程中具有图像增强功能的函数，每次训练迭代过程中对图像随机进行亮度、对比度以及方向的变化处理。
[0051]本申请针对坦克图像数据较少的问题提出解决方法，可高效生成大量可用数据集，减少了人工标注要求，降低了工作量，也减少了对坦克原始图像的需求量。在检测部分，通过简化模型减少了掩膜部分的学习与检测，降低了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的坦克图像数据集建立及关键点检测方法，其特征在于，所述方法包括：将待检测图片输入识别模型中，检测是否存在坦克，若存在坦克输出带有边界框及关键点标签的结果图片；所述识别模型包括坦克检测模型、坦克关键点检测模型；所述识别模型通过以下方法确定：步骤1，建立坦克图像数据集、掩膜与关键点标注信息；步骤2，批量生成坦克图像数据集，并将坦克图像数据集分为训练集，验证集与测试集；步骤3，建立坦克检测模型；步骤4，建立坦克关键点检测模型；步骤5，对图像数据进行增强处理；步骤6，分别进行坦克检测模型、坦克关键点检测模型的训练。2.根据权利要求1所述的方法，其特征在于，建立坦克图像数据集、掩膜与关键点标注信息，包括：步骤101，收集坦克图像，进行预处理；步骤102，标注出坦克图像中关键点；关键点包括轮对、炮管、炮口、前装甲、后装甲、侧面装甲以及顶部装甲；步骤103，在坦克图像中标注出坦克边界框，得到掩膜，并生成最小标记框；步骤104，将得到的标记信息存入json文件并将格式修改统一。3.根据权利要求1所述的方法，其特征在于，批量生成坦克图像数据集，并将坦克图像数据集分为训练集，验证集与测试集，包括：步骤201，收集背景图片，将其大小调整为预设大小；步骤202，收集背景噪声图像并制作背景噪声的掩膜；背景噪声为背景图片中除坦克以外的对象；步骤203，随机选择一个或几个背景噪声，进行大小，旋转处理后，添加到背景图片中；步骤204，随机选取数张坦克图片并进行亮度、对比度、大小角度、关键点坐标的变化处理；步骤205，生成数据集，且有对应的训练需要的json格式。4.根据权利要求1所述的方法，其特征在于，建立坦克检测模型，包括：所述坦克检测模型采用Keypoint RCNN，从输入至输出端依次包括残差网络、区域候选网络以及感兴趣头部网络；其中，输入端连接残差网络，生成特征图，特征图输入区域候选网络经过锚框处理与坐标回归处理后生成候选区域，候选区域经过感兴趣头部网络的三条支线分别生成检测框，掩码以及关键点热图；残差网络分为5个特征层:stage1、stage2、stage3、stage4、stage5，每个特征层的特征图尺寸不同，后一阶段特征图长宽是前一阶段的0.5倍；其中，stage5的特征图通过步长为2的最大池化，长宽缩小为原来的0.5，将特征图输入区域候选网络生成锚框，用回归对锚框进...

【专利技术属性】
技术研发人员：郑纯，帅世康，陈志华，闫国旭，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：