本发明专利技术公开了一种跨模态自适应小目标检测优化方法，包括：标注红外图像和可见光图像中目标的边界框和目标掩码区域；计算红外图像和可见光图像的纹理特征统计属性，构造带纹理特征统计属性的训练数据集；构建目标检测模型及其跨模态损失函数；跨模态损失函数包括边框回归损失函数和目标分类损失函数；利用训练数据集对目标检测模型进行训练，在训练过程中，利用目标掩码区域的尺寸大小动态优化边框回归损失函数；利用纹理特征统计属性按照预先设定的调整策略动态优化目标分类损失函数。本发明专利技术仅需一个目标检测模型便能够完成对红外图像进行训练和检测，且计算资源消耗较小。且计算资源消耗较小。且计算资源消耗较小。
【技术实现步骤摘要】
一种跨模态自适应小目标检测优化方法
[0001]本专利技术涉及目标检测
，更具体的说是涉及一种跨模态自适应小目标检测优化方法。
技术介绍
[0002]随着深度学习技术不断发展与应用，目标检测(Object Detection)技术作为其中的一个重要且必不可少的分支，一直以来是专家、工程师与学者等业界人士研究与探讨的热点。
[0003]目前，大多数的检测框架均单独的在红外图像(Infrared Image，IR)或可见光图像(Visible Image，VI)上训练、验证与检测，从而演变成一种分波段的检测技术；而且还有部分检测架构采用一种将红外图像与可见光图像进行融合，然后再用于目标训练与检测，形成的目标检测架构；这些目标检测方法虽然能够给检测带来mAP(mean Average Precision)提升，但是，如果采用分波段的检测方法，在检测模型部署与检测阶段，多个检测模型会隐形的增加硬件存储资源的使用或计算资源的消耗，如果采用提前将红外图像与可见光图像融合后再用于检测的方法，也会增加对目标检测模型训练阶段的复杂性或计算资源的消耗。
[0004]虽然目标检测方法层出不穷，不可忽略的是弱小目标检测一直也是业内人士需要攻克的难点与痛点。对于红外成像技术有着不受风霜、雨雪等恶劣环境影响，具有抗干扰能力强的优点，因此，被广泛的应用于军事及民用领域，但红外成像技术生成的红外图像与可见图像相比有着分辨率差、视觉效果模糊等缺点；与此同时，也给弱小目标检测带来了挑战。在军事领域中，红外弱小目标的有效检测，可以起到“早发现，早预防”的作用，还可以起到“精准检测，精准打击”的作用，具有重要的军事意义。
[0005]因此，如何提供一种仅需一个目标检测模型便能够完成对红外图像进行训练和检测，且计算资源消耗不大的跨模态自适应小目标检测优化方法是本领域技术人员亟需解决的问题。
技术实现思路
[0006]有鉴于此，本专利技术提供了一种跨模态自适应小目标检测优化方法，仅需一个目标检测模型便能够完成对红外图像进行训练和检测，且计算资源消耗较小。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]一种跨模态自适应小目标检测优化方法，包括：
[0009]标注红外图像和可见光图像中目标的边界框和目标掩码区域；
[0010]计算红外图像和可见光图像的纹理特征统计属性，构造带纹理特征统计属性的训练数据集；
[0011]构建目标检测模型及其跨模态损失函数；所述跨模态损失函数包括边框回归损失函数和目标分类损失函数；
[0012]利用所述训练数据集对所述目标检测模型进行训练，在训练过程中，利用所述目标掩码区域的尺寸大小动态优化所述边框回归损失函数；利用所述纹理特征统计属性按照预先设定的调整策略动态优化所述目标分类损失函数。
[0013]进一步的，在上述一种跨模态自适应小目标检测优化方法中，所述训练数据集的构造过程为：
[0014]将红外图像和可见光图像均按照灰度图处理，且随机采样放置在一起，利用通用图像标注工具，标注出图像中目标的边界框和目标掩码区域；
[0015]为每张灰度图计算全局灰度共生矩阵；
[0016]对边界框长宽的1.5倍邻域求取其最大灰度值，并根据最大灰度值计算目标领域灰度共生矩阵；
[0017]根据每张灰度图的全局灰度共生矩阵和目标领域灰度共生矩阵统计属性，为每张灰度图创建对应的标注数据。
[0018]进一步的，在上述一种跨模态自适应小目标检测优化方法中，计算目标领域灰度共生矩阵时，若最大灰度值大于128，则按照灰阶256计算目标领域灰度共生矩阵；若最大灰度值小于128，则按照灰阶128计算目标领域灰度共生矩阵。
[0019]进一步的，在上述一种跨模态自适应小目标检测优化方法中，为每张灰度图创建的标注数据格式为：[目标类别，边界框中心坐标x，边界框中心坐标y，边界框宽，边界框高，全局标准差，目标领域标准差，全局同质性，目标领域同质性，全局对比度，目标领域对比度，全局熵值，目标领域熵值，全局角二阶矩，目标领域角二阶矩，图像类型]，其中图像类型为红外图像或可见光图像。
[0020]进一步的，在上述一种跨模态自适应小目标检测优化方法中，所述目标检测模型的输出通道数量为：(6+classes)*AN，其中，classes表示所检测的目标种类数量，AN取值为锚框数量或1。
[0021]进一步的，在上述一种跨模态自适应小目标检测优化方法中，所述边框回归损失函数为：L1＝(1
‑
λ
size
)*Loss
box
；其中，λ
size
表示目标掩码区域占全图面积的比例，Loss
box
表示边框回归损失值。
[0022]进一步的，在上述一种跨模态自适应小目标检测优化方法中，所述目标分类损失函数的调整策略包括：
[0023]利用每个批次的纹理特征统计属性均值进行分类损失权重调整；表达式为：
[0024][0025]其中，N表示批次大小，i表示该批次中第i个样本，f(texture
i
)表示纹理特征统计属性，Loss
Classification
表示目标分类损失值；
[0026]或：
[0027]为每个输入样本计算动态调整分类损失权重，表达式为：
[0028][0029]其中，表示第i个样本分类损失值。
[0030]进一步的，在上述一种跨模态自适应小目标检测优化方法中，所述目标检测模型的跨模态损失函数表达式为：
[0031][0032]其中，Loss
box
表示边框回归损失函数，(1
‑
λ
size
)表示边框回归损失函数的权重；Loss
Classification
表示目标分类损失函数，表示目标分类损失函数的权重；表示目标类别置信度损失；表示当前图像所属数据类型损失。
[0033]进一步的，在上述一种跨模态自适应小目标检测优化方法中，所述纹理特征统计属性包括：全局纹理特征统计属性和目标领域纹理特征属性；所述目标分类损失函数的调整策略还包括：
[0034]当训练的迭代次数大于设定阈值时，随机选取所述全局纹理特征统计属性之一更新所述目标分类损失函数的权重系数；
[0035]当训练的迭代次数小于设定阈值时，随机选取所述目标领域纹理特征属性之一更新所述目标分类损失函数的权重系数。
[0036]进一步的，在上述一种跨模态自适应小目标检测优化方法中，所述目标检测模型进行目标检测时，目标预测概率等于目标所述类别概率值、目标置信度和目标所属数据类型概率值的乘积。
[0037]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种跨模态自适应小目标检测优化方法，根据红外图像与可见光图像中的目标大小及利用目标纹理特征统计属性自适应的调整检测模型训练的损本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种跨模态自适应小目标检测优化方法，其特征在于，包括：标注红外图像和可见光图像中目标的边界框和目标掩码区域；计算红外图像和可见光图像的纹理特征统计属性，构造带纹理特征统计属性的训练数据集；构建目标检测模型及其跨模态损失函数；所述跨模态损失函数包括边框回归损失函数和目标分类损失函数；利用所述训练数据集对所述目标检测模型进行训练，在训练过程中，利用所述目标掩码区域的尺寸大小动态优化所述边框回归损失函数；利用所述纹理特征统计属性按照预先设定的调整策略动态优化所述目标分类损失函数。2.根据权利要求1所述的一种跨模态自适应小目标检测优化方法，其特征在于，所述训练数据集的构造过程为：将红外图像和可见光图像均按照灰度图处理，且随机采样放置在一起，利用通用图像标注工具，标注出图像中目标的边界框和目标掩码区域；为每张灰度图计算全局灰度共生矩阵；对边界框长宽的1.5倍邻域求取其最大灰度值，并根据最大灰度值计算目标领域灰度共生矩阵；根据每张灰度图的全局灰度共生矩阵和目标领域灰度共生矩阵统计属性，为每张灰度图创建对应的标注数据。3.根据权利要求2所述的一种跨模态自适应小目标检测优化方法，其特征在于，计算目标领域灰度共生矩阵时，若最大灰度值大于128，则按照灰阶256计算目标领域灰度共生矩阵；若最大灰度值小于128，则按照灰阶128计算目标领域灰度共生矩阵。4.根据权利要求2所述的一种跨模态自适应小目标检测优化方法，其特征在于，为每张灰度图创建的标注数据格式为：[目标类别，边界框中心坐标x，边界框中心坐标y，边界框宽，边界框高，全局标准差，目标领域标准差，全局同质性，目标领域同质性，全局对比度，目标领域对比度，全局熵值，目标领域熵值，全局角二阶矩，目标领域角二阶矩，图像类型]，其中图像类型为红外图像或可见光图像。5.根据权利要求1所述的一种跨模态自适应小目标检测优化方法，其特征在于，所述目标检测模型的输出通道数量为：(6+classes)*AN，其中，classes表示所检测的目标种类数量，AN取值为锚框数量或1。6.根据权利要求1所述的一种跨模态自适应小目标检测优化方法，其特征在于，所述边...
【专利技术属性】
技术研发人员：沈平生，黄丹，禹霁阳，张顺利，罗华军，
申请(专利权)人：重庆高新区飞马创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。