【技术实现步骤摘要】
本专利技术属于计算机视觉领域，提供一种针对于红外图像的基于位置信息精炼和多尺度特征融合的小目标检测和分类方法。
技术介绍
1、目标检测一直是计算机视觉领域的重要研究课题，在交通、医疗和军事领域都起到了重要作用，目标检测算法从传统方法发展到基于神经网络的算法，促进了人工智能领域的发展。特别的，红外图像中的目标检测识别具有在昏暗环境中检测目标的能力，可以提高夜间和恶劣天气条件下的目标识别性能。该类算法的检测对象是红外图像，红外图像是通过红外热成像技术获取的，它是利用红外热像仪器将目标表面的温度分布转换成人眼可见的图像，并以不同颜色显示目标表面温度分布的技术。红外目标检测广泛应用于智能家居、安防监控和医疗等各类领域，可以提高安全性、生产效率和生活质量，为人类社会的发展做出贡献。与自然图像不同的是，红外图像的目标通常更小并且形状更模糊，这增加了在杂乱背景下识别此类目标的难度。现有的方法不能满足红外小目标的探测和分类的要求。
2、红外小目标探测遇到的挑战主要可归因于三个因素。首先，红外图像中的物体通常比自然图像中的物体小。由于尺寸经常低于10个像素，并且有呈现模糊轮廓的趋势，这些小目标被复杂变化的背景噪声所包围，信噪比低，难以辨别。不可预测的噪声运动加剧了红外图像中检测和分类任务的复杂性。其次，红外小目标的目标框中的微小偏差也会导致并交集(iou)度量的显著差异，导致目标框的回归和定位的准确性变低。最后，由于缺乏一个标准化、普遍认可的红外图像数据集，导致图像和标签格式多种多样，阻碍了全面的实验比较，不利于该领域研究工作的统一。
3、在过去的研究中，计算机视觉领域已经提出了目标检测和识别的方法，基于检测的单帧图像不同，主要可以分为两类：通用目标检测方法和红外图像的目标检测方法。
4、通用目标检测方法也称为自然图像的目标检测方法，是针对自然图像的目标检测和识别方法，可以分为两阶段目标检测算法和一阶段的目标检测算法。两阶段目标检测算法的结构参数复杂，不适合快速目标检测任务。相比之下，一阶段目标检测算法适合实时的目标检测和识别任务。通用目标检测方法从两阶段检测模型发展到单阶段检测模型，全面地提高了在自然图像数据集(如coco数据集和pascal voc数据集)中物体检测和识别的准确性。通用目标检测算法在保持自然图像中目标检测的高精度的同时，实现了优异的运行速度。在广泛的自然数据集上进行的实验表明，通用的目标检测算法已经成熟。然而，通用的目标检测算法在检测红外图像中的小目标时有一定的局限性。红外目标体积小、形状模糊，导致检测性能较低。因此，我们需要研究红外小目标的检测算法，以提高检测性能。
5、红外目标检测方法是针对于红外图像的目标检测和识别方法。红外图像中小目标的小尺寸和模糊边界加剧了检测任务的复杂性。当前的研究将红外小目标检测算法分为两个不同的任务：目标检测和目标分割。目标检测任务是将红外小目标的检测和识别类比于通用目标的方法，将结果以标注框的形式显示目标的位置信息和类别信息，这类方法需要锚框的先验知识。目标分割任务的核心任务是分离红外图像中的目标与其背景，它是根据灰度、空间纹理和几何形状等特征把图像划分成若干个互不相交的区域，并将在同一区域内的特征表现出一致性。分割完整性虽然有用，但是仅提供检测准确性的近似度量。高分辨率特征图对于红外小目标的精确分割至关重要，这不可避免地会带来相当大的计算需求。平衡检测性能和计算效率的实验表明，将红外小目标检测视为对象检测任务而不是语义分割挑战更有利。
6、与自然图像中目标检测相比，红外小目标检测的效率仍然明显较低。目前，专注于探测和识别红外图像中的小目标的专业网络很少，这表明这一领域有很大的发展空间。
7、本专利技术受国家重点研发计划(2023yfe0114900)资助。
技术实现思路
1、针对现有技术的不足，本专利技术提供了一种基于多尺度特征融合的红外小目标检测和分类方法。
2、我们基于yolov5的先验知识提出了用于红外目标检测的深度神经网络的拓扑结构infra-yolo。本专利技术包含了三个部分创新：在骨干网络中引入位置信息精炼模块，通过细化低层次特征中的位置信息，增强了目标定位和分类信息的提取；在特征融合网络采用相邻特征交叉融合模块进行特征融合，提高特征金字塔网络中的信息利用率；在检测网络添加对目标中心点的损失监督函数，并将其与基于锚的检测框架相结合来提高对目标的检测精确度。为了评估性能，我们建立了一个三类别红外单帧对象数据集(gas-io)，该数据集包括各种场景，包括模糊的形状、重叠的目标和各种障碍物。gas-io包含了三类目标，第空中目标的数据集来源于ist-a数据集，是由xu hai在论文“multi-scale multi-levelresidual feature fusion for real-time infrared small target detection”上发表的。车辆目标和轮船目标的数据集是来源于飞桨ai网站。我们先将收集的三种数据集的图片格式和目标框的xml文档标记格式统一，再用labelimg软件对数据集中每一张图片的标注框检查核对，对漏标和误标的目标重新标记并保存新的标注文档。
3、本专利技术解决其技术问题所采用的技术方案包括如下步骤：
4、步骤1.根据红外小目标检测识别的任务目标，构建三分类红外图像小目标数据集；
5、步骤2.基于yolov5的先验知识设计用于红外目标检测的深度神经网络的拓扑结构infra-yolo。在骨干网络的低层特征信息中引入位置信息精炼模块提取特征，在特征融合模块采用相邻特征的交叉融合结构进行特征融合，在分类检测网络添加对目标中心点的损失监督函数。
6、步骤3.基于自建的三分类红外图像小目标数据集，对提出的网络架构进行训练，获得单帧图像检测识别的模型。
7、步骤4.将训练过后的红外小目标检测模型用测试集进行测试，以验证模型的精确度(ap)和平均精确度(map)指标。
8、进一步的，步骤1具体方法如下：
9、收集红外图像小目标数据集，统一单帧图片和标注文件的格式。选择适合小目标检测和识别任务的红外图像组成自建的三分类红外图像小目标数据集，用labelimg软件对数据集中每一张图片的标注框核查，对漏标和误标的目标重新标记并保存新的标注文档。最后，统计核查过的数据集的分类样本数量、目标数量和目标大小。
10、进一步的，infra-yolo由三个部分组成：骨干网络、特征融合网络和检测网络。在骨干网络中，引入了位置信息精炼模块以加强小目标的位置信息关注度；所述的特征融合网络由三个相邻特征交叉融合模块组成，通过相邻特征交叉融合模块提取用于分类和回归任务的有效的信息，检测网络负责计算与目标检测和分类的损失。在检测网络中，使用基于锚点的方法并添加对目标中心点的损失监督函数来识别重叠模糊的小目标。
11、进一步的，所述的骨干网络具体如下：模型输入的图片大小为640*640，本文档来自技高网...
【技术保护点】
1.基于多尺度特征融合的红外小目标检测和分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多尺度特征融合的红外小目标检测和分类方法，其特征在于，步骤1具体方法如下：
3.根据权利要求1所述的基于多尺度特征融合的红外小目标检测和分类方法，其特征在于，Infra-YOLO由三个部分组成：骨干网络、特征融合网络和检测网络；在骨干网络中，引入了位置信息精炼模块以加强小目标的位置信息关注度；所述的特征融合网络由三个相邻特征交叉融合模块组成，通过相邻特征交叉融合模块提取用于分类和回归任务的有效的信息，检测网络负责计算与目标检测和分类的损失；在检测网络中，使用基于锚点的方法并添加对目标中心点的损失监督函数来识别重叠模糊的小目标。
4.根据权利要求3所述的基于多尺度特征融合的红外小目标检测和分类方法，其特征在于，所述的骨干网络具体如下：模型输入的图片大小为640*640，通道数为3；图片的特征图通过Focus网络后形状变为(320，320，12)，这分别表示特征图的宽、高和通道数；通过第一个卷积-归一化-激活函数结构，特征图增加通道信息后的特征
5.根据权利要求4所述的基于多尺度特征融合的红外小目标检测和分类方法，其特征在于，所述的特征融合网络具体如下：通过相邻特征交叉融合模块取代了原始的特征融合网络中使用FPN和PAN集成的特征融合方式；该模块包括了分类特征融合模块CFB和回归特征融合模块RFB，特征融合网络对骨干网络输出的四个不同尺度的特征图分别进行分类特征和回归特征的融合；分类特征融合模块将高层特征X作为基准，并结合相邻的低层特征Y以实现利于分类任务的特征融合；基本过程用数学表达如下：
6.根据权利要求5所述的基于多尺度特征融合的红外小目标检测和分类方法，其特征在于，在检测网络中，添加了对目标中心点的损失监督函数；在原有的检测损失方法上添加了对目标中心点的损失监督；原有的损失是回归损失、分类损失和目标损失这三个分量的加权总和，公式表示如下：
7.根据权利要求3-6任意一项所述的基于多尺度特征融合的红外小目标检测和分类方法，其特征在于，步骤3具体方法如下：
...【技术特征摘要】
1.基于多尺度特征融合的红外小目标检测和分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多尺度特征融合的红外小目标检测和分类方法，其特征在于，步骤1具体方法如下：
3.根据权利要求1所述的基于多尺度特征融合的红外小目标检测和分类方法，其特征在于，infra-yolo由三个部分组成：骨干网络、特征融合网络和检测网络；在骨干网络中，引入了位置信息精炼模块以加强小目标的位置信息关注度；所述的特征融合网络由三个相邻特征交叉融合模块组成，通过相邻特征交叉融合模块提取用于分类和回归任务的有效的信息，检测网络负责计算与目标检测和分类的损失；在检测网络中，使用基于锚点的方法并添加对目标中心点的损失监督函数来识别重叠模糊的小目标。
4.根据权利要求3所述的基于多尺度特征融合的红外小目标检测和分类方法，其特征在于，所述的骨干网络具体如下：模型输入的图片大小为640*640，通道数为3；图片的特征图通过focus网络后形状变为(320，320，12)，这分别表示特征图的宽、高和通道数；通过第一个卷积-归一化-激活函数结构，特征图增加通道信息后的特征形状为(320，320，64)，传入位置信息精炼模块后再不改变特征形状的同时细化了小目标位置信息，最后特征信息依次传入了四个卷积-归一化...
【专利技术属性】
技术研发人员：刘诗婕，罗臣琪，秦飞巍，王昌淼，葛瑞泉，彭勇，包建荣，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。