一种深度学习单帧红外弱小目标高分辨率分割方法技术

本发明专利技术涉及一种深度学习单帧红外弱小目标高分辨率分割方法，旨在作为一种高效准确的红外弱小目标分割模型为红外弱小目标探测任务提供支撑。本发明专利技术以数据驱动方式，设计了基于高分辨率分割网络的小目标检测框架。针对红外弱小目标像素占比极低的问题，本发明专利技术设计了高分辨特征提取模块，维持了一条原图像尺度的特征支路，保留了弱小目标的空间信息；针对红外弱小目标缺少有效表观特征的问题，本发明专利技术设计了一种上下层特征融合策略，在高层特征支路提取优势语义信息，在底层特征支路提取优势空间信息；针对红外弱小目标在图像中目标数量极少的问题，本发明专利技术设计了一种样本随机复制的数据增强方案，能有效改善红外图像中的样本不均衡问题。衡问题。衡问题。

【技术实现步骤摘要】
一种深度学习单帧红外弱小目标高分辨率分割方法


[0001]本专利技术涉及红外弱小目标探测领域，具体为一种深度学习单帧红外弱小目标高分辨率分割方法。

技术介绍

[0002]红外弱小目标检测在民用与军用的许多场景中有着重要的研究价值，是诸多应用中的核心技术。红外波作为一种长电磁波，其真空波长介于750nm
‑
1mm之间，不同于来源丰富的可见光波段，红外波段主要由物体自身的热辐射与反射的太阳光产生，由于波段的特殊性，在可见光探测难以解决的遮挡与夜视等问题中，使用红外探测往往能迎刃而解。由于红外波段自身特点、传感器特性与成像距离远等因素，探测到的目标在红外图像上往往呈现像素占比少、缺乏形状与纹理的特点，这使得红外弱小目标检测算法成为红外图像处理领域的关键技术。
[0003]在单帧红外弱小目标检测任务中，重点有效检测出图像中像素占比极小且信噪比较低的目标，需要输出弱小目标在图像上像素位置。传统的单帧红外弱小目标检测算法均是基于先验与模型驱动的算法，这些算法都通过分析目标与背景的数据特点，充分挖掘先验信息，提出合适的假设来设计检测模型，但高度依赖先验假设的特点限制了传统算法的泛用性，这些算法依赖手工特征的设计，对超参数高度敏感，在目标图像与先验假设不同的场景里的表现往往不如人意；而另一方面，当前的深度学习分割算法均是针对具有丰富形状、纹理、颜色等表观信息的自然目标设计的，在缺少以上所有表观信息的红外弱小目标上，是几乎无能为力的。

技术实现思路

[0004]针对上述现有技术中存在的问题，本专利技术提供一种深度学习单帧红外弱小目标高分辨率分割方法，设计了基于高分辨率分割网络的小目标检测框架，将单帧红外图像输入本专利技术的网络中，能直接输出图像中红外弱小目标的像素级分割结果。针对红外弱小目标像素占比极低的问题，本专利技术设计了高分辨特征提取模块，与传统的串联分割网络不同，该模块在不同尺度的特征中采用并联结构，始终维持了一条原图像尺度的特征支路，最大程度地保留了弱小目标的空间信息；针对红外弱小目标缺少有效表观特征的问题，本专利技术设计了一种有效的上下层特征融合策略，在高层特征支路提取优势语义信息，在底层特征支路提取优势空间信息，融合出更好的输出特征；针对红外弱小目标在图像中极其稀疏、目标数量极少的问题，本专利技术设计了一种样本随机复制的数据增强方案，能有效改善红外图像中样本数量过少造成的样本不均衡问题。
[0005]为达到上述目的，本专利技术采用的技术方案如下：
[0006]一种深度学习单帧红外弱小目标高分辨率分割方法，其特征在于，包括如下步骤：
[0007]S1.获取输入数据及标注，输入数据为包含红外弱小目标的灰度图像，标注红外弱小目标在图像中的真值像素点，并划分训练数据集与测试数据集；
[0008]S2.对输入的训练数据集，获取其中的红外弱小目标，对目标进行随机尺度缩减、翻转变换，将得到的新目标随机粘贴在原图像中，并基于粘贴位置进行统计变换，得到经过样本随机复制增强的红外图像；
[0009]S3.设计基于高分辨率分割网络的检测算法，输入图像先后经过特征预提取模块、高分辨率特征提取模块与最后的特征分割模块，输出最终的红外弱小目标分割图，即实现端到端的红外弱小目标检测；
[0010]S4.在模型训练阶段，由标注生成每张红外图像中目标区域的真值，对算法输出的分割结果采用所述真值计算损失以进行监督训练；
[0011]S5.在模型推理阶段，输入的单帧红外图像经过高分辨率分割网络输出每个目标概率图，每个像素点的值为目标的出现概率，经过sigmoid激活后，得到最终分割结果，即将出现概率大于0的像素点作为目标的出现位置，最终得到红外弱小目标的精确像素位置。
[0012]进一步地，所述的步骤S1中，所述输入数据使用单通道16位深图像；标注生成是通过对观测天区内的参考星进行星图匹配获得天文定位信息，根据精密星历和星表获得包括自然天体和人造天体的精确天文坐标，经映射后转换到图像坐标获得亚像素级别定位信息。
[0013]进一步地，所述的步骤S2具体包括如下：
[0014]S21.目标提取阶段，利用输入图像的真值图，从输入图像中提取出每一个红外弱小目标，具体操作即截取出每一个弱小目标的最小外接矩形图像块，同时利用真值图生成该矩形块中的透明度数值，以精准地保留目标的具体轮廓；
[0015]S22.目标增强阶段，在提取出的每个目标的图像块上进行随机尺度缩放与翻转的图像变换操作，生成与原始目标有一定区分的变形；
[0016]S23.目标随机粘贴阶段，在原始图像上指定的范围中，随机选取粘贴点，随后统计粘贴点附近窗口的像素平均值与方差，对待粘贴的目标图像进行统计上的微调，使得目标在粘贴窗口处表现地更加自然，并能控制粘贴目标的信噪比。
[0017]进一步地，所述步骤S3的分割网络包括特征预提取模块、高分辨率特征提取模块和最终的特征分割模块；所述特征预提取模块采用轻量化的卷积层，提取红外图像的初级特征，输入到高分辨率特征提取模块中；所述高分辨率特征提取模块得到的四个特征支路中，上层的输出特征与原图的分辨率完全一致，保持最好的空间信息，下层的三个特征支路中，特征空间尺度减小，但通道维数逐渐增加，用于学习到更抽象的语义信息；所述高分辨率特征提取模块输出的四个特征支路的特征尺度统一到原始图像大小后，经过通道拼接输入所述特征分割模块。得到最终的弱小目标分割图；
[0018]不同尺度的所述特征支路采用并联的方式构建；采用轻量化的基础残差卷积块；在低分辨率特征支路向高分辨率特征支路的融合过程中，采用反卷积层，增加网络的可学习参数，其中，不同尺度差别间的反卷积层采用的反卷积步幅为2的次方；
[0019]以每个阶段作为划分点，位于后面的阶段接收到前面所有阶段最后的输出特征，对于每个特征支路的连接点，其输出为自身与过去阶段中同一支路的加和；
[0020]在低层特征图提取空间信息权重，在高层特征图提取通道信息权重，加强每个支路学习到的优势信息，给下一个阶段输出更好的特征支路；
[0021]在最终的特征分割模块中，高层特征图向低层特征图逐步注入语义权重，将最终
的加强高分辨特征用于最后的分割结果输出。进一步地，所述步骤S4，具体包括：
[0022]S41.真值生成阶段，对原始图像使用的数据增强方法为随机翻转和随机高斯模糊，对应的真值图像需要进行相应的变换，而对于样本随机复制增强的真值区域，还需要统计样本复制粘贴区域的灰度分布，为了使样本与背景区域分布平滑自然，对样本根据背景区域的灰度均值与方差进行灰度直方图拉伸处理；
[0023]S42.损失计算，对最终的特征分割模块的输出目标分割图，采用平滑交并比损失函数作为目标函数，用于监督整个模型的训练。
[0024]进一步地，所述步骤S5，具体包括：
[0025]S51.数据预处理，将输入图像先后进行归一化与尺度统一操作，统计整个输入图像数据集上的平均灰度值与方差用于归一化，所有输入图像尺度统一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习单帧红外弱小目标高分辨率分割方法，其特征在于，包括如下步骤：S1.获取输入数据及标注，输入数据为包含红外弱小目标的灰度图像，标注红外弱小目标在图像中的真值像素点，并划分训练数据集与测试数据集；S2.对输入的训练数据集，获取其中的红外弱小目标，对目标进行随机尺度缩减、翻转变换，将得到的新目标随机粘贴在原图像中，并基于粘贴位置进行统计变换，得到经过样本随机复制增强的红外图像；S3.设计基于高分辨率分割网络的检测算法，输入图像先后经过特征预提取模块、高分辨率特征提取模块与最后的特征分割模块，输出最终的红外弱小目标分割图，即实现端到端的红外弱小目标检测；S4.在模型训练阶段，由标注生成每张红外图像中目标区域的真值，对算法输出的分割结果采用所述真值计算损失以进行监督训练；S5.在模型推理阶段，输入的单帧红外图像经过高分辨率分割网络输出每个目标概率图，每个像素点的值为目标的出现概率，经过sigmoid激活后，得到最终分割结果，即将出现概率大于0的像素点作为目标的出现位置，最终得到红外弱小目标的精确像素位置。2.如权利要求1所述的一种深度学习单帧红外弱小目标高分辨率分割方法，其特征在于，所述的步骤S2具体包括如下：S21.目标提取阶段，利用输入图像的真值图，从输入图像中提取出每一个红外弱小目标，具体操作即截取出每一个弱小目标的最小外接矩形图像块，同时利用真值图生成该矩形块中的透明度数值，以精准地保留目标的具体轮廓；S22.目标增强阶段，在提取出的每个目标的图像块上进行随机尺度缩放与翻转的图像变换操作，生成与原始目标有一定区分的变形；S23.目标随机粘贴阶段，在原始图像上指定的范围中，随机选取粘贴点，随后统计粘贴点附近窗口的像素平均值与方差，对待粘贴的目标图像进行统计上的微调，使得目标在粘贴窗口处表现地更加自然，并能控制粘贴目标的信噪比。3.如权利要求3所述的一种深度学习单帧红外弱小目标高分辨率分割方法，其特征在于，所述步骤S3的分割网络包括特征预提取模块、高分辨率特征提取模块和最终的特征分割模块；所述特征预提取模块采用轻量化的卷积层，提取红外图像的初级特征，输入到高分辨率特征提取模块中；所述高分辨率特征提取模块得到的四个特征支路中，上层的输出特征与原图的分辨率完全一致，保持最好的空间信息，下层的三个特征...

【专利技术属性】
技术研发人员：尹继豪，彭玟滔，薛斌党，崔林艳，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：