【技术实现步骤摘要】
本专利技术属于计算机视觉和图像处理，涉及一种基于rgb-t局部目标增强的恶劣环境目标检测方法。
技术介绍
1、目标检测作为计算机视觉的重要任务之一，在自动驾驶、交通监测、遥感检测等领域有着广泛的应用。然而，实际的成像系统不可避免受到散射、不均匀光照的影响，导致目标的特征在成像图像中出现退化降质的现象，严重影响了目标检测精度。因此，能够从降质图像中恢复出清晰的目标信息，对目标检测系统的全天候运行具有重要价值。
2、为实现恶劣环境中目标检测任务，目前已有的方法可以分为三类：基于更强大特征提取网络，直接在恶劣环境中训练目标检测器。该类方法依赖于更加复杂的网络结构，对检测的实时性产生不利影响；基于图像增强方法，对增强后的图像执行目标检测。然而，大多图像增强方法均以提高人眼视觉为目标进行设计，无法显著提高计算机视觉任务的精度；基于增强器与检测器的联合方法，训练出针对目标检测任务的图像增强器。该类方法联合了增强任务与检测任务，能够有效提高在恶劣环境中的目标检测精度。
3、然而，现有的增强器均以全局增强方案进行设计。这种全局的增强方案本质上是将增强器作为“黑箱系统”，在增强目标特征的同时，不可避免地对背景噪声也进行了放大。因此，现有增强器并未从结构设计方面实现最适合检测任务的图像增强，严重限制了恶劣环境中目标检测的精度。
技术实现思路
1、针对上述方法不足，本专利技术的目的提供一种基于rgb-t目标局部增强的恶劣环境目标检测方法。该专利技术能够在恶劣环境中仅对图像的目标区
2、本专利技术解决其技术问题所采用的技术方案是：基于rgb-t目标局部增强的恶劣环境目标检测方法，建立包括目标局部增强融合模型、图像增强模块与权重掩膜转换模块，并进行基于检测损失的联合优化方案训练一体化模型，用于在恶劣场景中实现目标检测任务，得到目标局部增强图像，包括以下步骤：
3、s1.构建目标局部增强融合模型，用于基于红外模态的目标权重掩膜实现对可见光模态下目标区域的局部增强；
4、s2.融合模型中进一步构建基于s型曲线函数的权重掩膜转换模块，实现从红外模态中得到目标的权重掩膜；
5、s3.融合模型中进一步构建基于改进大气散射模型与可学习伽马校正器的图像增强模块，实现对恶劣环境中可见光模态下降质图像的增强恢复；
6、s4.构建目标局部增强融合模型与检测器级联的一体化模型，采用检测损失联合优化一体化模型，实现对目标检测任务的图像增强，进而提高目标检测精度。
7、所述融合模型实现对输入的降质图像目标局部区域进行增强，而背景区域保持降质与模糊；所构建的目标局部区域增强图像用于提高在恶劣环境中目标检测的精度；
8、所述融合模型形式为：
9、y(x)＝m(x)×g(x)+(1-m(x))×u(x)，
10、其中，m(x)代表权重掩膜；g(x)代表增强后的图像；u(x)代表降质的原始图像。
11、步骤s2具体包括以下步骤：
12、s2a：构建s型曲线函数从红外模态中得到目标的权重掩膜；
13、可学习的s型曲线函数的形式为：
14、
15、其中，m(x)代表权重掩膜；α代表映射曲线的最大值，设置为常量1；μ代表映射曲线的中值点，设置为常量0；θ代表曲线的陡度，该参数是可学习的，由权重掩膜转换模块得到，不同的数值对应着对应不同的曲线，用于实现突出目标区域而抑制背景的噪声；
16、s2b：进一步构建权重掩膜转换模块，通过卷积神经网络实现从红外模态中估计θ参数，并根据映射函数得到目标的权重掩膜。
17、步骤s2b权重掩膜转换模块参数估计网络的具体结构包括：
18、(1)参数估计网络共包含若干组卷积结构组，各卷积结构组均包括n×n的卷积层与激活函数层，最后一组卷积结构组中为relu激活函数，其余各组均为rrelu激活函数；
19、(2)第一组卷积结构组的输入为单通道的红外模态图像，并保持输入输出空间尺寸不变；
20、(3)第n块卷积结构组的输入为前(n-1)块卷积结构组输出的特征图组，输入通道数为与前一层的输出相同，并保持输入输出空间尺寸不变；
21、(4)最后一层卷积结构组输出待估计的θ参数矩阵；根据映射函数对红外模态图像进行转换，得到目标的权重掩膜m(x)。
22、步骤s3具体包括以下步骤：
23、s31：根据改进的大气散射模型，实现对原始降质图像进行目标增强；
24、改进大气散射模型形式为：
25、
26、其中，j(x)代表输出的增强图像；i(x)代表输入的降质图像；td(x)代表去散射变换项，该项由图像增强模块估计得到；a(x)代表可变的大气光值；
27、s32：根据改进的可学习的伽马校正器，实现对降质图像进行再次目标增强；
28、改进的可学习的伽马校正器形式为：
29、
30、其中，g(x)代表输出的增强图像；ji(x)代表输入的待增强图像；γr，g，b(x)代表校正图矩阵，该项由图像增强模块估计得到；
31、s33：进一步构建图像增强模块，通过卷积神经网络实现从降质图像中估计散射变换项td(x)与校正图矩阵γr，g，b(x)，使得二者用于改进大气散射模型与伽马校正器依次进行图像目标增强。
32、步骤s33图像增强模块参数估计网络的具体结构包括：
33、(1)构建特征提取网络：特征提取网络包含若干组卷积结构组，各卷积结构组均包括n×n卷积层、实例归一化层、rrelu激活函数；第一组卷积结构组的输入为降质的rgb图像；第n块卷积结构组的输入为前(n-1)块卷积结构组输出的特征图组的拼接特征图组；将四块卷积结构组输出的特征图进行堆叠，得到特征图组；
34、(2)构建双分支结构的参数估计网络：将特征图组分别通过两个自适应权重分配模块，对特征图组自适应地赋予不同的权重，再通过一层卷积调整输出的通道数，分别经过brelu激活函数与relu激活函数得到估计散射变换项td(x)与校正图矩阵γr，g，b(x)。
35、步骤(2)中自适应权重分配模块的具体结构包括：
36、对输入进模块的特征图组fc进行一次全局平均池化与全局最大池化，得到两组大小为c×1×1的特征图组gc；将两组特征图组分别进行一次一维卷积操作，再将两组特征图组共同进行一次一维卷积；最后由sigmoid函数确定特征图组的权重α，根据权重α对特征图组自适应赋权。
37、所述目标检测器采用yolo网络，输出目标分类、置信度、定位框位置。
38、步骤s4具体包括以本文档来自技高网...
【技术保护点】
1.基于RGB-T目标局部增强的恶劣环境目标检测方法，其特征在于，建立包括目标局部增强融合模型、图像增强模块与权重掩膜转换模块，并进行基于检测损失的联合优化方案训练一体化模型，用于在恶劣场景中实现目标检测任务，得到目标局部增强图像，包括以下步骤：
2.根据权利要求1所述的基于RGB-T目标局部增强的恶劣环境目标检测方法，其特征在于，所述融合模型实现对输入的降质图像目标局部区域进行增强，而背景区域保持降质与模糊；所构建的目标局部区域增强图像用于提高在恶劣环境中目标检测的精度；
3.根据权利要求1所述的基于RGB-T目标局部增强的恶劣环境目标检测方法，其特征在于，步骤S2具体包括以下步骤：
4.根据权利要求3所述的基于RGB-T目标局部增强的恶劣环境目标检测方法，其特征在于，步骤S2b权重掩膜转换模块参数估计网络的具体结构包括：
5.根据权利要求1所述的基于RGB-T目标局部增强的恶劣环境目标检测方法，其特征在于，步骤S3具体包括以下步骤：
6.根据权利要求5所述的基于RGB-T目标局部增强的恶劣环境目标检测方法，其特征在于
7.根据权利要求6所述的基于RGB-T目标局部增强的恶劣环境目标检测方法，其特征在于，步骤(2)中自适应权重分配模块的具体结构包括：
8.根据权利要求1所述的基于RGB-T目标局部增强的恶劣环境目标检测方法，其特征在于，所述目标检测器采用YOLO网络，输出目标分类、置信度、定位框位置。
9.根据权利要求1所述的基于RGB-T目标局部增强的恶劣环境目标检测方法，其特征在于，步骤S4具体包括以下步骤：
...【技术特征摘要】
1.基于rgb-t目标局部增强的恶劣环境目标检测方法，其特征在于，建立包括目标局部增强融合模型、图像增强模块与权重掩膜转换模块，并进行基于检测损失的联合优化方案训练一体化模型，用于在恶劣场景中实现目标检测任务，得到目标局部增强图像，包括以下步骤：
2.根据权利要求1所述的基于rgb-t目标局部增强的恶劣环境目标检测方法，其特征在于，所述融合模型实现对输入的降质图像目标局部区域进行增强，而背景区域保持降质与模糊；所构建的目标局部区域增强图像用于提高在恶劣环境中目标检测的精度；
3.根据权利要求1所述的基于rgb-t目标局部增强的恶劣环境目标检测方法，其特征在于，步骤s2具体包括以下步骤：
4.根据权利要求3所述的基于rgb-t目标局部增强的恶劣环境目标检测方法，其特征在于，步骤s2b权重掩膜转换模块...
【专利技术属性】
技术研发人员：王旭东，陈希爱，韩志，李涵，唐延东，刘连庆，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。