【技术实现步骤摘要】
本专利技术涉及低照度图像增强领域，尤其是一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法。本专利技术涉及在夜间场景下，以提升旋翼飞机夜间跟踪的鲁棒性为目标，提出的一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法。该方法能够有效低提升旋翼飞机在夜间跟踪时的跟踪精度和准确率。
技术介绍
1、近年来，基于卷积神经网络的目标跟踪算法发展迅速，成为视觉领域的研究热点。然而，这些跟踪算法在充足的光照条件下表现出色，但在低光照条件下，跟踪器的特征提取效率受到影响，导致跟踪精度明显下降，即使是最先进的跟踪器也难以在夜间环境中保持其性能优势。在实际应用中，旋翼飞机目标跟踪需要具有全天候鲁棒性的视觉系统。通常，为了解决低光照条件下目标跟踪难的问题，跟踪算法可以在进行跟踪之前利用低光增强算法进行预处理。
2、现有的低照度增强算法主要包括以下几种：
3、第一种方法是基于retinex理论的低照度图像增强算法。retinex理论是一种人类视觉的亮度和颜色感知模型，根据retinex理论，图像可以被分解为反射分量和光照分量。物体的颜色和亮度是由物体的反射能力决定的，物体本身的颜色不受光照非均匀性的影响。研究者们基于此理论提出了多种低照度图像增强算法，如ssr、msrcr等。
4、第二种方法是基于深度学习的低照度图像增强算法。近年来，基于深度学习的低光增强算法成为了图像增强领域的热门方向。鉴于retinex理论在低照度图像中的表现，有研究者将retinex与深度学习进行结合，提出了kind模型。该模型利用层分解模块
5、以上算法都促进了低照度图像增强研究领域的发展。然而，现有的大多数低照度图像增强算法的主要目标在于促进人类的视觉感知，为信号保真度量身定制，而不是高级视觉任务的要求，直接将低光图像增强应用于目标跟踪会产生次优结果。此外，考虑到旋翼飞机有限的计算资源，图像增强器必须轻巧且易于部署。因此，寻找一种有效的低照度增强方法来促进夜间旋翼飞机跟踪是一项迫切而又具有挑战性的任务。
技术实现思路
1、专利技术目的：以往的跟踪算法模型都是在有利的光照条件下表现出色，但是跟踪器的工作往往需要具有全天候的鲁棒性。低光条件下，跟踪器难以提取到目标对象的特征，给夜间跟踪带来了障碍。
2、为了解决跟踪器夜间跟踪难的问题，本专利技术提供了一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，以有效促进夜间旋翼飞机跟踪。本专利技术采用的技术手段如下：
3、一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，包括以下步骤：
4、步骤s1、获取500组配对的低光/正常光图像，用于训练低照度图像增强模型；
5、步骤s2、优化模块对输入的图像进行优化，得到优化后的图像；
6、步骤s3、分解模块根据retinex理论，对图像进行分解，得到的光照分量和反射分量；
7、步骤s4、光照调节模块对光照分量进行增强；
8、步骤s5、重建模块将增强后的光照分量和反射分量进行重建；
9、步骤s6、构建4个损失函数指导模型的训练；
10、步骤s7、将训练好的模型嵌入到旋翼飞机跟踪算法中，将增强操作作为跟踪算法的预处理步骤，以对跟踪的视频帧图像进行低照度图像增强。
11、所述步骤s1中，获取低照度图像的方法为：从公开的数据集sice和loldataset中获取500组配对的低光/正常光图像，并将图像随机裁剪为128×128像素。
12、所述步骤s2中，优化模块一共包含5层输入特征尺寸为128×128×3大小、输出尺寸为128×128×3的卷积神经网络，具体结构如下：
13、第一卷积层的卷积核大小为3×3、输入通道数为3、输出通道数为64、步长为1、填充为0，卷积之后为relu激活层；
14、第二卷积层、第三卷积层、第四卷积层的卷积核大小为3×3、输入通道数为64、输出通道数为64、步长为1、填充为0，卷积之后为relu激活层；
15、第五卷积层的卷积核大小为卷积核大小为3×3、输入通道数为64、输出通道数为3、步长为1、填充为0，卷积之后为sigmoid激活层；
16、所述步骤s3中，分解模块一共包含两个子网络，光照网络和反射网络，光照网络是包含5层输入特征为128×128×3大小、输出尺寸为128×128×1的卷积神经网络，反射网络结构与光照网络相似，唯一不同之处是反射网络输出尺寸为128×128×3，具体结构如下：
17、第一卷积层的卷积核大小为3×3、输入通道数为3、输出通道数为64、步长为1、填充为0，卷积之后为relu激活层；
18、第二卷积层、第三卷积层、第四卷积层的卷积核大小为3×3、输入通道数为64、输出通道数为64、步长为1、填充为0，卷积之后为relu激活层；
19、第五卷积层的卷积核大小为卷积核大小为3×3、输入通道数为64、输出通道数为1、步长为1、填充为0，卷积之后为sigmoid激活层，这里，反射网络的输出通道数为3。
20、所述步骤s4中，光照调节模块一共包含4层输入特征尺寸为384×384×2大小、输出尺寸为384×384×1的卷积神经网络，具体结构如下：
21、第一卷积层的卷积核大小为3×3、输入通道数为2、输出通道数为32、步长为1、填充为0，卷积之后为relu激活层；
22、第二卷积层、第三卷积层的卷积核大小为3×3、输入通道数为32、输出通道数为32、步长为1、填充为0，卷积之后为relu激活层；
23、第四卷积层的卷积核大小为3×3、输入通道数为32、输出通道数为1、步长为1、填充为0，卷积之后为sigmoid激活层。
24、所述步骤s5中，重建模块重建图像的公式为：
25、s＝ladjust⊙r (1)，
26、其中，s代表增强后的结果图像，ladjust代表增强后的光照分量，r代表反射分量，⊙代表元素乘。
27、所述步骤s6中，构建的损失函数共有4个，包括以下步骤：
28、首先构建优化损失函数，用于去除不适当的噪声和伪影，便于跟踪算法更好地从图像中提取目标特征，将mse损失函数作为优化损失，其公式如下所示：
29、
30、其中ilow代表输入的低照度图像，ilow表示优化后的图像；
31、然后构建反射一致性损失函数，根据retinex理论，同一场景下的不同照度的图像共享相同的反射率，其公式可以表述为：
32、
33、其中，rnormal代表正常光图像对应的反射分量，rlow代表低光图像对应的反射分量；
34、本文档来自技高网...
【技术保护点】
1.一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，其特征在于：所述增强方法作为预处理步骤用于现有的旋翼飞机跟踪算法；所述增强方法的低照度图像增强模型为基于配对图像的深度学习网络模型，包括一个优化模块、一个分解模块、一个光照调节模块和一个重建模块，先用优化模型对输入图像进行优化，然后分解模块根据Retinex理论对优化后的图像进行分解，得到低照度图像的光照分量和反射分量，然后光照调节模块对光照分量进行增强，得到增强后的光照分量，最后重建模块对增强后的光照分量和反射分量进行重建，从而得到增强结果。
2.根据权利要求1所述的一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，其特征在于：所述增强方法模型的训练包含以下步骤：
3.根据权利要求2所述的一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，其特征在于，所述步骤S1中，获取500组配对的低光/正常光图像的方法为：从公开的数据集SICE和LOLdataset中获取500组配对的低光/正常光图像，并将图像随机裁剪为128×128像素。
4.根据权利要求2所述的一种基于配对图像的夜间旋翼
5.根据权利要求2所述的一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，其特征在于，所述步骤S3中，分解模块一共包含两个子网络，光照网络和反射网络，光照网络是包含5层输入特征为128×128×3大小、输出尺寸为128×128×1的卷积神经网络，反射网络结构与光照网络相似，唯一不同之处是反射网络输出尺寸为128×128×3，具体结构如下：
6.根据权利要求2所述的一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，其特征在于，所述步骤S4中，光照调节模块一共包含4层输入特征尺寸为384×384×2大小、输出尺寸为384×384×1的卷积神经网络，具体结构如下：
7.根据权利要求2所述的一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，其特征在于，所述步骤S5中，重建模块重建图像的公式为：
8.根据权利要求2所述的一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，其特征在于，所述步骤S6中，构建的损失函数共有4个，包括以下步骤：
...【技术特征摘要】
1.一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，其特征在于：所述增强方法作为预处理步骤用于现有的旋翼飞机跟踪算法；所述增强方法的低照度图像增强模型为基于配对图像的深度学习网络模型，包括一个优化模块、一个分解模块、一个光照调节模块和一个重建模块，先用优化模型对输入图像进行优化，然后分解模块根据retinex理论对优化后的图像进行分解，得到低照度图像的光照分量和反射分量，然后光照调节模块对光照分量进行增强，得到增强后的光照分量，最后重建模块对增强后的光照分量和反射分量进行重建，从而得到增强结果。
2.根据权利要求1所述的一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，其特征在于：所述增强方法模型的训练包含以下步骤：
3.根据权利要求2所述的一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，其特征在于，所述步骤s1中，获取500组配对的低光/正常光图像的方法为：从公开的数据集sice和loldataset中获取500组配对的低光/正常光图像，并将图像随机裁剪为128×128像素。
4.根据权利要求2所述的一种基于配对图像的夜间旋翼飞机跟踪低照度图像增强方法，其特征在于，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。