一种基于多分支神经网络的无人机航拍图像暗光增强方法技术

本发明专利技术提供一种基于多分支神经网络的无人机航拍图像暗光增强方法，包括获取不同场景下的无人机航拍暗光图像，构建暗光图像数据集；在暗光图像数据集中选取图像数据，输入预先建立的多分支暗光增强神经网络，通过对输入的图像数据进行不同层次的特征提取和特征增强，输出与输入图像大小相同的彩色图像；对不同分支的彩色图像特征进行融合，获取最终的增强图像；构造多分支暗光增强神经网络的模型损失，以增强图像为训练样本，对多分支暗光增强神经网络进行训练，直到模型损失收敛，得到训练好的网络模型；使用训练好的模型增强待测试的无人机航拍暗光图像。上述方案的提出有效解决了航拍图像在暗光情况下图像质量差的问题。决了航拍图像在暗光情况下图像质量差的问题。决了航拍图像在暗光情况下图像质量差的问题。

【技术实现步骤摘要】
一种基于多分支神经网络的无人机航拍图像暗光增强方法


[0001]本专利技术涉及计算机视觉图像处理
，尤其涉及一种基于多分支神经网络的无人机航拍图像暗光增强方法。

技术介绍

[0002]在暗光环境下，由于光照条件的限制，得到的彩色图像颜色暗局部特征不突出等明显缺陷，在拍摄过程中无法接收到足够的光线时，会在暗区出现信息丢失和意外噪声导致无人机航拍识别的准确率以及图像的直观感受，都会对航拍效果产生巨大的影响。

技术实现思路

[0003]为了弥补现有技术中的不足，本专利技术提供了一种基于多分支神经网络的无人机航拍图像暗光增强方法，解决了航拍图像在暗光情况下图像质量差的问题，提高了无人机航拍识别的准确率，增强无人机暗光环境下的拍摄效果。
[0004]本专利技术的目的是采用下述技术方案实现的：一种基于多分支神经网络的无人机航拍图像暗光增强方法，包括：获取不同场景下的无人机航拍暗光图像，构建暗光图像数据集；在暗光图像数据集中选取图像数据，输入预先建立的多分支暗光增强神经网络，通过对输入的图像数据进行不同层次的特征提取和特征增强，输出与输入图像大小相同的彩色图像；对不同分支的彩色图像特征进行融合，获取最终的增强图像；构造多分支暗光增强神经网络的模型损失，以所述增强图像为训练样本，对多分支暗光增强神经网络进行训练，直到模型损失收敛，得到训练好的网络模型；使用训练好的模型增强待测试的无人机航拍暗光图像。
[0005]优选的，所述构建暗光图像数据集包括：通过预先设置的无人机角度和位置，获取不同场景下在正常光与暗光状态下拍摄的照片，对所述照片进行图像裁剪缩放至255X255尺寸的三通道彩色图像；收集三通道彩色图像数据，并对收集的数据按比例划分；其中，80%作为训练集、20%作为测试集。
[0006]优选的，所述多分支暗光增强神经网络的预先建立包括：采集训练集中的图像数据作为输入图像，通过特征提取模块对输入的图像进行不同层次的特征提取，通过增强模块对提取的图像特征进行特征增强，生成与输入图像大小相同的彩色图像；其中，所述特征提取模块为10层的卷积神经网络，每层使用32个3X3的卷积核进行特征提取；在每个卷积之后设置ReLu激活函数，用于非线性映射。
[0007]优选的，所述增强模块包括10层的卷积神经网络，每层网络由8个3X3卷积核、16个5X5卷积核、16个5X5反卷积核、8个5X5反卷积核和3个5X5反卷积核串联而成；在每个卷积之后设置ReLu激活函数，用于非线性映射。
[0008]优选的，所述增强图像为通过融合模块使用3通道1X1卷积核融合增强后的图像特征。
[0009]优选的，所述多分支暗光增强神经网络的模型损失包含结构损失、上下文损失；其中，结构损失，用于衡量增强图像和与其对应的正常光图像的差异，指导学习过程；上下文损失，用于测量增强图像和与其对应的正常光图像之间的差异。
[0010]进一步地，所述结构损失通过下式确定：其中，为结构损失，分别为增强图像和正常光图像的像素值的平均值； 为两者像素值的方差；为超参数。
[0011]进一步地，所述上下文损失通过下式确定：其中，E和G分别为增强图像和真实图像，分别描述了预训练的VGG
‑
19网络中各个特征图的尺寸；表示预训练的VGG
‑
19网络中第i个特征图的第j卷积层获得的特征映射。
[0012]优选的，所述构造多分支暗光增强神经网络的模型损失，以所述增强图像为训练样本，对多分支暗光增强神经网络进行训练，直到模型损失收敛，得到训练好的网络模型包括：根据预先定义的模型训练的样本输入量输入相应的训练样本，对模型进行迭代训练；对于上下文损失中正常光图像VGG
‑
19网络中提取的特征颜色，在训练过程中使用VGG
‑
19网络第三块的第四个卷积层的输出作为上下文损失提取层；通过Adam优化算法更新网络参数，当迭代结束后，保存测试结果最高的模型作为最终模型。
[0013]优选的，所述使用训练好的模型增强待测试的无人机航拍暗光图像包括：获取无人机在暗光环境下拍摄的暗光图像，对拍摄的暗光图像进行缩放至255X255尺寸后输入训练好的模型中，获取增强后的图片。
[0014]与现有技术比，本专利技术达到的有益效果是：本专利技术提供的一种基于多分支神经网络的无人机航拍图像暗光增强方法，首先通过获取不同场景下的无人机航拍暗光图像，构建暗光图像数据集；在暗光图像数据集中选取图像数据，输入预先建立的多分支暗光增强神经网络，通过对输入的图像数据进行不同层次的特征提取和特征增强，输出与输入图像大小相同的彩色图像；其次，对不同分支的彩色图像特征进行融合，获取最终的增强图像；最后构造多分支暗光增强神经网络的模型损失，以增强图像为训练样本，对多分支暗光增强神经网络进行训练，直到模型损失收敛，得到训练好的网络模型；使用训练好的模型增强待测试的无人机航拍暗光图像。从而有效解
决了航拍图像在暗光情况下图像质量差的问题。
[0015]本专利技术从方法上提出创新，不再依托于传统无人机拍摄的固有模式，弥补了由于光照条件限制造成的彩色图像颜色暗、局部特征不突出等拍摄缺陷。提高了无人机航拍识别的准确率，增强无人机暗光环境下的拍摄效果。
附图说明
[0016]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
[0017]图1示出了本专利技术提供的基于多分支神经网络的无人机航拍图像暗光增强方法流程图；图2示出了本专利技术提供的基于多分支神经网络的无人机航拍图像暗光增强系统结构示意图；图3示出了本专利技术提供的电子设备结构示意图。
具体实施方式
[0018]下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只是作为示例，而不能以此来限制本专利技术的保护范围。
[0019]需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。
[0020]如图1所示，本专利技术具体实施方式提供基于多分支神经网络的无人机航拍图像暗光增强方法，所述方法包括以下步骤：S1获取不同场景下的无人机航拍暗光图像，构建暗光图像数据集；S2在暗光图像数据集中选取图像数据，输入预先建立的多分支暗光增强神经网络，通过对输入的图像数据进行不同层次的特征提取和特征增强，输出与输入图像大小相同的彩色图像；对不同分支的彩色图像特征进行融合，获取最终的增强图像；S3构造多分支暗光增强神经网络的模型损失，以所述增强图像为训练样本，对多分支暗光增强神经网络进行训练，直到模型损失收敛，得到训练好的网络模型；S4使用训练好的模型增强待测试的无人机航拍暗光图像。
[0021]步骤S1中，暗光图像数据集的构建过程包括：通过预先设置的无人机角度和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多分支神经网络的无人机航拍图像暗光增强方法，其特征在于，所述方法包括：获取不同场景下的无人机航拍暗光图像，构建暗光图像数据集；在暗光图像数据集中选取图像数据，输入预先建立的多分支暗光增强神经网络，通过对输入的图像数据进行不同层次的特征提取和特征增强，输出与输入图像大小相同的彩色图像；对不同分支的彩色图像特征进行融合，获取最终的增强图像；构造多分支暗光增强神经网络的模型损失，以所述增强图像为训练样本，对多分支暗光增强神经网络进行训练，直到模型损失收敛，得到训练好的网络模型；使用训练好的模型增强待测试的无人机航拍暗光图像。2.根据权利要求1所述的方法，其特征在于，所述构建暗光图像数据集包括：通过预先设置的无人机角度和位置，获取不同场景下在正常光与暗光状态下拍摄的照片，对所述照片进行图像裁剪缩放至255X255尺寸的三通道彩色图像；收集三通道彩色图像数据，并对收集的数据按比例划分；其中，80%作为训练集、20%作为测试集。3.根据权利要求1所述的方法，其特征在于，所述多分支暗光增强神经网络的预先建立包括：采集训练集中的图像数据作为输入图像，通过特征提取模块对输入的图像进行不同层次的特征提取，通过增强模块对提取的图像特征进行特征增强，生成与输入图像大小相同的彩色图像；其中，所述特征提取模块为10层的卷积神经网络，每层使用32个3X3的卷积核进行特征提取；在每个卷积之后设置ReLu激活函数，用于非线性映射。4.根据权利要求1所述的方法，其特征在于，所述增强模块包括10层的卷积神经网络，每层网络由8个3X3卷积核、16个5X5卷积核、16个5X5反卷积核、8个5X5反卷积核和3个5X5反卷积核串联而成；在每个卷积之后设置ReLu激活函数，用于非线性映射。5.根据权利要求1所述的方法，所述增强图像为通过融合...

【专利技术属性】
技术研发人员：许达文，张祥建，张旻晋，
申请(专利权)人：成都视海芯图微电子有限公司，
类型：发明
国别省市：