一种基于MSCFF的低照度目标检测方法技术

本发明专利技术公开了一种基于MSCFF的低照度目标检测方法，其特征在于，包括如下步骤：1）依据公开标准数据集建立来源图像；2）光照估计的训练；3）特征提取的训练；4）训练目标检测提取预测框；5）对预测框进行非极大值抑制；6）对整个低照度目标检测网络进行Fine tuning与低照度图像目标检测。这种方法使得目标检测在低照度图像上特征图的表达能力更好、图像目标检测的精度更高。

A low illumination target detection method based on mscff

【技术实现步骤摘要】
一种基于MSCFF的低照度目标检测方法
本专利技术涉及图像增强和目标检测
，具体是一种基于多尺度互补特征融合(Multi-ScaleComplementaryFeatureFusion，简称MSCFF)的低照度目标检测方法。
技术介绍
目前图像的目标检测方法主要适用于正常环境光照下，但对于低照度环境下的图像进行目标检测时检测效果和检测精度不佳，这是因为低照度图像具有亮度低、对比度低、信噪比低及噪声污染大等特性，这些特性对图像的目标检测形成干扰，不利于图像的目标检测。U-net是由OlafRonneberger等人在2015年提出的一种网络结构，它的产生极大地促进了医学图像分割的研究，U-net结构主要分为两部分：编码阶段和解码阶段，编码阶段类似于特征提取器，通过卷积和下采样操作获取上下文信息；解码阶段是编码阶段的对称过程，它由卷积和上采样操作组成，用于精确定位，U-Net中将对应编码结构层的输出作为解码结构层输入的一部分，可以克服编码过程中信息丢失的问题，有效提高生成图像的质量。现在的图像目标检测模块，无论是FasterR本文档来自技高网...

【技术保护点】
1.一种基于MSCFF的低照度目标检测方法，其特征在于，包括如下步骤：/n1)依据公开标准数据集制作合成数据源：包括：/n1-1)依据公开的SBD数据集合成低照度下的目标检测数据集，采用对正常照度图像添加高斯噪声、高斯滤波和伽马变换方式合成低照度图像，将正常照度图像与合成的低照度图像一一对应组成图像对，作为来源数据集；/n1-2)将SBD数据集中的训练集作为正常照度图像训练集，对应的合成低照度图像作为低照度图像训练集，将SBD数据集中的测试集作为正常照度测试集，对应的合成低照度图像作为低照度图像测试集，数据集的分组情况如表1所示：/n表1/n

【技术特征摘要】
1.一种基于MSCFF的低照度目标检测方法，其特征在于，包括如下步骤：
1)依据公开标准数据集制作合成数据源：包括：
1-1)依据公开的SBD数据集合成低照度下的目标检测数据集，采用对正常照度图像添加高斯噪声、高斯滤波和伽马变换方式合成低照度图像，将正常照度图像与合成的低照度图像一一对应组成图像对，作为来源数据集；
1-2)将SBD数据集中的训练集作为正常照度图像训练集，对应的合成低照度图像作为低照度图像训练集，将SBD数据集中的测试集作为正常照度测试集，对应的合成低照度图像作为低照度图像测试集，数据集的分组情况如表1所示：
表1



2)光照估计的训练：包括：
2-1)将低照度与正常照度图像训练集中的图像进行预处理，将这些图像的宽度和高度统一缩放至384*384像素；
2-2)对训练图像进行光照估计生成光照分布图：采用3组卷积核为3*3、stride＝2的卷积层和Relu激活函数进行下采样，3组卷积核为3*3，stride＝2的转置卷积层和Relu激活函数进行上采样，并在相对称的层之间加入跳跃连接，其中光照估计过程的参数设置如表2所示：
表2光照估计参数设置






2-3)采用光照分布图与输入特征图计算曝光注意力图，将步骤2-2)得到的光照分布图与输入特征图送入公式(1)中计算曝光注意力图：



其中，x表示输入模块的特征图，xBEM表示光照分布图，max(·)表示返回三个颜色通道中的最大值；
2-4)将步骤2-3)得到的曝光注意力图与输入特征图相乘得到应用曝光注意力图的特征图，基于此特征图进行特征提取；
3)特征提取训练：首先，输入特征图进行3次下采样得到四个不同尺寸的特征图，然后，分别对四个特征图进行特征提取，最后，把四个特征图上采样到同一尺寸进行特征融合，将得到特征输出，包括：
3-1)采用下采样对输入特征图做三次下采样，将输入特征图分别调整为{384，192，96，48}四个尺寸，并对四个尺寸的特征图分别进行特征提取，下采样块采用双分支结构，一方面，采用池化核为3*3、stride＝2的平均池化层对输入特征图进行下采样，另一方面，采用卷积核为3*3、stride＝2的卷积层和Relu激活函数对输入特征图进行下采样，然后，通过Concat拼接两个下采样后特征图，并送入Relu激活函数进行非线性映射，得到{384，192，96，48}尺寸的特征图；
3-2)将步骤3-1)得到的四个尺寸的特征图进行互补特征提取训练提取特征，互补特征提取块采用双分支结构，分别用于正常感受野下提取普通特征和扩大感受野提取丰富的上下文信息；
3-3)分别采用上采样对{384，192，96，48}尺寸提取的特征图上采样{1，2，4，8}倍，首先，采用两组卷积核为3*3、stride＝2的卷积层和Relu激活函数提取特征；
3-4)将步骤3-3)输出特征图进行全局平均池化，首先，将特征图在空间维度进行特征压缩得到1*1*C的特征向量：



其次，采用两个卷积核为1*1、stride＝1的卷积层对向量进行权重学习，权重越大，表示相关度越高，代表此通道越值得注意，然后，采用Sigmoid激活函数将结果映射到(0,1)，得到权重向量CAVector：
CAVector(xin)＝S[Conv(Conv(vector(xin)))](3)，
最后，将得到的权重向量与步骤3-3)输出的特征图各通道相乘，即可得到通道注意结果为：



3-5)采用卷积核3*3、stride＝2的转置卷积和Relu激活函数实现上采样，将输入特征图的尺寸扩大到原来的2倍；
3-6)对{192，96，48}尺寸特征图重复步骤3-3)、3-4)和3-5)，把特征图上采样到原尺寸的{2，4，8}倍，将四个特征图的尺寸统一到384*384；
3-7)将得到四个特征图从不同尺寸中提取的特征进行融合，采用Concat将四个特征图进行拼接并采用卷积核为3*3、stride＝1和卷积核为1*1、stride＝1的卷积层对拼接后的特征图进行特征提取；
3-8)分别采用卷积核为3*3、5*5、7*7和9*9的卷积层对融合后的特征进行不同尺度的特征提取；
3-9)采用Concat将通过多尺度提取的特征拼接并采用ChannelShuffle操作，把提取到的多尺度特征信息融合到不同的特征通道中，然后采用卷积核为3*3、stride＝1的卷积层对Concat融合后的特征信息进行特征提取；
3-10)将经过步骤2)...

【专利技术属性】
技术研发人员：江泽涛，钱艺，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45