基于RPF-CAM的低照度目标检测方法技术

本发明专利技术公开了一种基于RPF‑CAM的低照度目标检测方法，其特征在于，包括如下步骤：1）制作合成数据源，建立来源图像；2）特征提取网络模块的训练；3）通道注意力机制网络模块的训练；4）目标检测网络的训练；5）对整个卷积神经网络进行构造与训练。这种方法使得目标检测的特征图的特征表达能力更好、目标检测的精度高。

【技术实现步骤摘要】
基于RPF-CAM的低照度目标检测方法
本专利技术涉及图像增强和目标检测
，具体是一种基于残差金字塔融合和通道注意力机制RPF-CAM(residualpyramidfusionandchannelattentionmechanism，简称RPF-CAM)的低照度目标检测方法。
技术介绍
现有的目标检测方法主要针对于正常照度的环境下的目标检测，但是对于照度较低，所需检测目标成像偏暗、模糊不清、干扰较多的情况下，普遍存在检测效果和检测精度较为不佳的情况。Lab颜色模型是国际照明委员会(CIE)于1976年公布的一种色彩模式，是CIE组织确定的一个理论上包括了人眼可见的所有色彩的色彩模式，Lab模式弥补了RGB与CMYK两种彩色模式的不足。现在的目标检测网络，例如FasterR-CNN网络，在特征提取的过程中，逐步进行下采样，最后将得到的特征图送进区域建议网络生成先验框，这样得到的特征图存在较多的低层信息的丢失，造成小物体检测效果不佳，且对于低照度图像，没有针对性将光照信息和颜色信息进行分离，导致低照度目标检测效果不佳。...

【技术保护点】
1.一种基于RPF-CAM的低照度目标检测方法，其特征在于，包括如下步骤：/n1)制作合成数据源，建立来源图像：将正常日光照度下获取的正常照度图像Nor-images、模拟低照度环境下的成像特点获取的低照度图像Dark-images和图像标注数据Images_Annotation进行整合构造成一个Dark-Nor-Data数据集，数据集的分组情况如下表1所示：/n表1：/n

【技术特征摘要】
1.一种基于RPF-CAM的低照度目标检测方法，其特征在于，包括如下步骤：
1)制作合成数据源，建立来源图像：将正常日光照度下获取的正常照度图像Nor-images、模拟低照度环境下的成像特点获取的低照度图像Dark-images和图像标注数据Images_Annotation进行整合构造成一个Dark-Nor-Data数据集，数据集的分组情况如下表1所示：
表1：



2)特征提取网络模块的训练：过程包括：
2-1)将所有低照度图像Dark-images和正常照度图像Nor-images进行预处理，缩放到统一的宽度和高度；
2-2)采用Lab颜色模型将低照度图像Dark-images和正常照度图像Nor-images分解成光照分量和颜色分量两个部分，分别对两个部分进行降采样，参考ResNet50进行设计，Lab颜色是由RGB三基色转换而来的，它与RGB色彩模式转化公式如下：






a1500*(f(X)-f(Y))，



其中，
2-3)将原RGB图像经过Lab颜色模型转换后的图像进行卷积下采样，得到各个阶段各种尺寸大小的特征图，然后将最后一个阶段的特征图经过1×1卷积，改变成与上一阶段的特征图同样的通道数，再经过双线性插值，变成与上一阶段的特征图同等尺寸大小的特征图，最后通过逐像素相加，融合两个阶段的特征图，同理，将各个阶段的特征经过逐级融合，得到多尺度、多层级的能代表图像细节的特征图；
2-4)将低照度图像进行卷积下采样得到的特征图跟正常光照图像经过卷积下采样得到的特征图进行逐像素的内容损失函数的计算，损失函数采用MSE损失函数，MSE损失函数是预测值与目标值之间差值取平方和的均值，具体为公式(1)：



其中n为统计的数据量总数，yiy'i表示真实值和输出的预测值，依据所用数据进行公式的更改，更改后的均方误差MSE损失函数为公式(2)：



其中W、H分别表示预处理过后的图像的宽度和高度，表示真实正常光照的可见光图像特征图的像素值，G(IDark-images)x,y表示低照度图像IDark-images进行卷积下采样后得到的特征图的像素值；
3)通道注意力机制网络模块的训练，包括：
3-1)将光照分量和颜色分量得到的特征图进行通道间的连接操作，得到具有光照和颜色分量两个部分的高级特征图，然后经过全局平局池化将庞大的特征图压缩成1×1×C的特征向量，C为通道数，再经过挤压全连接操作，对每个通道的特征值进行激励学习，再通过全连接操作把特征向量放大成与特征图相同的通道数，其中，
挤压函数为公式(3)：
激励函数为公式(4)：s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))(4)，
δ函数是ReLu，而σ是一个sigmoid激活函数，W1和W2的维度分别是第一层全连接的维度和第二层全连接的维度，通过训练学习这两个权重，得到一个一维的激励权重来激活每一层通道，其中，尺度函数为公式(5)：



3-2)将经过2-3)融合后的特征图和3-1)最后得到的特征向量进行通道间的相乘操作；
4)目标检测网络的训练，包括：
4-1)将特征提取网络模块中的下采样的各个阶段对应的光照分量和颜色分量得到的特征图进行连接操作，其中光照分量和颜色分量在下采样过程中，对每一阶段的特征图进行横向连接操作，组成特征金字塔；
4-2)将经过注意力机制引导过后的总体特征图送进区域建议网络，用于生成建议框anchors，通过softmax即归一化指数函数判断建议框anchors属于正样本还是属于负样本，再利用边框回归修正建议框anchors获得精确的建议框，建议框的窗口采用四维向量(x,y,w,h)表示，分别表示窗口的中心点坐标和宽高，框A代表原始的前景建议框Anchors，框G代表目标的真实框GT，目标是寻找一种关系，使得输入原始的anchorA经过映射得到一个跟真实窗口G更接近的回归窗口G’，即：
4-2-1)给定：anchorA＝(Ax,Ay,Aw,Ah)和GT＝[Gx,Gy,Gw,Gh]；
4-2-2)寻找一种F,使得：F(Ax,Ay,Aw,Ah)＝(G'x,G'y,G'w,G’h)，其中(G’x,G'y,G'w,G'h)≈(G’x,G'y,G'w,G'h)，
经过变换F从anchorA变为G’的就是如下过程：
依据公式(6)、公式(7)先做平移：
G′x＝Aw·dx(A)+Ax(6)，
G′y＝Ah·dy(A)+Ay(7)，
依据公式(8)、公式(9)再做缩放：
G′w＝Aw·exp(dw(A))(8)，
G′h＝Ah·exp(dh(A))(9)，
依据公式(6)、公式(7)、公式(8)、公式(9)，需要学习的是dx(A)，dy(A)，dw(A)，dh(A)这四个变换，当输入的anchorA与GT相差较小时，把这种变换当作一种线性变换，那么就可以用线性回归来建模对窗口进行微调，线性回归就是给定输入的特征向量X，学习一组参数W，使得经过线性回归后的值跟真实值Y非常接近，即Y＝WX，输入X是卷积特征图，定义为同时还有训练传入A与GT之间的变换量，即(tx,ty,tw,th)，输出是dx(A)，dy(A)，dw(A)，dh(A)四个变换，目标函数可以表示为公式(10)：



其中是对用anchor的特征图组成的特征向量，w是需要学习的参数，d(A)是得到的预测值，让预测值(tx,ty,tw,th)与真实之差距最小，设计损失函数为公式(12)：



函数优化目标为：






对于训练边框回归函数网络回归分支，输入是卷积特征监督信号是Anchor与GT的差距(tx,ty,tw,th)，即训练目标是：输入使网络输出与监督信号尽可能相近，当边框回归工作时，再输入时，回归网络分支的输出就是每个Anchor的平移量和变换尺度(tx,ty,tw,th)，即可用来修正Anchor位置；
4-3)建议框层负责综合所有[dx(A),dy(A),dw(A),dh(A)]变换量和前景anchors，计算出精确的目标框Proposal，送入后续的ROI池化层；
4-4)将步骤4-1)得到的特征图和步骤4-3)生成的建议框送入到ROI池化层，综合这些信息后提取建议框特征图，送入后续的卷积层判定目标分类；
4-5)采用建议框特征图计算建议框的类别，同时再次边框回归获得检测框最终的精确位置；
5)对整个卷积神经网络...

【专利技术属性】
技术研发人员：江泽涛，翟丰硕，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45