一种基于单位可变形卷积的密集连接方法技术

本发明专利技术涉及一种基于单位可变形卷积的密集连接方法，通过单位可变形卷积操作对浅层特征进行信息增强，随后将其与跨层的深层特征图进行通道维度上的拼接，进而可以充分合理地利用浅层特征图的细节特征对深层特征图进行信息补充。首先通过多次传统卷积操作、非线性变换以及特征归一化等一系操作对浅层特征进行特征提取；其次对上述浅层信息进行信息增强和尺寸调整，即对浅层特征图进行单位可变形卷积和池化等操作；最后通过跳跃连接的方式将上述两步的结果进行通道维度上的拼接，最终得到一个具有丰富语义的特征层。本发明专利技术通过信息增强操作充分地、合理地利用了浅层信息，可以用于提升多种目标检测网络的检测精度。

【技术实现步骤摘要】
一种基于单位可变形卷积的密集连接方法
本专利技术属于数字图像处理方法，涉及一种基于单位可变形卷积的密集连接方法，即基于单位可变形卷积的密集连接方法。该方法避免了传统密集连接在拼接卷积网络中靠前的浅层特征图和跨层(跨越多层卷积层)的深层特征图时因这两层所描述特征类型的差异而对深层特征带来的信息干扰的问题，充分合理地利用浅层特征图的细节特征对深层特征图进行信息补充，因此可用于提升多种目标检测算法的检测精度。
技术介绍
随着深度学习和计算设备性能的不断发展，卷积神将网络(CNNs)已经被大量的用于计算机视觉任务，如目标分类、目标分割以及目标检测等。近几年涌现出大量基于卷积神经网络的目标检测算法，可以将其分为两类：(1)使用预训练网络(如AlexNet、VGGNet_CNN_M_1024以及VGGNet16等)的检测算法：如RossGirshick等人提出的基于候选区域的目标检测算法(R-CNN、FastR-CNN及FasterR-CNN等)，又如基于端到端的卷积神经网络目标检测算法(YOLO，SSD等)；(2)从零开始不需要预训练模型的算法(DSOD)。这些方法及模型的出现，很大程度上提升了目标检测的精度和速度，使得基于神经网络的目标检测成为了今天的主流研究方向。近几年涌现出大量为了提高卷积神经网络目标检测精度的方法，其中具代表性的算法主要有两种：(1)通过增加网络结构的深度来提升检测精度；(2)通过对上下文信息的合理利用提升检测精度。2017年Huang等人提出DenseNet巧妙地结合了上述两类方法，是一种基于密集连接块的卷积神经网络。在该网络的密集连接块中，任何两层之间都有直接的连接，换言之，该密集连接块中的每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被作为输入直接传给其后面所有层。卷积网络使用密集连接的方式，可以减少网络参数，解决因网络加深而产生的梯度消失问题，增强特征信息的传播，增加不相邻卷积层特征图之间的关联。这种连接思路被很多新兴算法采用，并对其进行了一定的改动，如DSOD中利用这种连接思路设计出一种密集连接块，并将其应用到特征提取和多分支预测两大部分。DSOD的密集连接方式与DenseNet略有不同，主要体现为以下两点：(1)DSOD没有将密集连接块中靠前的浅层特征图与后续每一层相连而是有选择的将某两层通过跳跃连接组成一个密集连接块；(2)DSOD的密集连接块在跳跃连接时，用传统卷积操作(1×1)改变了浅层特征图的通道数。虽然DSOD的密集连接块与DenseNet的密集连接块略有不同但两者本质相同，即没有对浅层特征图的特征进行信息增强。因此本文将上述两种密集连接方式统称为传统的密集连接方式。上述的传统密集连接方式均未对靠前的浅层特征进行信息增强处理，而是简单地将其与跨层的深层进行特征拼合很可能因两层所描述特征类型的差异而造成浅层特征的不合理利用，既干扰了深层特征的准确表述，同时还增加算法的计算量。因此，简单利用该类密集连接方法不但不能提高目标检测精度，反而会造成检测精度的下降。如何设计一个可以充分地、合理地利用浅层特征的密集连接方法是一个有待解决的问题。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种基于单位可变形卷积的密集连接方法，针对传统密集连接在拼接卷积网络中靠前的浅层特征图和跨层的深层特征图时,可能因两层所描述特征类型存在差异而给深层特征带来信息干扰的问题。本专利技术提出一种基于单位可变形卷积的密集连接方法。使用单位可变形卷积对卷积网络中靠前的浅层特征进行信息增强，然后以跳跃连接的方式传递给跨层的深层并进行特征通道上的拼接，是一种新的密集连接方法。实验证明，该方法能够提升多种基于卷积神经网络的目标检测算法的检测精度。技术方案一种基于单位可变形卷积的密集连接方法，其特征在于步骤如下：步骤1：对卷积网络中靠前的浅层特征图Layer1进行特征提取，得到跨层的深层特征图Layer2_1；步骤2：对卷积网络中靠前的浅层特征图Layer1进行信息增强和尺寸调整：采用单位可变形卷积操作对浅层特征进行增强，使得增强后的特征图Layer2_2与特征图Layer2_1的通道维度相同；对浅层特征图Layer1进行单位可变形卷积操作：input(a′)＝input(a+δ)(1)G(p,q)＝g(px,qx)×g(py,qy)(3)g(px,qx)＝max(0,1-|px-qx|)(4)其中：input(a)表示被卷积特征图上像素点a处的特征值，δ表示单位偏移量，a′为a偏移后的点；由于a′的位置值通常包含小数，为得到该点特征值，采用双线性插值的方式，采用公式3～5；G(a′,a′θ)代表偏移后的点a′与该点周围的点a′θ间的距离，其中p、q为距离公式G(·)的两个二维变量，包含x,y两个维度的分量qxpxqypy；然后对被卷积的特征图进行可学习的重新整合，得到全新的图input′(·)；进一步对新的特征图进行传统3×3的卷积操作，采用公式5，output′(a)表示a点经过单位可变形卷积操作后的特征值；对增强后的特征图Layer2_2进行最大池化操作得到尺寸调整后的特征图Layer2_2；步骤3：利用Concat连接的方式将经步骤1特征提取得到的深层特征图Layer2_1与经步骤2信息增强和尺寸调整得到的特征图Layer2_2进行密集连接。所述步骤1的特征提取采用：多次传统卷积操作Conv、最大池化操作MaxPool、特征归一化操作Batchnorm以及非线性激活操作ReLU。所述步骤2的δ的模值限制在[0,1]内。有益效果本专利技术提出的一种基于单位可变形卷积的密集连接方法，针对传统密集连接在拼接卷积网络中靠前的浅层和跨层(跨越多层卷积层)的深层时,可能因两层所描述特征类型存在差异而给深层特征图带来信息干扰的问题，本专利技术通过单位可变形卷积操作对浅层特征进行信息增强，随后将其与跨层的深层特征图进行通道维度上的拼接，避免两层所描述特征类型存在太大差异，进而可以充分合理地利用浅层特征图的细节特征对深层特征图进行信息补充。首先通过多次传统卷积操作、非线性变换以及特征归一化等一系操作对浅层特征进行特征提取；其次对上述浅层信息进行信息增强和尺寸调整，即对浅层特征图进行单位可变形卷积和池化等操作；最后通过跳跃连接的方式将上述两步的结果进行通道维度上的拼接，最终得到一个具有丰富语义的特征层。本专利技术提出的基于单位可变形卷积的密集连接方法通过信息增强操作充分地、合理地利用了浅层信息，可以用于提升多种目标检测网络的检测精度。该方法的优点在于：对卷积网络中靠前的浅层特征进行了信息增强，避免了多次直接使用浅层特征给跨层(跨越多层卷积层)的深层特征带来信息干扰，进而提升检测网络的检测精度。首先对卷积网络中靠前的浅层特征图进行特征提取，得到相应的深层；其次利用单位可变形卷积操作和最大池化操作对上述浅层特征图进行信息增强和尺寸调整；最后以跳跃连接的方式将信息增强后的浅层特征传递给上述深层，并利用Concat连接方式将其进行通道维度上的拼接，得到一个具有丰富语义特征的特征层。该方法可以应用于多种目标检测网络，并可以有效地提升其检测精度。附图说明图1：本专利技术方法流程图图2：基于本专利技术的两种检测网络本文档来自技高网...

【技术保护点】
1.一种基于单位可变形卷积的密集连接方法，其特征在于步骤如下：步骤1：对卷积网络中靠前的浅层特征图Layer1进行特征提取，得到跨层的深层特征图Layer2_1；步骤2：对卷积网络中靠前的浅层特征图Layer1进行信息增强和尺寸调整：采用单位可变形卷积操作对浅层特征进行增强，使得增强后的特征图Layer2_2与特征图Layer2_1的通道维度相同；对浅层特征图Layer1进行单位可变形卷积操作：input(a′)＝input(a+δ)  (1)

【技术特征摘要】
1.一种基于单位可变形卷积的密集连接方法，其特征在于步骤如下：步骤1：对卷积网络中靠前的浅层特征图Layer1进行特征提取，得到跨层的深层特征图Layer2_1；步骤2：对卷积网络中靠前的浅层特征图Layer1进行信息增强和尺寸调整：采用单位可变形卷积操作对浅层特征进行增强，使得增强后的特征图Layer2_2与特征图Layer2_1的通道维度相同；对浅层特征图Layer1进行单位可变形卷积操作：input(a′)＝input(a+δ)(1)G(p,q)＝g(px,qx)×g(py,qy)(3)g(px,qx)＝max(0,1-|px-qx|)(4)其中：input(a)表示被卷积特征图上像素点a处的特征值，δ表示单位偏移量，a′为a偏移后的点；由于a′的位置值通常包含小数，为得到该点特征值，采用双线性插值的方式，采用公式3～5；G(a′,a′θ)代表偏移后的点a′与该点周围的点a′θ间的距离，其中p、q为距离...

【专利技术属性】
技术研发人员：赵天云，刘雪婷，郭雷，吕思稼，刘琦，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61