一种高效的信息保真下采样方法和下采样模块技术

本发明专利技术提供了一种高效的信息保真下采样方法和下采样模块，是分割任务中新的有效下采样方法；该模块使用Haar小波变换降低空间大小，同时增加特征通道的数量，使得空间的信息不会丢失；使用1乘1逐像素卷积运算学习代表性特征，以少量的学习参数提取图像的特征，提高语义分割的分割质量；实现了增强分割模型的性能和评估下采样后的特征的功能。本发明专利技术提出的通用下采样模块在不增加计算量的前提下直接替换池化层或跨步卷积层，并集成到当前所有的语义分割的架构中；本发明专利技术提出了新度量指标特征熵，用于对采样后的特征质量进行度量，评估输出特征图不确定度的大小。输出特征图不确定度的大小。输出特征图不确定度的大小。

【技术实现步骤摘要】
一种高效的信息保真下采样方法和下采样模块


[0001]本专利技术属于计算机视觉
，具体涉及一种高效的信息保真下采样方法和下采样模块。

技术介绍

[0002]近些年来，随着深度卷积神经网络的飞速发展，语义分割也取得了很大的进展。下采样作为深度卷积神经网络最基本的组成部分，经常将其用于改变输入的分辨率。因此，下次样可以很好的对神经网络的感受野进行扩大，同时使得计算开销很有效的减少。最大池化、跨步卷积和平均池化等这些深度卷积神经网络常用的下采样方法，会使得语义分割中很重要的纹理和边界等信息丢失。为了使信息丢失能够得到有效缓解，同时对分类标签和下采样特征间的关系进行建立，提出了向多尺度特征融合子网或者编码器子网传输更多的信息的方法。基于这个方法的一些工作能够使得因为下采样时的信息丢失得到部分缓解，同时使得更多的信息进行聚合，从而有代表性的特征图提取出来。但是，对于一些像特征图串联或直接相加等比较简单的特征融合方法，会将过多无效的信息输入到网络中，这阻碍了有效特征的学习。
[0003]对于前景和背景之间有遮挡的分割对象或者小尺度的分割对象来说，丢失的纹理和边界等信息是非常重要的。但是，对于目前的工作来说，在后续解码端对丢失的信息进行恢复仍然面临着很大的挑战。
[0004]Haar小波变换在早期的图像处理研究中，主要是用在图像的压缩、重建、分解和去噪等方面，Haar小波变换具有能多尺度的快速分解信号的优点。
[0005]深度卷积网络通过逐层学习特征，并利用学习得到的特征进行最终的推断。从信息量的角度可理解成不断降低信息熵的过程。信息熵在以前的研究中，经常被用来对通信系统里面图像或者信号的不确定性大小进行评估。神经网络在分割任务里面主要的作用就是降低输入标签和图像之间的不确定性，这个不确定性需要进行评估。

技术实现思路

[0006]本专利技术要解决的技术问题是：提供一种高效的信息保真下采样方法和下采样模块，用于增强分割模型的性能和评估下采样后的特征。
[0007]本专利技术为解决上述技术问题所采取的技术方案为：一种高效的信息保真下采样方法，包括以下步骤：
[0008]S1：将图像或特征图输入到高保真的下采样模块的无损特征编码部分进行特征编码，通过Haar小波变换进行分解；
[0009]S2：将步骤S1编码后的特征输入到下采样模块的特征学习部分，学习有代表性的特征、改变特征图的通道数和过滤冗余信息；
[0010]S3：采用特征质量度量指标特征熵评估步骤S2得到的下采样特征图；
[0011]S4：定义训练过程中的损失函数为广义Dice损失和交叉熵损失之和。
[0012]按上述方案，所述的步骤S1中，具体步骤为：
[0013]S11：设输入的特征图的尺度大小为C
×
H
×
W，C、H和W分别表示通道数、特征图的高和宽；沿着列的方向进行行滤波，然后对每一行进行下采样；
[0014]S12：对上一步得到的结果沿着行方向做列滤波，然后逐列进行下采样；得到三个分别在垂直、水平和对角线方向的细节分量和一个近似分量；输出尺度大小为4C
×
H/2
×
W/2。
[0015]按上述方案，所述的步骤S1中，具体步骤为：
[0016]Harr小波变换的定义公式如下：
[0017][0018]φ
j,k
(x)定义公式如下：
[0019][0020]φ
0,0
(x)定义公式如下：
[0021][0022]按上述方案，所述的步骤S2中，具体步骤为：
[0023]S21：输入的特征图首先经过特征学习部分的卷积层进行特征提取；
[0024]S22：特征学习部分的批量归一化层对特征图里的每个像素点做归一化操作；
[0025]S23：经过特征学习部分的ReLU激活之后得到最终的四张下采样特征图。
[0026]按上述方案，所述的步骤S3中，特征熵指标用于对采样后的特征质量进行定量的评估，对特征学习部分卷积层学到的特征数量进行测量，评估输出特征图不确定度的大小；得到的特征熵指标越小，表明模型对特征图进行很好的分割；
[0027]设下采样得到的特征图为F，有C个特征通道，双线性插值之后分辨率为H
×
W；P表示分割模型最后的预测结果，大小为H
×
W；P的总像素数用M表示，大小为H
×
W；则特征熵为：
[0028][0029]按上述方案，所述的步骤S4中，设g、p、N和C分别表示专家标注的金标准、预测结果、图像元素的数量和每一个像素的实际标签，则训练过程中的损失函数为：
[0030][0031]式中第一项和第二项是交叉熵损失和广义Dice损失函数。
[0032]一种高效的信息保真下采样模块，包括下采样模块包括无损特征编码部分和特征学习部分；无损特征编码部分用于将图像或特征输入到低通滤波器和高通滤波器中提取低频信息和高频信息；特征学习部分包括标准卷积层、批量归一化层和ReLU激活层；特征学习
部分用于学习有代表性的特征、改变特征图的通道数和过滤冗余信息。
[0033]一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行一种高效的信息保真下采样方法。
[0034]本专利技术的有益效果为：
[0035]1.本专利技术的一种高效的信息保真下采样方法和下采样模块，以在语义分割中尽可能多的保留深度卷积神经网络内部信息为目的，设计了Haar小波下采样模块和基于Haar小波变换的信息保真下采样方法，是分割任务中新的有效下采样方法；该模块使用Haar小波变换降低空间大小，同时增加特征通道的数量，使得空间的信息不会丢失；使用1乘1逐像素卷积运算学习代表性特征，以少量的学习参数提取图像的特征，提高语义分割的分割质量；实现了增强分割模型的性能和评估下采样后的特征的功能。
[0036]2.本专利技术提出的通用下采样模块，包括无损特征编码部分和特征学习部分；在不增加计算量的前提下直接替换池化层或跨步卷积层，并集成到当前所有的语义分割的架构中；无损特征编码部分使得信息尽可能地在神经网络的主干处保存，对各种以卷积神经网络架构为主干的图像分割性能有很大的提高，尤其对小尺度目标的分割质量有显著提高；通用下采样模块缓解了语义分割任务中下采样所引起的重要空间信息的丢失问题，有效降低了信息的不确定度，易于学习有代表性的特征，提升了以卷积神经网络架构为主干的图像分割模型的语义对象(特别是对小尺度目标的分割)整体性能。
[0037]3.本专利技术以测量和确认本专利技术设计的下采样模块应用在深度卷积神经网络中后续的卷积层学到的特征的数量为目的提出了新度量指标特征熵，用于对采样后的特征质量进行度量，评估输出特征图不确定度的大小。
附图说明
[0038]图1是本专利技术实施例的下采样模块的结构示意图。
[0039]图2是本专利技术实施例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高效的信息保真下采样方法，其特征在于：包括以下步骤：S1：将图像或特征图输入到高保真的下采样模块的无损特征编码部分进行特征编码，通过Haar小波变换进行分解；S2：将步骤S1编码后的特征输入到下采样模块的特征学习部分，学习有代表性的特征、改变特征图的通道数和过滤冗余信息；S3：采用特征质量度量指标特征熵评估步骤S2得到的下采样特征图；S4：定义训练过程中的损失函数为广义Dice损失和交叉熵损失之和。2.根据权利要求1所述的一种高效的信息保真下采样方法，其特征在于：所述的步骤S1中，具体步骤为：S11：设输入的特征图的尺度大小为C
×
H
×
W，C、H和W分别表示通道数、特征图的高和宽；沿着列的方向进行行滤波，然后对每一行进行下采样；S12：对上一步得到的结果沿着行方向做列滤波，然后逐列进行下采样；得到三个分别在垂直、水平和对角线方向的细节分量和一个近似分量；输出尺度大小为4C
×
H/2
×
W/2。3.根据权利要求1所述的一种高效的信息保真下采样方法，其特征在于：所述的步骤S1中，具体步骤为：Harr小波变换的定义公式如下：φ
j,k
(x)定义公式如下：φ
0,0
(x)定义公式如下：4.根据权利要求1所述的一种高效的信息保真下采样方法，其特征在于：所述的步骤S2中，具体步骤为：S21：输入的特征图首先经过特征学习部分的卷积层进行特征提取；S22：特征学习部分的批量归一化层对特征图里的每个像素点做归一化操作...

【专利技术属性】
技术研发人员：徐国平，王霞霞，肖利芳，冷雪松，廖文涛，张炫，吴兴隆，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：