一种基于相关分析的通道压缩卷积方法技术

本发明专利技术涉及一种基于相关分析的通道压缩卷积方法，包括如下步骤：(1)输入特征图，计算其中任意两个通道特征图的相似关系得到通道相关矩阵；(2)根据通道相关矩阵，把通道特征图分为冗余通道特征图和非冗余通道特征图；(3)对冗余通道特征图进行深度融合，对非冗余通道特征图进行保留和增强；(4)对处理后的两部分通道特征图进行融合得到通道压缩特征图。本发明专利技术能够在保证满意识别精度的同时，降低通道冗余和资源消耗，提高模型推理速度。提高模型推理速度。提高模型推理速度。

【技术实现步骤摘要】
一种基于相关分析的通道压缩卷积方法


[0001]本专利技术属于深度学习、高效计算和图像视频处理
，具体涉及一种基于相关分析的通道压缩卷积方法。

技术介绍

[0002]卷积神经网络在各种计算机视觉任务上取得了优异的效果，如语义分割、目标检测和行为识别等。为了追求更好的效果，主要趋势之一是设计更深、更复杂的网络结构，这就需要消耗更多的计算资源和更高的推理速度。然而，对计算资源和实时性的高要求使得卷积神经网络难以部署在内存和计算资源有限的嵌入式设备(如智能手机和自动驾驶汽车)上。
[0003]为了减少资源消耗和提高模型推理速度，人们提出了许多有效的方法来压缩和加速深层神经网络并保持令人满意的精度，如网络剪枝、量化、知识蒸馏和权重共享等。然而，这些方法的性能通常是以预先训练的深度模型作为基线的上界。近年来，一些高效的神经网络结构被用来实现更少的参数和计算。这种方法可以为自动搜索方法提供新的搜索单元。具体而言，MobileNet采用depthwise和pointwise卷积以使用更大的滤波器来近似卷积层。ShuffleNet采用通道洗牌操作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相关分析的通道压缩卷积方法，其特征在于步骤如下：步骤1：计算输入特征图中，任意两个通道特征图的相似关系，得到通道相关矩阵，其中c，w和h分别表示通道特征图的通道数量、宽和高；步骤为：11、对输入特征图X进行一个维数变换操作得到重组矩阵1、对输入特征图X进行一个维数变换操作得到重组矩阵其中，表示一个维数变换操作，目标是将一个属于的矩阵通过维数变换得到一个属于的矩阵，且d＝w
×
h；所述输入的特征图为X
i
(i＝1，2，...，c)表示输入特征图的第i个通道特征图；12、对重组矩阵G进行归一化操作，得到归一化矩阵其位置(i,j)处的元素a
ij
的计算为：其中，g
ij
表示重组矩阵G在位置(i，j)处的元素；13、借助归一化矩阵A得到通道相关矩阵B＝(A
T
×
A)
T
其中，
×
表示矩阵乘积，A
T
表示矩阵A的转置矩阵；步骤2：将通道特征图分为冗余通道特征图和非冗余通道特征图；21、选择通道相关矩阵为中有效的元素，记作集合P：其中：b
ij
表示特征图中第i个通道特征图和第j个通道特征图的相似度，所述集合P的元素个数为(c
‑
1)c/2；22、将集合P中元素按照降序排列得到重排后的集合U，得到通道特征图的相似度：U＝{u(i
k
，j
k
)|u
k
(i
k
,j
k
)∈P，k＝1，2，
…
，(c
‑
1)c/2}＝{u1(i1,j1)，u2(i2，j2)，
…
，u
(c
‑
1)c/2
(i
(c
‑
1)c/2
，j
(c
‑
1)c/2
)}u
i
≥u
i+1
其中，u
k
(i
k
，j
k
)表示从高到低第k个相似度的数值，即第i
k
个通道特征图和第j
k
个通道特征图的相似度；23、将参与多次相似度计算的通道特征图移除，得到简化后的集合V：V＝{v
k
(p
k
，q
k
))|v
k
(p
k
，q
k
)∈U，k＝1，2，
…
，c/2}
p
i
≠q
j
v
i
≥v
i+1
其中，v
k
(p
k
，q
k
)表示第p
k
个通道特征图和第q
k

【专利技术属性】
技术研发人员：陶焕杰，胡震武，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：