一种低冗余倒置残差块制造技术

本发明专利技术公开了一种低冗余倒置残差块，包括依次连接的用于扩张输入通道的数量的多支路操作层、用于提取特征的空间卷积层和用于压缩输出通道的数量的卷积压缩层，所述多支路操作层通过输入通道与所述空间卷积层相连接，所述空间卷积层通过输出通道与所述卷积压缩层相连接；所述空间卷积层包括空间卷积核，所述空间卷积核与通过所述多支路操作层扩张后的输入通道数量相同且唯一对应；所述卷积压缩层中包括2个结构稀疏的组卷积核。大幅度地减少了卷积块的冗余，进而缩小了网络模型尺寸和降低了计算成本。

A Low Redundancy Inverted Residual Block

【技术实现步骤摘要】
一种低冗余倒置残差块
本专利技术涉及神经网络领域，特别涉及一种低冗余倒置残差块。
技术介绍
卷积神经网络由于其较高的识别精度，在各种领域中得到了广泛的应用，而传统的卷积神经网络往往层次深而且结构复杂，需要较大的存储空间，且计算量较大，不利于成本的控制。为了解决这个问题，目前所采取的方案主要是对预先训练的模型进行压缩，或者直接构建轻量级卷积神经网络，例如残差结构，从而减少神经网络的参数量和计算量。但是对预先训练的模型进行压缩的方法需要预先训练复杂的网络，而且压缩很容易造成精度下降；现有的残差结构中使用的卷积层是密集连接的，参数冗余较多，耗费的计算量较大。
技术实现思路
本专利技术的目的在于至少解决现有技术中存在的技术问题之一，提供一种低冗余倒置残差块，在实际应用中能够用低计算成本的多支路操作扩增通道数，并使用卷积层保持稀疏，减少计算量，在确保高精度的前提下实现高效的特征提取。根据本专利技术的第一方面，提供一种低冗余倒置残差块，包括依次连接的用于扩张输入通道的数量的多支路操作层、用于提取特征的空间卷积层和用于压缩输出通道的数量的卷积压缩层，所述多支路操作层通过输入通道与所述空间卷积层相连接，所述空间卷积层通过输出通道与所述卷积压缩层相连接；所述空间卷积层包括空间卷积核，所述空间卷积核与通过所述多支路操作层扩张后的输入通道数量相同且唯一对应；所述卷积压缩层中包括2个结构稀疏的组卷积核。上述低冗余倒置残差块至少具有以下有益效果：本专利技术通过多支路操作层对通道进行扩张，空间卷积核的数量与输入通道唯一对应，大幅度减少了网络冗余，卷积压缩层采用结构稀疏的1×1组卷积核代替倒置残差结构中密集的1×1卷积压缩层，用更少的参数量和计算量实现信息跨通道流通以及维度映射，有效地提高网络的表征能力，并大幅度降低了卷积块的参数量和计算。根据本专利技术第一方面所述的一种低冗余倒置残差块，多支路操作层中包括至少6个用于扩张输入通道数的并行支路。采用多个并行支路能够以零计算开销的操作代替倒置残差结构中高计算成本的1×1多支路操作层。该技术在不需要额外的计算开销下，用至少6个分离的并行支路对输入通道进行通道数扩张。根据本专利技术第一方面所述的一种低冗余倒置残差块，所述空间卷积核包括第一空间卷积核，第二空间卷积核和第三空间卷积核，所述第一空间卷积核的核尺寸为1×1，所述第二空间卷积核的核尺寸为3×3，所述第三空间卷积核的核尺寸为5×5。从结构上看，采用多尺寸的低冗余卷积核能够利用低秩分解方法对核尺寸较大的卷积滤波器进行分解，以减少卷积滤波器冗余。根据本专利技术第一方面所述的一种低冗余倒置残差块，所述卷积压缩层压缩后的输出通道的数量与通过所述多支路操作层扩展前的输入通道的数量相同。通过压缩输出通道数，进而压缩卷积块的参数量并使得输入输出维度一致，以便于在输入输出之间插入捷径连接，有助于信息跨通道流动。附图说明下面结合附图和实施例对本专利技术进一步地说明；图1为本专利技术实施例一种低冗余倒置残差块的结构示意图。具体实施方式本部分将详细描述本专利技术的具体实施例，本专利技术之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本专利技术的每个技术特征和整体技术方案，但其不能理解为对本专利技术保护范围的限制。在本专利技术的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。在本专利技术的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。本专利技术的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属
技术人员可以结合技术方案的具体内容合理确定上述词语在本专利技术中的具体含义。参照图1，低冗余倒置残差是残差结构的倒置形式，共有三层。第一层是多支路操作层100，用于扩张输入通道；随后第二层用空间卷积层200对输出进行特征提取；最后一层是结构稀疏的1×1卷积压缩层300，该层对空间卷积的输出进行跨通道连接，实现信息交流，并压缩输出通道，使得输入输出维度一致，以便捷径连接的插入。需要说明是的，本实施例中采用的多支路级联技术是利用多支路操作实现了扩张输入通道的维度且无需消耗额外的计算成本。空间卷积层200在每个输入通道应用相应的单个空间卷积核，用于在特征提取同时降低计算复杂度。结构稀疏的组卷积核310在实现信息跨通道流动与维度压缩同时，进一步减少了卷积块的冗余。在本专利技术的另一个实施例中，使用第一空间卷积层210，第二空间卷积层220和第三空间卷积层230逐通道卷积在六个分离的并行支路对输入的低维压缩表征进行滤波，以提取输入不同尺度的特征，其中，对第三空间卷积层进行低秩分解；然后，将多空间卷积层200的每个支路进行级联，以形成输出不同尺度的输出特征；接着利用线性的结构稀疏逐的组卷积核310将特征投影回低维压缩表征，使得输入输出维度一致，以便于捷径连接的插入，与此同时，线性的结构稀疏逐点卷积实现了信息跨通道流动。由图1可以看出，轻量级逐通道卷积输出的每个特征图为各支路内相应的输入特征通道提供特定描述，信息仅在特定通道内流动，不能跨通道交流。本专利技术利用结构稀疏的逐点卷积对轻量级逐通道卷积的输出进行滤波，使得信息跨通道流动。因此，低冗余倒置残差块的组合卷积核是密集的。本专利技术通过两个交错的稀疏低秩卷积，构建了一个密集的组合卷积块，有效地提高网络的表征能力，并大幅度降低了卷积块的参数量和计算量。上面结合附图对本专利技术实施例作了详细说明，但是本专利技术不限于上述实施例，在所述
普通技术人员所具备的知识范围内，还可以在不脱离本专利技术宗旨的前提下作出各种变化。本文档来自技高网...

【技术保护点】
1.一种低冗余倒置残差块，其特征在于，包括：依次连接的用于扩张输入通道的数量的多支路操作层、用于提取特征的空间卷积层和用于压缩输出通道的数量的卷积压缩层，所述多支路操作层通过输入通道与所述空间卷积层相连接，所述空间卷积层通过输出通道与所述卷积压缩层相连接；所述空间卷积层包括空间卷积核，所述空间卷积核与通过所述多支路操作层扩张后的输入通道数量相同且唯一对应；所述卷积压缩层中包括2个结构稀疏的组卷积核。

【技术特征摘要】
1.一种低冗余倒置残差块，其特征在于，包括：依次连接的用于扩张输入通道的数量的多支路操作层、用于提取特征的空间卷积层和用于压缩输出通道的数量的卷积压缩层，所述多支路操作层通过输入通道与所述空间卷积层相连接，所述空间卷积层通过输出通道与所述卷积压缩层相连接；所述空间卷积层包括空间卷积核，所述空间卷积核与通过所述多支路操作层扩张后的输入通道数量相同且唯一对应；所述卷积压缩层中包括2个结构稀疏的组卷积核。2.根据权利要求1所述的一种低冗余倒置残差块，...

【专利技术属性】
技术研发人员：李禹源，张东，吴增程，
申请(专利权)人：佛山市顺德区中山大学研究院，广东顺德中山大学卡内基梅隆大学国际联合研究院，中山大学，
类型：发明
国别省市：广东,44