当前位置: 首页 > 专利查询>中山大学专利>正文

一种用于卷积神经网络的特征图增强系统及方法技术方案

技术编号:19060537 阅读:34 留言:0更新日期:2018-09-29 12:54
本发明专利技术公开了一种用于卷积神经网络的特征图增强系统及方法,该系统包括:内置特征图单元,用于存储训练样本之间的本质共性特征;输入控制器,基于原输入特征图及以往的内置特征图,整合两者的特征信息,进行一系列卷积操作,得到一个与内置特征图大小一致的输入控制器的中间特征图;特征图控制器,以原输入特征图以及以往内置特征图作为输入,进行一系列卷积操作,得到一个与内置特征图大小一致的特征图控制器的中间特征图,结合所述输入控制器的中间特征图,并以β参数来控制两者的表达能力,得到最新的内置特征图表达;输出控制器,以最新内置特征图以及原输入特征图作为输入,通过卷积操作以及对最新内置特征图的特征提取,得到辅助特征图输出。

【技术实现步骤摘要】
一种用于卷积神经网络的特征图增强系统及方法
本专利技术涉及深度神经网络
,特别是涉及一种用于卷积神经网络的特征图增强系统及方法。
技术介绍
随着廉价的距离传感器普及和快速发展,深度图数据分析被广泛用于诸多机器人感知系统和计算机视觉任务中。具体来说,深度图像是指距离传感器(如,微软Kinect)录制的图像数据,是一种二维的灰度图,其图像中的每个像素点表示的是该点对应的物体在真实物理世界中距离传感器的毫米距离。即深度图反映了场景中的物体与传感器的距离信息分布。由于深度图像不受光照、阴影等环境因素影响,能够有效地表达真实物理世界中物体的几何结构信息,得到了广泛的应用,具有非常可观的前景。但相对于自然场景中的RGB三通道彩色图,深度图因为缺少色彩和纹理信息,所能提供的外观判别能力非常有限。我们迫切需要使用高效的机器学习算法来处理深度图数据。近五年来,深度卷积神经网络在诸多深度图数据分析中得到了非常成功的应用。但是因为深度图数据具有很强的机器噪声,使用卷积神经网络处理这些深度图数据会遇到低学习效率的挑战,即神经网络需要大量人工标注好的数据才能达到满意的效果。因此,实有必要提出一种技术手段,以解决上述问题,提高神经网络的学习效率。
技术实现思路
为克服上述现有技术存在的不足,本专利技术之目的在于提供一种用于卷积神经网络的特征图增强系统及方法,以减少对训练样本在数量上的高要求,加快神经网络的学习效率。为达上述及其它目的,本专利技术提出一种用于卷积神经网络的特征图增强系统,包括:内置特征图单元,用于存储训练样本之间的本质共性特征;输入控制器,基于原输入特征图x以及以往的内置特征图Mt-1,整合两者的特征信息,进行一系列卷积操作,得到一个与内置特征图大小一致的输入控制器的中间特征图;特征图控制器,以原输入特征图x以及以往内置特征图Nt-1作为输入,进行一系列卷积操作,得到一个与内置特征图大小一致的特征图控制器的中间特征图,结合所述输入控制器的中间特征图,并以β参数来控制两者的表达能力,得到最新的内置特征图Mt表达;输出控制器,在得到最新内置特征图表达Mt的情况下,以最新内置特征图Mt以及原输入特征图x作为输入,通过卷积操作以及对最新内置特征图的特征提取,得到辅助特征图输出。进一步地,所述系统还包括并联单元,用于将所述输出控制器的结果与原输入特征图x进行并联,以在原输入的基础上增强网络的表达能力。进一步地,所述输入控制器、特征图控制器以及输出控制器为卷积控制器,对于给定输入特征图以及内置特征图,各卷积控制器首先使用两个一层二维卷积层来分别提取两者的特征,然后把它们相加,依次再接BN层、矫正线性单元层、二维卷积层,最终加入另外一个BN层来获取原始的内置特征图表达。进一步地,各卷积控制器包括:二维卷积层,用于对输入图像或特征与内置特征图在二维空间进行卷积,以提取特征;BN层,对一批次的输入数据中每个通道,计算其均值μ和方差δ,以对神经元进行归一化操作,得到中间结果y;矫正线性单元层,连接BN层,采用简单的非线性阈值函数,对输入进行只允许非负信号通过的变换。进一步地,所述BN层还使用可学习的尺度参数s和偏移参数Δ,对中间结果y进行处理,得到输出z。进一步地,所述输入控制器首先对原输入特征图x进行卷积操作,此过程中对原输入特征图x进行了空间变换,从而得到更加抽象的特征表达,同时,所述输入控制器对以往的内置特征图Mt-1进行卷积操作,同样得到进一步更加抽象的特征表达,得到两个高度抽象的特征表达后,通过超参数α来控制两者的相对表达能力,最后经过tanh函数的作用得到所述输入控制器的最终输出。进一步地,所述特征图控制器以原输入特征图以及以往内置特征图作为输入,进行一系列卷积操作,得到两个高度抽象的特征图表达,以γm参数控制两者的表达能力,经过sigmoid函数σ来进行非线性数值转换,并与以往内置特征图Mt-1进行点乘,得到所述特征图控制器的中间特征图表达,结合所述输入控制器的中间特征图,并以β参数来控制两者的表达能力,得到的融合结果作为最新的内置特征图表达。进一步地,所述输出控制器对原输入特征图x以及最新的内置特征图Mt进行卷积操作得到两个高度抽象的特征表达,并且用参数γo控制两个高度抽象的特征表达的表达能力,经过sigmoid函数得到特征图,该特征图与最新内置特征图Mt进行点乘,从内置特征图中提取出辅助信息作为最终的辅助特征图输出。为达到上述目的,本专利技术还提供一种用于卷积神经网络的特征图增强方法,包括如下步骤:步骤一,读取以往的内置特征图Mt-1以及输入此次迭代的输入特征x;步骤二,将以往的内置特征图以及输入此次迭代的输入特征分别输入到输入控制器和特征图控制器中,协同作用并更新整个系统的内置特征图;步骤三,利用输出控制器读取新的内置特征图以及输入,控制内置特征图的输出内容。进一步地,所述方法还包括:将输出控制器的结果与原输入特征x进行并联,以在原输入的基础上增强网络的表达能力。与现有技术相比,本专利技术一种用于卷积神经网络的特征图增强系统及方法通过引入了特征图记忆机制,通过使用内置特征图和特征图控制器,增强输入特征图的表达能力,最终输出增强后的特征图,通过本专利技术,能有效地学习出深度图像数据中的共性特征,减少对训练样本在数量上的高要求,加快神经网络的学习效率。附图说明图1为本专利技术一种用于卷积神经网络的特征图增强系统的系统架构图;图2为本专利技术具体实施例中特征图增强系统所应用的示意图;图3为本专利技术具体实施例中卷积控制器的细部结构图;图4为本专利技术一种用于卷积神经网络的特征图增强方法的步骤流程图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本专利技术的精神下进行各种修饰与变更。图1为本专利技术一种用于卷积神经网络的特征图增强系统的系统架构图,图2为本专利技术具体实施例中特征图增强系统所应用的示意图。如图1及图2所示,本专利技术一种用于卷积神经网络的特征图增强系统,包括:内置特征图单元10,用于存储训练样本之间的本质共性特征。其大小为C*H*W,其中C,H,W分别为内置特征图的容量、长、宽。输入控制器20,为卷积控制器,其基于原输入特征图x以及以往的内置特征图Mt-1,整合两者的特征信息,进行一系列卷积操作,得到一个与内置特征图大小一致的输入控制器的中间特征图,为后面更新内置特征图的操作做准备。在本专利技术具体实施例中,输入控制器20首先对原输入特征图x进行卷积操作,这个过程中对原输入特征图x进行了空间变换,从而得到更加抽象的特征表达,同时,输入控制器20对以往的内置特征图Mt-1进行卷积操作,同样得到进一步更加抽象的特征表达,得到两个高度抽象的特征表达后,通过超参数α来控制两者的相对表达能力,相加将两者的表达融合在一起,最后经过tanh函数的作用得到输入控制器20的最终输出。具体地,给定输入特征图x,其大小为C*H*W,输入控制器20(表示为CI)在训练阶段进行三种操作,首先,它通过卷积把x转化为更抽象的特征表达;其次,它读取来自上一次迭代后的内置特征图Mt-1,卷积得到本文档来自技高网...

【技术保护点】
1.一种用于卷积神经网络的特征图增强系统,包括:内置特征图单元,用于存储训练样本之间的本质共性特征;输入控制器,基于原输入特征图x以及以往的内置特征图Mt‑1,整合两者的特征信息,进行一系列卷积操作,得到一个与内置特征图大小一致的输入控制器的中间特征图;特征图控制器,以原输入特征图x以及以往内置特征图Mt‑1作为输入,进行一系列卷积操作,得到一个与内置特征图大小一致的特征图控制器的中间特征图,结合所述输入控制器的中间特征图,并以β参数来控制两者的表达能力,得到最新的内置特征图Mt表达;输出控制器,在得到最新内置特征图表达Mt的情况下,以最新内置特征图Mt以及原输入特征图x作为输入,通过卷积操作以及对最新内置特征图的特征提取,得到辅助特征图输出。

【技术特征摘要】
1.一种用于卷积神经网络的特征图增强系统,包括:内置特征图单元,用于存储训练样本之间的本质共性特征;输入控制器,基于原输入特征图x以及以往的内置特征图Mt-1,整合两者的特征信息,进行一系列卷积操作,得到一个与内置特征图大小一致的输入控制器的中间特征图;特征图控制器,以原输入特征图x以及以往内置特征图Mt-1作为输入,进行一系列卷积操作,得到一个与内置特征图大小一致的特征图控制器的中间特征图,结合所述输入控制器的中间特征图,并以β参数来控制两者的表达能力,得到最新的内置特征图Mt表达;输出控制器,在得到最新内置特征图表达Mt的情况下,以最新内置特征图Mt以及原输入特征图x作为输入,通过卷积操作以及对最新内置特征图的特征提取,得到辅助特征图输出。2.如权利要求1所述的一种用于卷积神经网络的特征图增强系统,其特征在于:所述系统还包括并联单元,用于将所述输出控制器的结果与原输入特征图x进行并联,以在原输入的基础上增强网络的表达能力。3.如权利要求1所述的一种用于卷积神经网络的特征图增强系统,其特征在于:所述输入控制器、特征图控制器以及输出控制器为卷积控制器,对于给定输入特征图以及内置特征图,各卷积控制器首先使用两个一层二维卷积层来分别提取两者的特征,然后把它们相加,依次再接BN层、矫正线性单元层、二维卷积层,最终加入另外一个BN层来获取原始的内置特征图表达。4.如权利要求3所述的一种用于卷积神经网络的特征图增强系统,其特征在于,各卷积控制器包括:二维卷积层,用于对输入图像或特征与内置特征图在二维空间进行卷积,以提取特征;BN层,对一批次的输入数据中每个通道,计算其均值μ和方差δ,以对神经元进行归一化操作,得到中间结果y;矫正线性单元层,连接BN层,采用简单的非线性阈值函数,对输入进行只允许非负信号通过的变换。5.如权利要求4所述的一种用于卷积神经网络的特征图增强系统,其特征在于:所述BN层还使用可学习的尺度参数s和偏移参数Δ,对中间结果y进行处理,得到输出...

【专利技术属性】
技术研发人员:林倞任创杰成慧王青王可泽
申请(专利权)人:中山大学
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1