神经元激活方法、装置和系统以及对象分类方法和系统制造方法及图纸

技术编号:17162598 阅读:19 留言:0更新日期:2018-02-01 20:44
本申请公开了神经元激活方法、装置和系统以及对象分类方法和系统。神经元激活方法包括:将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组,至少一个神经元组中的每个神经元组包括相邻的至少二个神经元;调整神经元组中各神经元被激活的概率;以及根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。本申请实施例提供的技术方案增强了卷积神经网络的分类能力。

Neuron activation methods, devices and systems, and object classification methods and systems

【技术实现步骤摘要】
神经元激活方法、装置和系统以及对象分类方法和系统
本申请涉及深度学习领域,具体地涉及神经元激活方法、装置和系统以及对象分类方法和系统。
技术介绍
作为深度学习网络的典型代表,CNN(ConvolutionalNeuralNetwork,卷积神经网络)具有强大的对象分类能力,因而在诸如图像识别等领域中得以广泛应用。在CNN中,一般需要通过特定的神经元激活方法来为CNN提供非线性的建模能力以增强特征区分能力以及获得稀疏的分布式表达以增强信噪比。在常规的CNN激活方法中,一般仅在单个神经元的尺度上处理信息,从而基于单个神经元的状态对神经元进行激活。
技术实现思路
本申请提供了神经元激活的技术方案以及对象分类技术方案。本申请实施例的一方面提供了一种神经元激活方法,该方法可包括:将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组,至少一个神经元组中的每个神经元组包括相邻的至少二个神经元;调整神经元组中各神经元被激活的概率;以及根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。本申请实施例的另一方面提供了一种对象分类方法,该方法可包括:过滤图像以生成第一特征图;通过使用上述神经元激活方法激活卷积神经网络中的多个神经元;通过所激活的多个神经元从第一特征图生成第二特征图;以及根据第二特征图对图像中的对象进行分类。本申请实施例的另一方面提供了一种神经元激活装置,该装置可包括:分组单元,将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组,至少一个神经元组中的每个神经元组包括相邻的至少二个神经元;调整单元,调整神经元组中各神经元被激活的概率;以及激活单元,根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。本申请实施例的另一方面提供了一种对象分类系统,该系统可包括:滤波模块,过滤图像以生成第一特征图;上述神经元激活装置,激活卷积神经网络中的多个神经元,以通过所激活的多个神经元从第一特征图生成第二特征图;以及分类模块,根据第二特征图对图像中的对象进行分类。本申请实施例的另一方面提供了一种神经元激活系统,该系统可包括:存储器,存储可执行指令;以及一个或多个处理器,与存储器通信以执行可执行指令从而完成以下操作:将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组,至少一个神经元组中的每个神经元组包括相邻的至少二个神经元;调整神经元组中各神经元被激活的概率;以及根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。本申请实施例的另一方面提供了一种对象分类系统,该系统可包括:存储器,存储可执行指令;以及一个或多个处理器,与存储器通信以执行可执行指令从而完成以下操作:过滤图像以生成第一特征图;通过上述神经元激活方法激活卷积神经网络中的多个神经元;通过所激活的多个神经元从第一特征图生成第二特征图;以及根据第二特征图对图像中的对象进行分类。本申请实施例的另一方面提供一种非暂时性计算机存储介质,该介质可存储计算机可读指令,当这些指令被执行时可使处理器执行以下操作:将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组,至少一个神经元组中的每个神经元组包括相邻的至少二个神经元;调整神经元组中各神经元被激活的概率;以及根据神经元组中各神经元调整后所得到的激活概率激活相应的神经元。本申请实施例的另一方面提供一种非暂时性计算机存储介质,该介质可存储计算机可读指令,当这些指令被执行时可使处理器执行以下操作:过滤图像以生成第一特征图;通过上述神经元激活方法激活卷积神经网络中的多个神经元;通过所激活的多个神经元从第一特征图生成第二特征图;以及根据第二特征图对图像中的对象进行分类。根据本申请的实施例,调整神经元组中各神经元被激活的概率包括:增大部分神经元被激活的概率而降低其余神经元被激活的概率,其中,神经元组中各神经元被激活的概率之和为常数。根据本申请的实施例,调整神经元组中各神经元被激活的概率包括:根据卷积神经网络的神经元组所在层的输入与神经元所包括的滤波器的关联程度,增大部分神经元被激活的概率而降低其余神经元被激活的概率,其中,神经元组中各神经元被激活的概率之和为常数。根据本申请的实施例,根据各神经元调整后所得到的激活概率激活相应的神经元包括:将神经元组中各神经元调整后所得到的激活概率作为神经元组的输出输入至卷积神经网络中神经元组所在层的下一层。根据本申请的实施例,不同神经元组的神经元被激活的概率彼此统计独立。根据本申请的实施例,卷积神经网络的同一层中的所有神经元划分为多个神经元组;或者,卷积神经网络的同一层中的至少一个神经元未划分入至少一个神经元组中。根据本申请的实施例,神经元组所在层为卷积神经网络的中间层。根据本申请的实施例,神经元组所在层为卷积神经网络的非线性层。根据本申请的实施例,根据第二特征图对图像中的对象进行分类包括:根据第二特征图评估图像中的对象分别属于预定种类的概率值;以及将图像中的对象划分到具有最大概率值的预定种类中。根据本申请的实施例,调整单元增大部分神经元被激活的概率而降低其余神经元被激活的概率,其中,神经元组中各神经元被激活的概率之和为常数。根据本申请的实施例,调整单元根据卷积神经网络的神经元组所在层的输入与神经元所包括的滤波器的关联程度,增大部分神经元被激活的概率而降低其余神经元被激活的概率,其中,神经元组中各神经元被激活的概率之和为常数。根据本申请的实施例,激活单元将神经元组中各神经元调整后所得到的激活概率作为神经元组的输出输入至卷积神经网络中神经元组所在层的下一层。根据本申请的实施例,不同神经元组的神经元被激活的概率彼此统计独立。根据本申请的实施例,分组单元将卷积神经网络的同一层中的所有神经元划分为多个神经元组;或者,分组单元未将卷积神经网络的同一层中的至少一个神经元划分入至少一个神经元组中。根据本申请的实施例,神经元组所在层为卷积神经网络的中间层。根据本申请的实施例,神经元组所在层为卷积神经网络的非线性层。根据本申请的实施例,分类模块根据第二特征图评估图像中的对象分别属于预定种类的概率值;以及将图像中的对象划分到具有最大概率值的预定种类中。本申请的神经元激活技术方案有效利用卷积神经网络的同一层中相邻神经元之间的相互关系,增强了CNN的特征区分能力以及增强相应滤波器输出值的信噪比,进而增强了CNN的分类能力。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和有益效果将会变得更明显:图1是常规的用于对象分类的卷积神经网络的示意图;图2是常规的特征提取操作的示意图;图3是激活操作增强卷积神经网络特征区分能力的示意图;图4是激活操作增强信噪比的示意图;图5是根据本申请实施例的卷积神经网络的一部分的示意图;图6是根据本申请实施例的神经元激活方法的流程图;图7是根据本申请实施例的对象分类卷积神经网络的示意图;图8是根据本申请实施例的对象分类方法的流程图;图9是根据本申请实施例的神经元激活装置;图10是根据本申请实施例的对象分类系统;以及图11是适合实施本申请实施例的计算机系统的示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,在本文中所描述的具体实施例仅仅用于解释本申请,而非对本申本文档来自技高网...
神经元激活方法、装置和系统以及对象分类方法和系统

【技术保护点】
一种神经元激活方法,其特征在于,包括:将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组,所述至少一个神经元组中的每个神经元组包括相邻的至少二个神经元;调整所述神经元组中各神经元被激活的概率;以及根据所述神经元组中所述各神经元调整后所得到的激活概率激活相应的神经元。

【技术特征摘要】
1.一种神经元激活方法,其特征在于,包括:将卷积神经网络的同一层中的至少部分神经元划分成至少一个神经元组,所述至少一个神经元组中的每个神经元组包括相邻的至少二个神经元;调整所述神经元组中各神经元被激活的概率;以及根据所述神经元组中所述各神经元调整后所得到的激活概率激活相应的神经元。2.根据权利要求1所述的神经元激活方法,其特征在于,所述调整所述神经元组中各神经元被激活的概率包括:增大部分神经元被激活的概率而降低其余神经元被激活的概率,其中,所述神经元组中所述各神经元被激活的概率之和为常数。3.根据权利要求1所述的神经元激活方法,其特征在于,所述调整所述神经元组中各神经元被激活的概率包括:根据所述卷积神经网络的所述神经元组所在层的输入与所述神经元所包括的滤波器的关联程度,增大部分神经元被激活的概率而降低其余神经元被激活的概率,其中,所述神经元组中所述各神经元被激活的概率之和为常数。4.根据权利要求1至3中任一项所述的神经元激活方法,其特征在于,所述根据各神经元调整后所得到的激活概率激活相应的神经元包括:将所述神经元组中所述各神经元调整后所得到的激活概率作为所述神经元组的输出输入至所述卷积神经网络中所述神经元组所在层的下一层。5.根据权利要求1至4中任一项所述的神经元激活方法,其特征在于,不同神经元组的神经元被激活的概率彼此统计独立。6.一种对象分类方法,其特征在于,包括:过滤图像以生成第一特征图;通过使用权利要求1至5中任一项所述的神经元激活方法激活卷积神经网络中的多个神经元;通过所激活的多个神经元从所述第一特征图生成第...

【专利技术属性】
技术研发人员:李帅王晓刚
申请(专利权)人:北京市商汤科技开发有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1