一种神经网络处理方法及处理系统技术方案

本发明专利技术提供一种神经网络处理方法和处理系统。该处理方法包括以下步骤：基于池化参数确定相对于原卷积域的增大卷积域；将所述增大卷积域划分为多个子卷积域，其中，每个子卷积域的尺寸与原卷积域的尺寸相等；执行所述多个子卷积域的神经元与相应卷积核权值的卷积运算，以获得多个子卷积结果；对所述多个子卷积结果执行池化处理。利用本发明专利技术的处理方法能够提高数据处理的效率和资源利用率。

A neural network processing method and processing system

【技术实现步骤摘要】
一种神经网络处理方法及处理系统
本专利技术涉及深度学习
，尤其涉及一种用于神经网络的处理方法及处理系统。
技术介绍
近年来，深度学习技术得到了飞速的发展，在解决高级抽象认知问题，例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐和智能机器人等领域得到了广泛应用，成为学术界和工业界的研究热点。深度神经网络是人工智能领域具有最高发展水平的感知模型之一，该类网络通过建立模型模拟人类大脑的神经连接结构，通过多个变换阶段分层对数据特征进行描述，为图像、视频和音频等大规模数据处理任务带来突破性进展。深度神经网络模型结构是一种运算模型，由大量节点通过网状互连结构构成，这些节点被称为神经元。每两个节点间连接强度都代表通过该连接信号在两个节点间的加权重，即权重，与人类神经网络中的记忆相对应。然而，实现深度学习技术依赖于极大的计算量。在训练阶段，需要在海量数据中通过反复迭代计算得到神经网络中的权重数据；在推理阶段，同样需要神经网络在极短的响应时间(通常为毫秒级)内完成对输入数据的运算处理。神经网络中涉及的计算主要包括卷积操作、池化操作等，例如，卷积操作是将输入的神经元或称像素与相应卷积核的权值进行乘累加处理，卷积操作和池化操作占用了神经网络处理的大部分时间，因此，提高卷积操作和池化操作的计算效率，能够有效降低神经网络的处理时间。随着神经网络运算的规模越来越大、数据吞吐量越来越高，运行功耗成为一个严重问题。因此，需要对现有技术进行改进，以提高神经网络的计算效率并降低运行能耗。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺陷，提供一种神经网络的处理方法和处理系统，以提高数据处理的效率和缓存利用率。根据本专利技术第一方面，提供了一种神经网络处理方法。该处理方法包括以下步骤：步骤1：基于池化参数确定相对于原卷积域的增大卷积域；步骤2：将所述增大卷积域划分为多个子卷积域，其中，每个子卷积域的尺寸与原卷积域的尺寸相等；步骤3：执行所述多个子卷积域的神经元与相应卷积核权值的卷积运算，以获得多个子卷积结果；步骤4：对所述多个子卷积结果执行池化处理。在一个实施例中，所述增大卷积域的边长是L＝l+(q-1)*s，其中，L表示增大卷积域的边长，l表示原卷积域的边长，s表示原卷积步长，q表示池化参数中的池化域边长。在一个实施例中，以相对于原卷积步长增大的卷积步长和所述增大卷积域对神经网络的输入特征图进行扫描，以获得卷积层的输出神经元，其中，所述增大的卷积步长为S＝s*q，S表示增大的卷积步长，s表示原卷积步长，q表示池化参数中的池化域边长。根据本专利技术的第二方面，提供了一种神经网络处理系统。该处理系统包括：控制单元：基于池化参数确定相对于原卷积域的增大卷积域以及将所述增大卷积域划分为多个子卷积域，其中，每个子卷积域的尺寸与原卷积核的尺寸相等；卷积单元：用于执行所述多个子卷积域的神经元与相应卷积核权值的卷积运算，以获得多个子卷积结果；池化单元：用于对所述多个子卷积结果执行池化处理。在本专利技术的神经网络处理系统中，所述增大卷积域的边长是L＝l+(q-1)*s，其中，L表示增大卷积域的边长，l表示原卷积域的边长，s表示原卷积步长，q表示池化参数中的池化域边长。在本专利技术的神经网络处理系统中，以相对于原卷积步长增大的卷积步长和所述增大卷积域对神经网络的输入特征图进行扫描，以获得卷积层的输出神经元，其中，所述增大的卷积步长为S＝s*q，S表示增大的卷积步长，s表示原卷积步长，q表示池化参数中的池化域边长。在本专利技术的神经网络处理系统中，所述卷积单元包括多个卷积模块，一个卷积模块用于执行一个所述子卷积域的神经元与相应卷积核权值的卷积运算。在本专利技术的神经网络处理系统中，所述控制单元每周期调用与所述多个子卷积域数量相等的所述卷积模块，以并行执行所述多个子卷积域的神经元与相应卷积核权值的卷积运算。与现有技术相比，本专利技术的优点在于：通过相对于原卷积域增大卷积域，增加了每次进行卷积运算的神经元数量；通过基于池化参数确定增大卷积域的尺寸和将增大卷积域划分为多个子卷积域，实现每周期对属于相同池化域的神经元进行卷积、激活和池化处理，保证了计算过程的资源合理配置，从而提升了数据处理效率与缓存利用率。附图说明以下附图仅对本专利技术作示意性的说明和解释，并不用于限定本专利技术的范围，其中：图1示出了根据本专利技术一个实施例的神经网络处理方法的流程图；图2示出了根据本专利技术一个实施例将原卷积域进行扩大的原理示意图；图3示出了根据本专利技术一个实施例的神经网络处理系统的示意图；图4示出了图3的神经网络处理系统的工作流程图。具体实施方式为了使本专利技术的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。典型地，深度神经网络具有多层神经网络的拓扑结构，并且每层神经网络具有多个特征图层。例如，对于卷积神经网络，其处理数据过程由卷积层、池化层、归一化层、非线性层和全连接层等多层结构组成，例如，卷积层的具体操作过程是：将一个K*K大小的二维权重卷积核对输入特征图进行扫描，在扫描过程中权重与特征图内对应的神经元求内积，并将所有内积值求和，然后通过非线性激活函数(如ReLU)处理之后，获得卷积层的输出特征图或称输出神经元并把该输出特征图传递到下一层(例如池化层)，当每个卷积层具有N个输入特征图时，会有N个K*K大小的卷积核与该卷积层内特征图进行卷积操作；池化层又称为下采样层，其具体操作过程是：将一个P*P大小的二维窗口对特征图(例如卷积层的输出特征图)进行扫描，在扫描过程中计算窗口在图层对应数据中的最大值或平均值，得到池化层的输出神经元，池化层一方面可以消除部分噪声信息，有利于特征提取，另一方面也可以减少下一层特征元素的数量，减小网络规模。为了提高上述卷积过程和池化过程的计算效率，本专利技术提供了一种改进的神经网络处理方法。参见图1所示，该处理方法具体包括以下步骤：步骤S110，基于池化参数确定相对于原始卷积域增大的卷积域。在此步骤中，根据原始的卷积参数和池化参数来确定新的卷积域，该新的卷积域范围大于原始卷积域，在本文中也称作增大卷积域。卷积参数包括卷积域边长、卷积步长等，池化参数包括池化域的边长等。在一个实施例中，将增大卷积域的边长确定为L＝l+(q-1)*s，其中，L表示增大卷积域的边长，l表示原卷积域的边长，s表示原卷积步长，q表示池化域边长。例如，当原卷积域边长为3、原卷积步长为2、池化域边长为2时，则增大卷积域边长等于5，即增大卷积域范围是5x5。在此步骤S110中，确定增大卷积域的目的是，对输入特征图进行扫描卷积时，每次针对增大卷积域范围的神经元执行卷积运算。为了更清楚的理解本专利技术，图2示意了本专利技术将原始卷积域进行扩大的原理，假设原卷积域尺寸为3x3、卷积步长为2、有3个输入特征图、池化域尺寸是2x2，图2(a)示出的是采用现有方法以原卷积域3x3、卷积步长2，对3个输入特征图进行卷积的效果，即对于一个输入特征图，每次用3x3卷积核权值和原卷积域范围内的3x3个神经元执行卷积运算；图2(b)示意了以增大卷积域5x5执行卷积和池化的效果，即增大卷积域包含的神经元数目是25，在该本文档来自技高网...

【技术保护点】
一种神经网络处理方法，包括以下步骤：步骤1：基于池化参数确定相对于原卷积域的增大卷积域；步骤2：将所述增大卷积域划分为多个子卷积域，其中，每个子卷积域的尺寸与原卷积域的尺寸相等；步骤3：执行所述多个子卷积域的神经元与相应卷积核权值的卷积运算，以获得多个子卷积结果；步骤4：对所述多个子卷积结果执行池化处理。

【技术特征摘要】
1.一种神经网络处理方法，包括以下步骤：步骤1：基于池化参数确定相对于原卷积域的增大卷积域；步骤2：将所述增大卷积域划分为多个子卷积域，其中，每个子卷积域的尺寸与原卷积域的尺寸相等；步骤3：执行所述多个子卷积域的神经元与相应卷积核权值的卷积运算，以获得多个子卷积结果；步骤4：对所述多个子卷积结果执行池化处理。2.根据权利要求1所述的神经网络处理方法，其中，所述增大卷积域的边长是L＝l+(q-1)*s，其中，L表示增大卷积域的边长，l表示原卷积域的边长，s表示原卷积步长，q表示池化参数中的池化域边长。3.根据权利要求2所述的神经网络处理方法，其中，以相对于原卷积步长增大的卷积步长和所述增大卷积域对神经网络的输入特征图进行扫描，以获得卷积层的输出神经元，其中，所述增大的卷积步长为S＝s*q，S表示增大的卷积步长，s表示原卷积步长，q表示池化参数中的池化域边长。4.一种神经网络处理系统，包括：控制单元：基于池化参数确定相对于原卷积域的增大卷积域以及将所述增大卷积域划分为多个子卷积域，其中，每个子卷积域的尺寸与原卷积核的尺寸相等；卷积单元：用于执行所述多个子卷积域的神经元与相应卷积核权值的卷积运算，以获得多个子卷积结果；池化单元：用于对所述多个子卷积结果执行池化处理。5.根据权利要求4...

【专利技术属性】
技术研发人员：韩银和，闵丰，许浩博，王颖，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11