用于二值化卷积神经网络的处理器，逻辑芯片及其方法技术

一种用于实现二值化卷积神经网络(BCNN)的处理器(200)。该处理器(200)包括能够执行二值化卷积操作和降采样操作的共享逻辑模块(220)。共享逻辑模块(220)通过调整共享逻辑模块(220)的参数(224)可以在卷积模式和降采样模式之间切换。处理器(200)可以是逻辑芯片。处理器(200)可以是逻辑芯片。处理器(200)可以是逻辑芯片。

【技术实现步骤摘要】
【国外来华专利技术】用于二值化卷积神经网络的处理器，逻辑芯片及其方法

技术介绍

[0001]本专利技术与神经网络技术相关。神经网络是一种机器学习模型，用于接受输入数据并通过一层或多层神经网络层对输入数据进行处理以输出诸如分类或决策的输出。每一神经网络层的输出将作为下一神经网络层的输入进行进一步处理。在整个神经网络的输入层和输出层之间的那些层被称为隐藏层。
[0002]卷积神经网络是一类由一层或多层执行卷积功能的卷积层构建的神经网络。卷积神经网络应用于多个领域，包括但不限于，图像和视频识别，图像和视频分类，声音识别和分类，面部识别，医疗数据分析，自然语言处理，用户偏好预测，时间序列预测和分析等。
[0003]通常的，具有大量单元层的卷积神经网络往往具有更好的性能，但同時对内存和计算资源的要求更高。因此，卷积神经网络通常在具有强大的图形处理单元(GPU)或张量处理单元(TPU)以及大量系统内存的计算机或服务器群集上实现。然而，随着机器学习和人工智能等应用的日益普及，现在亦希望能够在资源有限的设备(例如智能电话，相机和平板电脑等)上实现卷积神经网络的应用。附图简要说明
[0004]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本专利技术公开的一些实施方式，而不应将其视为是对本专利技术范围的限制。
[0005]图1A所示为一个卷积神经网络示例；
[0006]图1B所示为一个卷积运算示例；
[0007]图1C所示为一个最大池化操作示例；
[0008]图2所示为根据本专利技术实施例的用于执行卷积神经网络的处理器示例；
[0009]图3A所示为根据本专利技术实施例的用于执行卷积神经网络的逻辑芯片示例；
[0010]图3B所示为根据本专利技术实施例的一个卷积神经网络示例；
[0011]图3C所示为用于执行卷积神经网络的逻辑芯片的卷积设计；
[0012]图3D所示为根据本专利技术实施例的用于执行卷积神经网络的逻辑芯片示例；
[0013]图4所示为根据本专利技术实施例的用于执行卷积神经网络的处理器示例；
[0014]图5A所示为根据本专利技术实施例的执行卷积神经网络的一个卷积层的示例方法；
[0015]图5B所示为根据本专利技术实施例的执行卷积神经网络的降采样层的示例方法；
[0016]图6所示为根据本专利技术实施例的二值化卷积运算示例；
[0017]图7所示为根据本专利技术实施例的一种增强型二值化卷积模型示例；
[0018]图8所示为根据本专利技术实施例的一种增强型二值化卷积模型示例；
[0019]图9所示为根据本专利技术实施例的一种增强型二值化卷积模型在卷积模式下执行的操作示例；
[0020]图10A所示为一种二元平均池化操作以及一种二元最大池化操作的示例；
[0021]图10B所示为根据本专利技术实施例的一种增强型二值化卷积模型在降采样模式下执行的操作示例；
[0022]图10C所示为根据本专利技术实施例的一种增强型二值化卷积模型在降采样模式下执行的另一种操作示例；
[0023]图11所示为根据本专利技术实施例的一种增强型二值化卷积模型在卷积模式下执行的操作示例；
[0024]图12所示为根据本专利技术实施例的一种卷积神经网络的构架示例；
[0025]图13所示为根据本专利技术实施例的一种设计卷积神经网络的方法示例；
[0026]图14所示为根据本专利技术实施例的一种将特征图分类的方法示例。

技术实现思路

[0027]相应的，本专利技术的第一方面提供了一种用于实现二值化卷积神经网络(BCNN)的处理器，所述二值化卷积神经网络包括多个层，所述多个层包括二值化卷积层和降采样层；其中，所述二值化卷积层和所述降采样层均由所述处理器的共享逻辑模块执行，所述共享逻辑模块包括：增强单元，用于基于增强参数对输入到所述共享逻辑模块的特征图进行增强；二值化卷积单元，用于基于卷积参数对输入到所述共享逻辑模块的特征图进行二值化卷积运算；和组合单元，用于将所述增强单元的输出与所述二值化卷积单元的输出进行组合；其中，通过调节所述增强参数和所述卷积参数中的至少一个，所述共享逻辑模块可在卷积模式和降采样模式之间切换。
[0028]本专利技术的第二方面提供了一种用于实现二值化卷积神经网络的逻辑芯片，该逻辑芯片包括：共享逻辑模块，其能够对特征图执行二值化卷积操作和降采样操作两者；存储器，用于存储所述共享逻辑模块的可调参数，其中，所述可调参数用于确定所述共享逻辑模块执行二值化卷积操作或降采样操作；和控制器或控制接口，其通过调整所述共享逻辑模块的所述可调参数来控制所述共享逻辑模块执行至少一项二值化卷积操作然后执行至少一项降采样操作。
[0029]本专利技术的第三方面提供了一种方法，其经由实施二值化卷积神经网络的处理器对图像进行分类，所述方法包括：a)由所述处理器接收与待分类图像相对应的第一特征图；b)由所述处理器接收第一组参数，其包括至少一个滤波器，至少一个步幅和至少一个增强变量；c)由所述处理器使用所述至少一个滤波器和所述至少一个步幅对所述第一特征图执行二值化卷积操作以产生第二特征图；d)由所述处理器使用所述至少一个增强变量对所述第一特征图执行增强操作以产生第三特征图；e)由所述处理器将所述第二特征图和所述第三特征图进行组合；f)接收第二组参数，其包括至少一个滤波器，至少一个步幅和至少一个增强变量；g)使用第二组参数代替第一组参数，并使用组合的所述第二和第三特征图代替第一特征图，重复步骤c)至e)。
[0030]本专利技术的进一步特征和方面在所附权利要求中提供。
具体实施方式
[0031]为了简单和说明的目的，本公开主要通过参考其示例来描述。如本文中所用，术语“包括”(“includes”)是指包括但不限于，术语“包括”(“including”)是指包括但不限于。术语“包括”(“comprises”)是指包括但不限于，术语“包括”(“comprising”)是指包括但不限于。术语“基于”表示至少部分基于。术语“数”是指等于或大于一的任何自然数。术语“a”和
“
an”旨在表示特定元素中的至少一个。
[0032]图1A所示为用于将图片分类的一种卷积神经网络(CNN)示例100。特征图1表示输入卷积神经网络以进行分类的输入图像。卷积神经网络通过多个层处理输入的特征图1并输出分类结果180，例如是一系列选定图像分类中的某一种，例如小轿车，卡车，货车等。
[0033]在图1A的示例中，输入特征图用于表示图像，但在其他示例中输入特征图也可以表示音频信号，医疗数据，自然语言文本或其他种类的数据。特征图包括多个元素中每个元素的值，并且在一些示例中可以用矩阵来表示。卷积神经网络可以具有多个输出节点。卷积神经网络的输出可以是与某一节点(例如卡车)相对应的一种分类，也可以是基于每个预定输出节点的一种概率分布(例如95％的汽车，3％的货车，2％的卡车)。输出可以是例如基于输入特征图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于实现二值化卷积神经网络(BCNN)的处理器，所述二值化卷积神经网络包括多个层，所述多个层包括二值化卷积层和降采样层；其中，所述二值化卷积层和所述降采样层均由所述处理器的共享逻辑模块执行，所述共享逻辑模块包括：增强单元，用于基于增强参数对输入到所述共享逻辑模块的特征图进行增强；二值化卷积单元，用于基于卷积参数对输入到所述共享逻辑模块的特征图进行二值化卷积运算；和组合单元，用于将所述增强单元的输出与所述二值化卷积单元的输出进行组合；其中，通过调节所述增强参数和所述卷积参数中的至少一个，所述共享逻辑模块可在卷积模式和降采样模式之间切换。2.根据权利要求1所述的处理器，其中，所述组合单元用于将所述增强单元的输出与所述二值化卷积单元的输出进行级联。3.根据权利要求1所述的处理器，其中，所述增强单元用于通过执行选自以下操作群组中的至少一个增强操作来增强所述特征图：恒等功能，缩放功能，镜像功能，翻转功能，旋转功能，通道选择功能和裁剪功能。4.根据权利要求1所述的处理器，其中，所述增强单元用于对所述特征图执行缩放功能，并且所述增强参数是缩放因子。5.根据权利要求4所述的处理器，其中，在所述卷积模式下，所述缩放因子被设置为非零值，并且在降采样模式下，缩放因子被设置为零值。6.根据权利要求1所述的处理器，其中，所述卷积参数包括滤波器和步幅。7.根据权利要求6所述的处理器，其中，在所述降采样模式下，所述步幅是等于或大于2的整数。8.根据权利要求1所述的处理器，其中，在所述卷积模式下，所述二值化卷积单元用于输出特征图，所述输出特征图与输入所述二值化卷积单元的特征图的尺寸相同。9.根据权利要求1所述的处理器，其中，在所述降采样模式中，所述二值化卷积单元用于输出特征图，所述输出特征图的尺寸小于输入所述二值化卷积单元的特征图的尺寸。10.根据权利要求1所述的处理器，其中，在所述降采样模式下，所述共享逻辑模块输出的通道数量小于输入所述共享逻辑模块的通道的数量。11.一种用于实现二值化卷积神经网络的逻辑芯片，所述逻辑芯片包括：共享逻辑模块，其能够对特征图执行二值化卷积操作和降采样操作两者；存储器，用于存储所述共享逻辑模块的可调参数，其中，所述可调参数用于确定所述共享逻辑模块执行二值化卷积操作或降采样操作；和控制器或控制接口，其通过调整所述共享逻辑模块的所述可调参数来控制所述共享逻辑模块执行...

【专利技术属性】
技术研发人员：雷源，罗鹏，
申请(专利权)人：联合微电子中心香港有限公司，
类型：发明
国别省市：