卷积神经网络系统及其操作方法技术方案

一种卷积神经网络系统及其操作方法。一种卷积神经网络的操作方法包括：执行用于确定至少一个内核与输入特征图之间的相关性的卷积环；确定输入特征图上的最大位置，其中，所述最大位置与基于卷积环产生的输出特征的最大值对应；通过使用所述至少一个内核的卷积环来处理输入特征图的第一区域的第一数据，其中，第一区域与所述最大位置相关联。处理第一数据的步骤包括：跳过输入特征图的第二区域的第二数据的卷积操作，其中，第二区域与所述最大位置无关。

【技术实现步骤摘要】
卷积神经网络系统及其操作方法本申请要求于2016年12与22日提交到韩国知识产权局的第10-2016-0177031号韩国专利申请的优先权，所述韩国专利申请的全部内容通过引用包含于此。
与示例实施例一致的设备和方法涉及一种神经网络系统，更具体地讲，涉及一种能够降低计算成本和功耗的卷积神经网络系统及其操作方法。
技术介绍
近来，卷积神经网络(CNN)已成为用于图像识别的选择的深度神经网络技术。CNN具有多个卷积层。每个卷积层接收M个输入特征图，以产生N个输出特征图，其中，M和N是自然数。CNN执行下采样(或子采样)，以降低作为多个卷积操作的结果而产生的特征图的大小。在计算复杂度方面基本上占据整个CNN处理的最重要部分的操作是卷积。与CNN的其他操作相比，大量功率被消耗以执行乘法和累积操作被迭代的卷积操作。因此，为实现执行卷积神经网络CNN的硬件，存在对降低卷积操作的计算复杂度的需求。
技术实现思路
一个或多个示例实施例提供一种能够减少卷积神经网络系统中的具有大部分计算复杂度的卷积操作的卷积神经网络系统及其操作方法。根据示例实施例的一方面，一种卷积神经网络的操作方法包括：执行用于计算至少一个内核与输入特征图之间的相关性的多个卷积环；确定输入特征图上的最大位置，其中，所述最大位置与基于所述多个卷积环产生的输出特征的最大值对应；通过使用所述至少一个内核的卷积环来处理输入特征图的第一区域的第一数据，其中，第一区域与所述最大位置相关联。处理第一数据的步骤可包括：跳过输入特征图的第二区域的第二数据的卷积操作，其中，第二区域与所述最大位置无关。根据另一示例实施例的一方面，一种卷积神经网络系统可包括：输入缓冲器，被配置为缓冲输入图像和输入特征图中的至少一个；处理元件单元，使用来自输入缓冲器的输入图像和输入特征图中的所述至少一个以及至少一个内核来执行卷积操作；输出缓冲器，被配置为存储作为处理元件单元的卷积操作的结果输出的输出特征；控制器，被配置为：控制输入缓冲器、处理元件单元和输出缓冲器执行用于处理输入图像和输入特征图中的所述至少一个的卷积环，并检测与基于卷积环产生的输出特征的最大值相关联的最大位置；最大位置缓冲器，被配置为存储所述最大位置。根据另一示例实施例的一方面，一种方法包括：确定输入特征图的最大位置，其中，输入特征图的与经由卷积环产生的输出特征的最大值对应的位置收敛于所述最大位置；仅对输入特征图的与所述最大位置对应的第一区域执行卷积环以产生输出特征图，同时跳过输入特征图的不与所述最大位置对应的第二区域上的卷积环的执行；存储所述最大位置。附图说明通过下面参照下面的附图的描述，以上和/或其他方面将会变得清楚和更容易理解，其中，除非另外说明，否则贯穿各个的附图，相同的参考标号表示相同的部件，其中：图1是示出根据示例实施例的卷积神经网络系统的框图；图2是示出在图1的卷积神经网络系统中执行的操作的示图；图3是示出卷积层和池化层的操作的示图；图4是示出根据示例实施例的卷积操作的特性的示图；图5是示出根据示例实施例的下采样过程的示图；图6是示出根据示例实施例的卷积层中的操作的示图；图7是示出根据示例实施例的执行图6中简明地描述的卷积操作的方法的流程图；图8是示出在图7中执行的操作S160的示例的流程图；图9是示出在图7中执行的操作S160的另一示例实施例的流程图；图10是示出在图7中执行的检测最大位置的方法的另一示例实施例的流程图；图11是示出使用本专利技术构思的最大位置的另一示例实施例的示图；图12是示出使用本专利技术构思的最大位置的另一示例实施例的流程图。具体实施方式通常，卷积操作被执行以检测两个函数之间的相关性。术语“卷积神经网络”或“CNN”可表示通过使用指示特定特征的内核执行卷积操作并重复卷积结果来确定图像的模式的任何处理或系统。下面，将参照附图清楚和详细地描述示例实施例以达到本领域普通技术人员能够实现他们的程度。图1是示出根据示例实施例的卷积神经网络系统的框图。参照图1，卷积神经网络系统100处理输入图像10以产生输出结果20。输入图像10可以是通过图像传感器提供的静止图像或视频图像。可选地，输入图像10可以是通过有线/无线通信手段传输的图像。输入图像10可表示数字化图像数据的二维阵列。输入图像10可以是针对卷积神经网络系统100的训练而提供的样本图像。虽然单个图像被提供作为输入图像10，但是一个输入图像10包含的数据的量可能不小。输出结果20可以是作为通过卷积神经网络系统100的输入图像10的处理结果的结果值。输出结果20可作为在卷积神经网络系统100的学习操作或估计操作期间确定输入图像的结果而被获得。输出结果20可以是卷积神经网络系统100检测的包括在输入图像10中的模式或识别信息。卷积神经网络系统100可包括输入缓冲器110、处理元件单元(PEU)130(例如，处理器)、参数缓冲器150、输出缓冲器170、控制器190和最大位置缓冲器195。输入图像10的数据值可被加载到输入缓冲器110上。输入缓冲器110的大小可随着用于卷积的内核的大小而变化。例如，在内核的大小为“k×k”的情况下，足够处理元件单元130使用内核顺序执行卷积操作(例如，内核化(kernelling))的大小的输入数据必须被加载到输入缓冲器110上。可通过控制器190来控制输入数据到输入缓冲器110上的加载。处理元件单元130可通过使用输入缓冲器110、参数缓冲器150和输出缓冲器170来执行卷积操作或池化操作。例如，处理元件单元130可执行内核化，其中，在内核化中，将内核与输入图像10相乘的处理以及将相乘的结果相加的处理可被迭代地执行。处理元件单元130可包括用于并行处理多个内核化或池化操作的并行处理核。例如，可从参数缓冲器150提供内核。以下，将内核与输入图像10的重叠位置的全部数据相乘并将乘法结果相加的处理被称为“内核化”。多个内核中的每个内核可被视为特定特征标识符。也就是说，在多个内核中的一个内核为用于辨识具有特定曲率的曲线的滤波器的情况下，当输入图像10的特定模式与特定曲率匹配时，可产生大的内核化结果值。可对输入图像10和分别对应于各个特征标识符的多个内核执行内核化。通过全部内核执行内核化的过程可在卷积层中被执行，并且作为内核化的结果值可产生多个特征图。处理元件单元130可对由卷积层产生的特征图执行下采样。由于通过卷积操作产生的特征图的大小相对较大，因此处理元件单元130可执行用于下采样的池化，以降低特征图的大小。每个内核化或池化操作的结果值可存储在输出缓冲器170中，并每当卷积环(convolutionloop)的数量增加时和每当池化操作被执行时，每个内核化或池化操作的结果值可被更新。将由处理元件单元130执行的内核化、偏差加法(biasaddition)、激活、池化等所需的参数可存储在参数缓冲器150中。在学习步骤中学习的参数也可存储在参数缓冲器150中。由处理元件单元130执行的内核化或池化操作的结果值可被加载到输出缓冲器170上。加载到输出缓冲器170上的结果值可根据通过多个内核的每个卷积环的执行结果而被更新。然而，根据示例实施例，如果作为卷积环进展(progress)的最大(max)数据位置被检测到，则输出缓冲器170可本文档来自技高网...

【技术保护点】
1.一种操作卷积神经网络系统的方法，所述方法包括：执行用于确定至少一个内核与输入特征图之间的相关性的卷积环；确定输入特征图上的最大位置，其中，所述最大位置与基于卷积环产生的输出特征的最大值对应；通过使用所述至少一个内核的卷积环来处理输入特征图的第一区域的第一数据，其中，第一区域与所述最大位置相关联，其中，处理第一数据的步骤包括：跳过输入特征图的第二区域的第二数据的卷积操作，第二区域与所述最大位置无关。

【技术特征摘要】
2016.12.22 KR 10-2016-01770311.一种操作卷积神经网络系统的方法，所述方法包括：执行用于确定至少一个内核与输入特征图之间的相关性的卷积环；确定输入特征图上的最大位置，其中，所述最大位置与基于卷积环产生的输出特征的最大值对应；通过使用所述至少一个内核的卷积环来处理输入特征图的第一区域的第一数据，其中，第一区域与所述最大位置相关联，其中，处理第一数据的步骤包括：跳过输入特征图的第二区域的第二数据的卷积操作，第二区域与所述最大位置无关。2.如权利要求1所述的方法，其中，确定最大位置的步骤包括：响应于在输入特征图上的一个位置连续地检测到最大值至少参考次数，将所述一个位置确定为所述最大位置。3.如权利要求1所述的方法，其中，确定最大位置的步骤包括：响应于在输入特征图上的一个位置连续地检测到最大值的次数大于最大卷积深度和参考比率的乘积，将所述一个位置确定为所述最大位置。4.如权利要求1所述的方法，其中，执行卷积环的步骤包括：以最大卷积深度的特定范围的深度间隔执行卷积环。5.如权利要求1所述的方法，其中，在所述卷积神经网络系统的训练操作期间以概率信息的形式存储所述最大位置。6.如权利要求1所述的方法，其中，确定最大位置的步骤包括：在输入特征图上设置位置，其中，所述位置与由用户输入的最大值对应。7.如权利要求1所述的方法，还包括：将偏差选择性地应用于根据处理第一数据的卷积环的执行而产生的输出特征值。8.如权利要求7所述的方法，其中，选择性地应用偏差的步骤包括：将所述偏差应用于与所述最大位置对应的第一输出特征值，不将所述偏差应用于与所述最大位置不相关的第二输出特征值。9.如权利要求1所述的方法，还包括：在处理第一数据的步骤之后，执行用于减少将被输出的输出特征图的大小的池化操作。10.如权利要求9所述的方法，其中，池化操作包括：将来自输出特征图的特征之中的与所述最大位置对应的特征发送到输出缓冲器。11.如权利要求10所述的方法，其中，跳过在最大池化操作中选择的特征之间的比较操作。12.一种卷积神经网络系统，包括：输入缓冲器，被配置为：缓冲输入图像和输入特征图中的至少一个；处理元件单元，被配置：使用来自输入缓冲器的输入图像和输入特征图中的所述至少一个以及至少一个内核，来执行卷积操作；输出缓冲器，被配置为：存储作为由处理元件单元执行的卷积操作的结果输出的输出特征；控制器，被配置为：控制输入缓冲器、处理元件单元和输出缓冲器执行用于处理输入图像和输入特征图中的所述至少一个的卷积环，并检测与基于卷积环产生的输出特征的最大值对应的最大位置；最大位置缓冲器，被配置为：存...

【专利技术属性】
技术研发人员：梁承秀，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR