用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置制造方法及图纸

本发明专利技术提供一种CNN的参数学习的方法。该方法包括以下步骤：(a)允许输入值发送到单独的多个要素偏差层；(b)允许与特定要素偏差层连接的比例层将预定比例值乘以特定要素偏差层的输出值；(c)(i)允许与比例层连接的特定要素激活层应用激活函数，以及(ii)允许其他单个要素激活层对单独的要素偏差层的输出值应用激活函数；(d)允许级联层将特定要素激活层的输出值和其他要素激活层的输出值级联；(e)允许卷积层将卷积运算应用到级联输出；(f)在反向传播过程中允许损失层获取损失。

Methods and devices for simultaneous execution of activation and convolution operations and their learning methods and learning devices

The invention provides a method for learning parameters of CNN. The method consists of the following steps: (a) allowing input values to be sent to a single multi-factor deviation layer; (b) allowing the proportional layer connected to the specific factor deviation layer to multiply the predetermined proportional value by the output value of the specific factor deviation layer; (c) (i) allowing the specific factor activation layer connected to the proportional layer to apply the activation function; and (i i) allowing other single factor activation layer to apply the activation function to the individual factor deviation layer. The output value applies activation function; (d) allowing cascade layer to cascade the output value of specific factor activation layer and other factor activation layer; (e) allowing convolution layer to apply convolution operation to cascade output; (f) allowing loss layer to gain loss in the process of reverse propagation.

【技术实现步骤摘要】
用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置
本专利技术涉及一种用于学习装置中的CNN(ConvolutionNeuralNetworks，卷积神经网络)的参数学习的学习方法和使用该学习方法的学习装置，所述学习方法中执行激活运算和卷积运算，更具体地，本专利技术涉及一种学习装置中的CNN的参数学习的学习方法，所述学习装置执行(i)包括多个要素偏差层、比例层以及多个要素激活层的激活模块的激活运算；(ii)卷积层的卷积运算，所述方法包括以下步骤：(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的比例层将预定比例值乘以所述特定要素偏差层的输出值；(c)所述学习装置执行以下处理：(i)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(ii)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数；(d)所述学习装置执行以下处理：允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；(e)所述学习装置执行以下处理：允许所述卷积层通过使用所述卷积层的每个要素权重参数pi及其每个要素偏差参数d，对所述级联输出应用卷积运算；以及(f)如果(e)步骤的输出被输入应用块中并且之后后取得从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分。
技术介绍
深度卷积神经网络或深度CNN，是深度学习领域显著发展的核心。尽管CNN已被用于解决20世纪90年代的字符识别问题，但直到最近CNN才在机器学习中得到广泛应用。由于最近的研究，CNN已经成为机器学习领域非常有用和强大的工具。例如，在2012年，CNN在年度软件竞赛ImageNet大规模视觉识别挑战赛中的表现明显优于其竞争对手，并赢得了比赛。之后，CNN已经成为机器学习领域中非常有用的工具。图1示出了具有能够执行CReLU运算和卷积运算的CNN的以往学习装置的结构。通过参考图1，以往的学习装置具有交替布置的许多卷积层(例如卷积层110和130)以及许多级联修正线性单元(CReLU,ConcatenatedRectifiedLinearUnits)(例如CReLU120和其它CReLU(未示出))。这里，CReLU120可以包括两个修正线性单元(ReLU)122，并且ReLU122的运算通过以下公式来执行：[公式1]ReLU(x)＝max(0，x)CReLU是一种激活机制，其按照下面的公式另外进行ReLU的负激活以及正激活。[公式2]CReLU(x)＝(ReLU(x)，ReLU(-x))＝(max(0，x)，max(0，-x))与ReLU相比，CReLU可以使结果值的数量加倍，而不会增加卷积层的计算负载。因此，CReLU可以在保持检测速度的同时提高检测精度。在图1中，CReLU120包括一个比例层121、两个ReLU层122和级联层123。详细地，比例层121将从先前卷积层110输出的值乘以比例值-1，得到缩放后的值。此外，ReLU层122中的一个接收从先前卷积层110输出的值，然后将ReLU运算应用到接收到的值，并且ReLU层122中的另一个从比例层121接收缩放后的值，然后将ReLU运算应用到缩放后的值。通过参考图1，如果(即如下的特征映射：其在x＝0，y＝0，并且信道ch＝0处的像素值为1；在x＝1，y＝0，并且ch＝1处的像素值为2；x＝0，y＝1，并且ch＝1处像素值为3；x＝1，y＝1，并且ch＝0处像素值为4；除了上述4个像素之外其它像素值为0)作为从先前卷积层110输出的值被输入到CReLU120，则第一ReLU层接收而第二ReLU层接收然后第一ReLU层和第二ReLU层的每一个执行正激活运算，以便由此生成和随后发送到级联层123。然后，级联层123将和级联并因此生成然后将发送到卷积层130。卷积层130对执行卷积运算。如图1所示，如果分别执行CReLU层的运算和卷积层的运算，则执行每个独立运算，因此，计算负载变得太大。因此，本专利技术的专利技术人提供了一种新方法，用于减少使用CReLU的CNN的计算负载。
技术实现思路
本专利技术的一个目的是解决上述所有问题。本专利技术的一个目的是提供一种通过在不增加CNN的计算负载的情况下提高CNN的配置的复杂度来提高检测精度的方法。根据本专利技术的一个方面，提供一种学习装置中的CNN的参数学习的学习方法，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层以及多个要素激活层；(ii)卷积层的卷积运算，所述方法包括以下步骤：(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的比例层将预定比例值乘以所述特定要素偏差层的输出值；(c)所述学习装置执行以下处理：(i)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(ii)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数；(d)所述学习装置执行以下处理：允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；(e)所述学习装置执行以下处理：允许所述卷积层通过使用所述卷积层的每个要素权重参数pi及其每个要素偏差参数d，对所述级联输出应用所述卷积运算；以及(f)如果(e)步骤的输出被输入应用块中并且之后取得从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分。根据本专利技术的另一方面，提供一种学习装置中的CNN的参数的学习方法，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，所述方法包括以下步骤：(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；(c)所述学习装置执行以下处理：允许与所述比例层和单独的要素偏差层连接的级联层将所述比例层的输出值与单独的要素偏差层的输出值级联，由此获取级联输出；(d)所述学习装置执行以下处理：允许与所述本文档来自技高网...

【技术保护点】
1.一种学习装置中的CNN的参数学习的学习方法，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，所述方法包括以下步骤：(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；(c)所述学习装置执行以下处理：(i)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(ii)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数；(d)所述学习装置执行以下处理：允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；(e)所述学习装置执行以下处理：允许所述卷积层通过使用所述卷积层的每个要素权重参数pi及其每个要素偏差参数d，对所述级联输出应用所述卷积运算；以及(f)如果(e)步骤的输出被输入应用块中并且之后获取从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分。...

【技术特征摘要】
2017.10.13 US 15/783,3671.一种学习装置中的CNN的参数学习的学习方法，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，所述方法包括以下步骤：(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；(c)所述学习装置执行以下处理：(i)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(ii)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数；(d)所述学习装置执行以下处理：允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；(e)所述学习装置执行以下处理：允许所述卷积层通过使用所述卷积层的每个要素权重参数pi及其每个要素偏差参数d，对所述级联输出应用所述卷积运算；以及(f)如果(e)步骤的输出被输入应用块中并且之后获取从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分。2.根据权利要求1所述的学习方法，其中，所述比例值是负值。3.根据权利要求1所述的学习方法，其中，所述激活模块包括N路CReLUs，并且所述要素激活层是修正线性单元层、即ReLU层。4.根据权利要求1所述的学习方法，其中，如果在步骤(c)中使用n个要素激活层，则在步骤(a)中使用n-1个要素偏差层。5.一种学习装置中的CNN的参数学习的学习方法，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，所述方法包括以下步骤：(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；(c)所述学习装置执行以下处理：允许与所述比例层和单独的要素偏差层连接的级联层将所述比例层的输出值与单独的要素偏差层的输出值级联，由此获取级联输出；(d)所述学习装置执行以下处理：允许与所述级联层连接的激活层对所述级联输出应用非线性激活函数；(e)所述学习装置执行以下处理：允许所述卷积层通过使用所述卷积层的每个要素权重参数pi及其每个要素偏差参数d，对所述激活层的输出值应用所述卷积运算；以及(f)如果步骤(e)的输出被输入到应用块中并且之后获取从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分。6.根据权利要求5所述的学习方法，其中，所述比例值是负值。7.根据权利要求5所述的学习方法，其中，所述激活模块包括N路CReLUs，并且所述...

【专利技术属性】
技术研发人员：金镕重，南云铉，夫硕焄，成明哲，吕东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国,KR