利用了1xK或Kx1卷积运算的CNN方法及装置制造方法及图纸

本发明专利技术涉及利用了1xK或Kx1卷积运算的CNN方法及装置，其利用为使用于满足KPI的硬件优化而提供的1xK卷积运算或Kx1卷积运算来学习CNN的参数，其特征在于，包括如下步骤：学习装置(a)使重塑层将由训练图像或对此进行加工的特征图的K个通道构成的各个组内的特征2维地级联来生成重塑特征图，使后续卷积层对重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整特征图；及(b)使输出层参照调整特征图或对此进行加工的特征图上的特征，使损失层参照来自输出层的输出和与此对应的至少一个GT来算出损失。

【技术实现步骤摘要】
利用了1xK或Kx1卷积运算的CNN方法及装置
本专利技术涉及使用于硬件优化的利用1xK或Kx1卷积运算学习CNN的参数的方法，更具体地，涉及如下的学习方法及学习装置、利用其的测试方法及测试装置：一种利用上述1xK卷积运算或上述Kx1卷积运算来学习上述CNN的上述参数的学习方法，其特征在于，其包括如下步骤：(a)当获得至少一个训练图像时，学习装置使重塑层(ReshapingLayer)将由上述训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的各个特征2维地级联(Concatenating)来生成重塑特征图(ReshapedFeatureMap)，使后续(Subsequent)卷积层对上述重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷(Volume)的调整特征图(AdjustedFeatureMap)；及(b)上述学习装置使输出层参照上述调整特征图或对此进行加工的特征图上的特征来生成至少一个输出，使损失层参照上述输出和与此对应的至少一个GT(GroundTruth：真值)来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数。
技术介绍
深度卷积神经网络(DeepConvolutionalNeuralNetwork；DeepCNN)是在深度学习领域中发生的惊人的发展核心。CNN虽然在90年代已被用来解决文字识别问题，但它之所以能够像现在这样被广泛使用，还要归功于近年来的研究结果。这样的深度CNN在2012年的ImageNet图像分类比赛中击败其他竞争者而获得冠军。之后，卷积神经网络在机械学习(MachineLearning)领域中成为非常有用的工具。CNN包括在图像中提取特征的特征提取器(FeatureExtractor)及检测图像内的对象或参照由特征提取器提取的特征而识别图像的特征分类器(FeatureClassifier)。并且，CNN的特征提取器包括卷积层，特征分类器包括能够对特征提取器所提取的特征适用FC运算(FullyConnectedOperation)的至少一个FC层。卷积层在CNN所进行的几乎大部分的运算中占据最重要的部分。卷积层还利用关于附近像素的信息来从局部感受野(LocalReceptiveField)提取特征。但是，卷积层的过滤器的特性(Characteristic)为线性的，因此过滤器无法良好地提取非线性的特征。为了解决这样的问题，需要增加特征图的数量，而在这样的情况下，存在运算量增加的问题。因此，为了将运算量最小化而使用能够减少特征图的次元的1x1卷积层。1x1卷积层可从各种特征图将具备类似的性质的特征图区分开，其结果可减少特征图的数字，减少运算量。另外，当运算量减少时，会出现神经网络更深的余地。另外，1x1卷积层可使用于图像分割或代替FC层而使用于特征提取器等。此时，本专利技术人要提出比1x1卷积层的卷积运算能够更加有效地减少卷积运算量的CNN。
技术实现思路
专利技术要解决的课题本专利技术的目的在于解决上述全部问题。本专利技术的另一目的在于提供一种能够有效地减少卷积运算量的CNN。本专利技术的又一目的在于提供一种通过卷积运算而能够更有效地提取图像上的特征的CNN。用于解决课题的手段用于达到如上述的本专利技术的目的并实现后述的本专利技术的特征效果的本专利技术的特征性结构如下。根据本专利技术的一个方式，提供一种利用1xK卷积运算或Kx1卷积运算来学习CNN的参数的学习方法，其特征在于，其包括如下步骤：(a)当获得至少一个训练图像时，学习装置使重塑层(ReshapingLayer)将由上述训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的各个特征2维地级联(Concatenating)来生成重塑特征图(ReshapedFeatureMap)，使后续(Subsequent)卷积层对上述重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷(Volume)的调整特征图(AdjustedFeatureMap)；及(b)上述学习装置使输出层参照上述调整特征图或对此进行加工的特征图上的特征来生成至少一个输出，使损失层参照上述输出和与此对应的至少一个GT(GroundTruth：真值)来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数。在一个实施例中，在上述(a)步骤中，在上述训练图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，上述学习装置使上述重塑层对上述训练图像或对此进行加工的特征图的通道追加至少一个虚拟通道(DummyChannel)来使包括至少一个上述虚拟通道的上述通道的数量成为K的倍数，然后将由包括上述训练图像或对此进行加工的特征图的至少一个上述虚拟通道的上述所有通道中的各自对应的K个上述通道构成的各个上述组内的上述各个特征级联。在一个实施例中，在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，在上述(a)步骤中，上述学习装置使上述重塑层生成宽度为W，高度为HxK，通道为CEIL的上述重塑特征图。在一个实施例中，在将上述后续卷积层的卷积核(Kernel)数量设为M的情况下，在上述(a)步骤中，上述学习装置使上述后续卷积层对上述重塑特征图适用1xK卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。在一个实施例中，在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，在上述(a)步骤中，上述学习装置使上述重塑层生成宽度为WxK，高度为H，通道为CEIL的上述重塑特征图。在一个实施例中，在将上述后续卷积层的卷积核数量设为M的情况下，在上述(a)步骤中，上述学习装置使上述后续卷积层对上述重塑特征图适用Kx1卷积运算来生成具备宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。在一个实施例中，在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，在上述(a)步骤中，上述学习装置使上述重塑层(i)生成宽度为W，高度为HxK，通道为CEIL的上述重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为CEIL的上述重塑特征图，在上述第CEIL个通道上的上述重塑特征图的最终部分(FinalPart)的尺寸并非宽度为W，高度为HxK的尺寸的情况下，使上述重塑层追加至少一个零填充(ZeroPadding)来使上述第CEIL个通道上的上述重塑特征图的上述最终部分的尺寸为宽度为W，高度为HxK的尺寸，或者使上述第CEIL个通道上的上述重塑特征图的上述最终部分的尺寸并非宽度为WxK，高度为H的尺寸的情况下，使上述重塑层追加至少一个零填充来使上述第CEIL个通道上的上述重塑特征图的上述最终部分的尺寸成为宽度为WxK，高度为H的尺寸。根据本专利技术的另一个方式，提供一种利用1xK卷积运算或Kx1卷积运算来测试CNN本文档来自技高网...

【技术保护点】
1.一种学习方法，利用1xK卷积运算或Kx1卷积运算来学习CNN的参数，其特征在于，包括如下步骤：/n(a)当获得至少一个训练图像时，学习装置使重塑层将由上述训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的各个特征2维地级联来生成重塑特征图，使后续卷积层对上述重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷的调整特征图；及/n(b)上述学习装置使输出层参照上述调整特征图或对此进行加工的特征图上的特征来生成至少一个输出，使损失层参照上述输出和与此对应的至少一个GT来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数。/n

【技术特征摘要】
20190123 US 16/255,1091.一种学习方法，利用1xK卷积运算或Kx1卷积运算来学习CNN的参数，其特征在于，包括如下步骤：
(a)当获得至少一个训练图像时，学习装置使重塑层将由上述训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的各个特征2维地级联来生成重塑特征图，使后续卷积层对上述重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷的调整特征图；及
(b)上述学习装置使输出层参照上述调整特征图或对此进行加工的特征图上的特征来生成至少一个输出，使损失层参照上述输出和与此对应的至少一个GT来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数。


2.根据权利要求1所述的学习方法，其特征在于，
在上述(a)步骤中，
在上述训练图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，上述学习装置使上述重塑层对上述训练图像或对此进行加工的特征图的通道追加至少一个虚拟通道来使包括至少一个上述虚拟通道的上述通道的数量成为K的倍数，然后将由包括上述训练图像或对此进行加工的特征图的至少一个上述虚拟通道的上述所有通道中的各自对应的K个上述通道构成的各个上述组内的上述各个特征级联。


3.根据权利要求1所述的学习方法，其特征在于，
在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，
在上述(a)步骤中，
上述学习装置使上述重塑层生成宽度为W，高度为HxK，通道为的上述重塑特征图。


4.根据权利要求3所述的学习方法，其特征在于，
在将上述后续卷积层的卷积核数量设为M的情况下，
在上述(a)步骤中，
上述学习装置使上述后续卷积层对上述重塑特征图适用1xK卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。


5.根据权利要求1所述的学习方法，其特征在于，
在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，
在上述(a)步骤中，
上述学习装置使上述重塑层生成宽度为WxK，高度为H，通道为的上述重塑特征图。


6.根据权利要求5所述的学习方法，其特征在于，
在将上述后续卷积层的卷积核数量设为M的情况下，
在上述(a)步骤中，
上述学习装置使上述后续卷积层对上述重塑特征图适用Kx1卷积运算来生成具备宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。


7.根据权利要求1所述的学习方法，其特征在于，
在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，
在上述(a)步骤中，
上述学习装置使上述重塑层(i)生成宽度为W，高度为HxK，通道为的上述重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为的上述重塑特征图，
在上述第个通道上的上述重塑特征图的最终部分的尺寸并非宽度为W，高度为HxK的尺寸的情况下，使上述重塑层追加至少一个零填充来使上述第个通道上的上述重塑特征图的上述最终部分的尺寸为宽度为W，高度为HxK的尺寸，或者使上述第个通道上的上述重塑特征图的上述最终部分的尺寸并非宽度为WxK，高度为H的尺寸的情况下，使上述重塑层追加至少一个零填充来使上述第个通道上的上述重塑特征图的上述最终部分的尺寸成为宽度为WxK，高度为H的尺寸。


8.一种测试方法，利用1xK卷积运算或Kx1卷积运算来测试CNN，其特征在于，包括如下步骤：
(a)学习装置(i)使重塑层将由至少一个训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的学习用各个特征2维地级联来生成学习用重塑特征图，使后续卷积层对上述学习用重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷的学习用调整特征图，(ii)使输出层参照上述学习用调整特征图或对此进行加工的特征图上的特征来生成至少一个学习用输出，使损失层参照上述学习用输出和与此对应的至少一个GT来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数的状态下，当获得至少一个测试图像时，测试装置使上述重塑层将由上述测试图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的测试用各个特征2维地级联来生成测试用重塑特征图，使上述后续卷积层对上述测试用重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷的测试用调整特征图；及
(b)上述测试装置使上述输出层参照上述测试用调整特征图或对此进行加工的特征图上的特征来生成至少一个测试用输出。


9.根据权利要求8所述的测试方法，其特征在于，
在上述(a)步骤中，
在上述测试图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，上述测试装置使上述重塑层对上述测试图像或对此进行加工的特征图的通道追加至少一个虚拟通道来使包括至少一个上述虚拟通道的上述通道的数量成为K的倍数，然后将由包括上述测试图像或对此进行加工的特征图的至少一个上述虚拟通道的上述所有通道中的各自对应的K个上述通道构成的各个上述组内的上述各个特征级联。


10.根据权利要求8所述的测试方法，其特征在于，
在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(a)步骤中，
上述测试装置使上述重塑层生成宽度为W，高度为HxK，通道为的上述测试用重塑特征图。


11.根据权利要求10所述的测试方法，其特征在于，
在将上述后续卷积层的卷积核数量设为M的情况下，
在上述(a)步骤中，
上述测试装置使上述后续卷积层对上述测试用重塑特征图适用1xK卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述测试用调整特征图。


12.根据权利要求10所述的测试方法，其特征在于，
在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(a)步骤中，
上述测试装置使上述重塑层生成宽度为WxK，高度为H，通道为的上述测试用重塑特征图。


13.根据权利要求12所述的测试方法，其特征在于，
在将上述后续卷积层的卷积核数量设为M的情况下，
在上述(a)步骤中，
上述测试装置使上述后续卷积层对上述测试用重塑特征图适用Kx1卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述测试用调整特征图。


14.根据权利要求8所述的测试方法，其特征在于，
在将上述测试图像或上述对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(a)步骤中，
上述测试装置使上述重塑层(i)生成宽度为W，高度为HxK，通道为的上述测试用重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为的上述测试用重塑特征图，
在上述第个通道上的上述测试用重塑特征图的最终部分的尺寸并非宽度为W，高度为HxK的尺寸的情况下，使上述重塑层追加至少一个零填充来使上述第个通道上的上述测试用重塑特征图的上述最终部分的尺寸成为宽度为W，高度为HxK的尺寸，或者在上述第个通道上的上述测试用重塑特征图的上述最终部分的尺寸并非宽度为WxK，高度为H的尺寸的情况下，使上述重塑层追加至少一个零填充来使上述第个通道上的上述测试用重塑特征图的上述最终部分的尺寸为宽度为WxK，高度为H的尺寸。

【专利技术属性】
技术研发人员：金桂贤，金镕重，金寅洙，金鹤京，南云铉，夫硕焄，成明哲，吕东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR