应用多馈送的图像编码方法和装置制造方法及图纸

本发明专利技术涉及应用多馈送的图像编码方法和装置。具体涉及一种使用多馈送层能够对至少一个训练图像进行编码的CNN的学习方法，包括：(a)学习装置获取训练图像；以及(b)学习装置使每一个卷积层对训练图像或者从之前的卷积层中获取的主特征映射应用卷积运算来分别生成第一至第n主特征映射，使h个卷积层之一的第k卷积层执行以下步骤：(i)从由第k‑1卷积层中获取的第k‑1主特征映射以及与第k卷积层对应的第m馈送层中，获取按照第k‑1主特征映射的大小来调整训练图像的大小后的第m子特征映射，(ii)整合第m子特征映射以及第k‑1主特征映射来生成第k‑1整合特征映射，(iii)对第k‑1整合特征映射应用卷积运算来生成第k主特征映射。

Image coding method and device using multi feed

【技术实现步骤摘要】
应用多馈送的图像编码方法和装置
本专利技术涉及应用多馈送的学习方法和学习装置、以及利用它们的测试方法和测试装置。具体涉及如下学习方法和学习装置、以及基于此的测试方法和测试装置：一种学习方法，其特征在于，所述学习方法是使用多馈送层能够对至少一个训练图像进行编码的CNN(ConvolutionalNeuralNetwork，卷积神经网络)的学习方法，所述CNN包括对所述训练图像应用至少一次以上的卷积运算来分别生成第一至第n主特征映射的第一至第n卷积层，并包括分别与所述n个卷积层中h个卷积层的每一层对应的第一至第h馈送层，所述h是1至n-1的整数，所述学习方法包括如下步骤：(a)学习装置获取所述训练图像；以及(b)所述学习装置使所述每一个卷积层对所述训练图像或者从之前的卷积层获取的主特征映射应用所述卷积运算来分别生成所述第一至第n主特征映射，所述学习装置使分别与所述第一至第h馈送层的每一层对应的所述h个卷积层之一的第k卷积层执行如下步骤，其中，所述h个卷积层选自所述第二至第n卷积层：(i)从由第k-1卷积层获取的第k-1主特征映射以及与所述第k卷积层对应的第m馈送层中，获取按照所述第k-1主特征映射的大小来调整所述训练图像的大小后的第m子特征映射，(ii)整合所述第m子特征映射以及所述第k-1主特征映射来生成第k-1整合特征映射，(iii)对所述第k-1整合特征映射应用所述卷积运算来生成第k主特征映射。
技术介绍
深度学习是一种用于对事物或数据进行聚类或分类的技术。例如，计算机不能只通过照片来区分狗和猫。但人们可以很容易地区分它们。为此，设计了一种称为“机器学习(MachineLearning)”的方法。这是一种将大量数据输入到计算机并分类类似物体的技术。当输入与所存储的狗的照片类似的照片时，计算机将其分类为狗的照片。已经出现了许多关于如何对数据进行分类的机器学习算法。以“决策树”、“贝叶斯网络”、“支持向量机(SVM)”和“人工神经网络”为代表。深度学习是人工神经网络的后代。深度卷积神经网络(DeepConvolutionNeuralNetworks；DeepCNNs)是深度学习的惊人发展的核心。CNNs已经在90年代用于解决文字识别问题，但如现在这样被广泛使用源自最近的研究结果。这些深度CNN在2012年ImageNet图像分类竞赛中击败了其他竞争对手并赢得了冠军。然后，卷积神经网络已成为机器学习(MachineLearning)领域非常有用的工具。图1是利用CNN来示意性示出输入图像的通常的馈送过程的图。参照图1，在以往的CNN运算过程中，CNN接收一次输入图像101的输入。例如，CNN接收输入图像的输入，在多个卷积层中执行多次的卷积运算和ReLU等非线性运算来依次生成特征映射(featuremap)102、103和104。然后，最终特征映射104或者特征映射等中至少一部分用于对象检测中，或者用于分割结果的获取中。在这样的以往的CNN运算过程中，存在如下问题：当输入图像被馈送一次时，通过多个卷积层生成特征映射，从而输入图像的细节被丢失。
技术实现思路
专利技术所要解决的问题本专利技术的目的在于解决上述问题点。本专利技术的其他目的在于，提供一种即使在CNN装置中应用连续的卷积运算的情况下也能够保有输入图像的详细信息的方法。用于解决问题的手段根据本专利技术的一个方式，提供一种学习方法，其特征在于，所述学习方法是使用多馈送层能够对至少一个训练图像进行编码的CNN(ConvolutionalNeuralNetwork，卷积神经网络)的学习方法，所述CNN包括对所述训练图像应用至少一次以上的卷积运算来分别生成第一至第n主特征映射的第一至第n卷积层，并包括分别与所述n个卷积层中h个卷积层的每一层对应的第一至第h馈送层，所述h是1至n-1的整数，所述学习方法包括以下步骤：(a)学习装置获取所述训练图像；以及(b)所述学习装置使所述每一个卷积层对所述训练图像或者从之前的卷积层中获取的主特征映射应用所述卷积运算来分别生成所述第一至第n主特征映射，所述学习装置使分别与所述第一至第h馈送层的每一层对应的所述h个卷积层之一的第k卷积层执行如下步骤，其中，所述h个卷积层选自所述第二至第n卷积层：(i)从由第k-1卷积层中获取的第k-1主特征映射以及与所述第k卷积层对应的第m馈送层中，获取按照所述第k-1主特征映射的大小来调整所述训练图像的大小后的第m子特征映射，(ii)整合所述第m子特征映射以及所述第k-1主特征映射来生成第k-1整合特征映射，(iii)对所述第k-1整合特征映射应用所述卷积运算来生成第k主特征映射。在一个实施例中，提供一种方法，其特征在于，所述(b)步骤包括如下步骤：(b-1)所述学习装置使所述第m馈送层按照所述第k-1主特征映射的所述大小来调整所述训练图像的大小，生成调整大小后的第m训练图像；(b-2)所述学习装置使所述第m馈送层对所述调整大小后的第m训练图像应用所述卷积运算来生成所述第m子特征映射；(b-3)所述学习装置使所述第k卷积层整合所述第k-1主特征映射以及所述第m子特征映射来生成所述第k-1整合特征映射；以及(b-4)所述学习装置使所述第k卷积层对所述第k-1整合特征映射应用所述卷积运算来生成所述第k主特征映射。在一个实施例中，提供一种方法，其特征在于，在所述(b-3)步骤中，逐像素相加所述第k-1主特征映射和所述第m子特征映射来生成所述第k-1整合特征映射。在一个实施例中，提供一种方法，其特征在于，在所述(b-3)步骤中，将所述第k-1主特征映射和所述第m子特征映射连接(Concatenate)起来生成所述第k-1整合特征映射。在一个实施例中，提供一种方法，其特征在于，在所述(b-2)步骤中，对所述调整大小后的第m训练图像应用所述卷积运算来生成所述第m子特征映射，以使得所述第m子特征映射的通道数与所述第k-1主特征映射的通道数对应。在一个实施例中，提供一种方法，其特征在于，所述(b)步骤包括以下步骤：(b-1)所述学习装置使所述第m馈送层对所述调整大小后的第m训练图像应用所述卷积运算生成所述第m子特征映射，使所述第m子特征映射具有与所述第k-1主特征映射的大小对应的大小；(b-2)所述学习装置使所述第k卷积层整合所述第k-1主特征映射以及所述第m子特征映射来生成所述第k-1整合特征映射；以及(b-3)所述学习装置使所述第k卷积层对所述第k-1整合特征映射应用所述卷积运算来生成所述第k主特征映射。在一个实施例中，提供一种方法，其特征在于，在所述(b-1)步骤中，生成所述第m子特征映射，以使得所述第m子特征映射的大小以及通道数与所述第k-1主特征映射的所述大小以及所述通道数对应。在一个实施例中，提供一种方法，其特征在于，还包括以下本文档来自技高网...

【技术保护点】
1.一种学习方法，其特征在于，/n所述学习方法是使用多馈送层能够对至少一个训练图像进行编码的CNN的学习方法，所述CNN包括对所述训练图像应用至少一次以上的卷积运算来分别生成第一至第n主特征映射的第一至第n卷积层，并包括分别与所述n个卷积层中h个卷积层的每一层对应的第一至第h馈送层，所述h是1至n-1的整数，所述学习方法包括以下步骤：/n(a)学习装置获取所述训练图像；以及/n(b)所述学习装置使所述每一个卷积层对所述训练图像或者从之前的卷积层获取的主特征映射应用所述卷积运算来分别生成所述第一至第n主特征映射，所述学习装置使分别与所述第一至第h馈送层的每一层对应的所述h个卷积层之一的第k卷积层执行以下步骤，其中，所述h个卷积层选自所述第二至第n卷积层：/n(i)从由第k-1卷积层获取的第k-1主特征映射以及与所述第k卷积层对应的第m馈送层中，获取按照所述第k-1主特征映射的大小来调整所述训练图像的大小后的第m子特征映射；/n(ii)整合所述第m子特征映射以及所述第k-1主特征映射来生成第k-1整合特征映射；/n(iii)对所述第k-1整合特征映射应用所述卷积运算来生成第k主特征映射。/n...

【技术特征摘要】
20180917 US 16/132,4791.一种学习方法，其特征在于，
所述学习方法是使用多馈送层能够对至少一个训练图像进行编码的CNN的学习方法，所述CNN包括对所述训练图像应用至少一次以上的卷积运算来分别生成第一至第n主特征映射的第一至第n卷积层，并包括分别与所述n个卷积层中h个卷积层的每一层对应的第一至第h馈送层，所述h是1至n-1的整数，所述学习方法包括以下步骤：
(a)学习装置获取所述训练图像；以及
(b)所述学习装置使所述每一个卷积层对所述训练图像或者从之前的卷积层获取的主特征映射应用所述卷积运算来分别生成所述第一至第n主特征映射，所述学习装置使分别与所述第一至第h馈送层的每一层对应的所述h个卷积层之一的第k卷积层执行以下步骤，其中，所述h个卷积层选自所述第二至第n卷积层：
(i)从由第k-1卷积层获取的第k-1主特征映射以及与所述第k卷积层对应的第m馈送层中，获取按照所述第k-1主特征映射的大小来调整所述训练图像的大小后的第m子特征映射；
(ii)整合所述第m子特征映射以及所述第k-1主特征映射来生成第k-1整合特征映射；
(iii)对所述第k-1整合特征映射应用所述卷积运算来生成第k主特征映射。


2.根据权利要求1所述的方法，其特征在于，
所述(b)步骤包括如下步骤：
(b-1)所述学习装置使所述第m馈送层按照所述第k-1主特征映射的所述大小来调整所述训练图像的大小，生成调整大小后的第m训练图像；
(b-2)所述学习装置使所述第m馈送层对所述调整大小后的第m训练图像应用所述卷积运算来生成所述第m子特征映射；
(b-3)所述学习装置使所述第k卷积层整合所述第k-1主特征映射以及所述第m子特征映射来生成所述第k-1整合特征映射；以及
(b-4)所述学习装置使所述第k卷积层对所述第k-1整合特征映射应用所述卷积运算来生成所述第k主特征映射。


3.根据权利要求2所述的方法，其特征在于，
在所述(b-3)步骤中，逐像素地相加所述第k-1主特征映射和所述第m子特征映射来生成所述第k-1整合特征映射。


4.根据权利要求2所述的方法，其特征在于，
在所述(b-3)步骤中，将所述第k-1主特征映射和所述第m子特征映射连接起来生成所述第k-1整合特征映射。


5.根据权利要求2所述的方法，其特征在于，
在所述(b-2)步骤中，对所述调整大小后的第m训练图像应用所述卷积运算来生成所述第m子特征映射，以使得所述第m子特征映射的通道数与所述第k-1主特征映射的通道数对应。


6.根据权利要求1所述的方法，其特征在于，
所述(b)步骤包括如下步骤：
(b-1)所述学习装置使所述第m馈送层对所述调整大小后的第m训练图像应用所述卷积运算生成所述第m子特征映射，使所述第m子特征映射具有与所述第k-1主特征映射的大小对应的大小；
(b-2)所述学习装置使所述第k卷积层整合所述第k-1主特征映射以及所述第m子特征映射来生成所述第k-1整合特征映射；以及
(b-3)所述学习装置使所述第k卷积层对所述第k-1整合特征映射应用所述卷积运算来生成所述第k主特征映射。


7.根据权利要求6所述的方法，其特征在于，
在所述(b-1)步骤中，生成所述第m子特征映射，以使得所述第m子特征映射的大小以及通道数与所述第k-1主特征映射的所述大小以及所述通道数对应。


8.根据权利要求1所述的方法，其特征在于，还包括以下步骤：
(c)所述学习装置使至少一个全连接层对所述第n主特征映射应用至少一个全连接运算，生成对所述训练图像内的至少一个对象的检测结果；以及
(d)所述学习装置参照所述检测结果及其对应的地面实况来输出一个以上的损失值，通过反向传播所述损失值来学习所述CNN的一个以上的参数。


9.根据权利要求1所述的方法，其特征在于，还包括以下步骤：
(c)所述学习装置使解码层将所述第n主特征映射输入到所述解码层来生成分割结果；以及
(d)所述学习装置参照所述分割结果及其对应的地面实况来输出一个以上的损失值，通过反向传播所述损失值来学习所述CNN的一个以上的参数。


10.一种测试方法，其特征在于，
所述测试方法是使用多馈送层能够对至少一个测试图像进行编码的CNN的测试方法，所述CNN包括对所述测试图像应用至少一次以上的卷积运算来分别生成第一至第n主特征映射的第一至第n卷积层，并包括分别与所述n个卷积层中h个卷积层的每一层对应的第一至第h馈送层，所述h是1至n-1的整数，所述测试方法包括以下步骤：
(a)在学习装置执行以下处理的状态下，测试装置获取所述测试图像：
(1)使所述每一个卷积层对至少一个训练图像或者从之前的卷积层获取的学习用主特征映射应用所述卷积运算来分别生成所述学习用第一至第n主特征映射，所述学习装置使分别与所述第一至第h馈送层的每一层对应的所述h个卷积层之一的第k卷积层执行如下步骤，其中，所述h个卷积层选自所述第二至第n卷积层：(i)从由第k-1卷积层获取的学习用第k-1主特征映射以及与所述第k卷积层对应的第m馈送层中，获取按照所述学习用第k-1主特征映射的大小来调整所述训练图像的大小后的学习用第m子特征映射；(ii)整合所述第m子特征映射以及所述学习用第k-1主特征映射来生成学习用第k-1整合特征映射；(iii)对所述学习用第k-1整合特征映射应用所述卷积运算来生成学习用第k主特征映射；以及
(2)学习所述CNN的一个以上的参数；以及
(b)所述测试装置使所述每一个卷积层对所述测试图像或者从之前的卷积层获取的测试用主特征映射应用所述卷积运算来生成所述测试用第一至第n主特征映射，所述测试装置使分别与所述第一至第h馈送层的每一层对应的所述h个卷积层之一的第k卷积层执行以下步骤，其中，所述h个卷积层选自所述第二至第n卷积层：(i)从由第k-1卷积层获取的测试用第k-1主特征映射以及与所述第k卷积层对应的第m馈送层中，获取按照所述测试用第k-1主特征映射的大小来调整所述测试图像的大小后的测试用第m子特征映射；(ii)整合所述第m子特征映射以及所述测试用第k-1主特征映射来生成测试用第k-1整合特征映射；(iii)对所述测试用第k-1整合特征映射应用所述卷积运算来生成测试用第k主特征映射。


11.根据权利要求10所述的方法，其特征在于，所述(b)步骤包括以下步骤：
(b-1)所述测试装置使所述第m馈送层按照所述测试用第k-1主特征映射的所述大小来调整所述测试图像的大小，生成调整大小后的第m测试图像；
(b-2)所述测试装置使所述第m馈送层对所述调整大小后的第m测试图像应用所述卷积运算来生成所述测试用第m子特征映射；
(b-3)所述测试装置使所述第k卷积层整合所述测试用第k-1主特征映射以及所述测试用第m子特征映射来生成所述测试用第k-1整合特征映射；以及
(b-4)所述测试装置使所述第k卷积层对所述测试用第k-1整合特征映射应用所述卷积运算来生成所述测试用第k主特征映射。


12.根据权利要求11所述的方法，其特征在于，
在所述(b-3)步骤中，逐像素地相加所述测试用第k-1主特征映射和所述测试用第m子特征映射来生成所述测试用第k-1整合特征映射。


13.根据权利要求11所述的方法，其特征在于，
在所述(b-3)步骤中，将所述测试用第k-1主特征映射和所述测试用第m子特征映射连接起来生成所述测试用第k-1整合特征映射。


14.根据权利要求10所述的方法，其特征在于，所述(b)步骤包括如下步骤：
(b-1)所述测试装置使所述第m馈送层对所述调整大小后的第m测试图像应用所述卷积运算生成所述测试用第m子特征映射，来使得所述测试用第m子特征映射具有与所述测试用第k-1主特征映射的大小对应的大小；
(b-2)所述测试装置使所述第k卷积层整合所述测试用第k-1主特征映射以及所述测试用第m子特征映射来生成所述测试用第k-1整合特征映射；以及
(b-3)所述测试装置使所述第k卷积层对所述测试用第k-1整合特征映射应用所述卷积运算来生成所述测试用第k主特征映射。


15.根据权利要求14所述的方法，其特征在于，
在所述(b-1)步骤中，生成所述测试用第m子特征映射...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金寅洙，金鹤京，南云铉，夫硕焄，成明哲，吕东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR