基于回归损失的学习及测试的方法及装置制造方法及图纸

基于回归损失的学习及测试的方法及装置。本发明专利技术提供一种基于回归损失学习卷积神经网络(CNN)的参数的方法，其特征在于，包括：学习装置，使第1卷积层至第N卷积层，生成第1编码特征图至第N编码特征图；使第N反卷积层至第1反卷积层，从所述第N编码特征图，生成第N解码特征图至第1解码特征图；参照所述解码特征图的特征，生成障碍物分割结果；参照特定解码特征图的各所述列的近距离障碍物的下端线推定存在的各特定行位置，与GT图像中各所述列的各所述下端线实际所处的各行位置之间的距离差，生成所述回归损失；反向传播所述回归损失，学习所述参数。

Method and device of learning and testing based on regression loss

【技术实现步骤摘要】
基于回归损失的学习及测试的方法及装置
本专利技术涉及一种基于至少一个回归损失(RegressionLoss)学习(learning)CNN(ConvolutionalNeuralNetwork，卷积神经网络)的至少一个参数的方法。尤其涉及一种基于所述回归损失，学习所述CNN的所述参数的方法，及利用其的学习装置、测试方法及测试装置。
技术介绍
深度学习是适用于将事物或数据聚类或分类的技术。例如，计算机无法单凭照片区分狗和猫，而人可以轻易区分。为此研发了“机器学习(MachineLearning)”的方法。这是一种将很多数据输入到计算机，并将类似数据进行分类的技术。如果输入与储存的狗照片相似的照片，计算机就会将其分类为狗照片。有关如何分类数据，已有了很多机器学习算法，如“决策树”或“贝页斯网络”、“支持向量机(SupportVectorMachine，SVM)”、“人工神经网络”等为代表。其中，深度学习是人工神经网络的后裔。深层卷积神经网络(DeepConvolutionalNeuralNetwork；DeepCNN)可谓深层学习领本文档来自技高网...

【技术保护点】
1.一种基于至少一个回归损失学习卷积神经网络CNN的至少一个参数的方法，其特征在于，包括：/n步骤(a)，学习装置，使第1卷积层至第N卷积层，依次从作为训练图像的至少一个输入图像，各自生成第1编码特征图至第N编码特征图；/n步骤(b)，所述学习装置，使第N反卷积层至第1反卷积层，从所述第N编码特征图，依次生成第N解码特征图至第1解码特征图；/n步骤(c)，将所述第N解码特征图至所述第1解码特征图中至少一个特定解码特征图，按所述特定解码特征图的所述行方向的第1方向及所述列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元，在此状态下，所述学习装置，参照所述第N解码特征图至所述第1解码特征...

【技术特征摘要】
20181026 US 16/1716011.一种基于至少一个回归损失学习卷积神经网络CNN的至少一个参数的方法，其特征在于，包括：
步骤(a)，学习装置，使第1卷积层至第N卷积层，依次从作为训练图像的至少一个输入图像，各自生成第1编码特征图至第N编码特征图；
步骤(b)，所述学习装置，使第N反卷积层至第1反卷积层，从所述第N编码特征图，依次生成第N解码特征图至第1解码特征图；
步骤(c)，将所述第N解码特征图至所述第1解码特征图中至少一个特定解码特征图，按所述特定解码特征图的所述行方向的第1方向及所述列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元，在此状态下，所述学习装置，参照所述第N解码特征图至所述第1解码特征图中至少一部分的至少一个特征，生成至少一个障碍物分割结果，其按所述列分别显示各近距离障碍物的各下端线推定存在的各特定行；
步骤(d)，所述学习装置，参照(i)至少一个地面实况GT图像内各所述列上各所述近距离障碍物的各所述下端线实际所处的各行位置,与(ii)所述障碍物分割结果内各所述列上各所述近距离障碍物的各所述下端线推定存在的各所述特定行位置之间的各距离差，生成所述回归损失；以及
步骤(e)，所述学习装置，反向传播所述回归损失，学习所述CNN的所述参数。


2.根据权利要求1所述的方法，其特征在于，
在所述步骤(c)，所述学习装置，根据所述障碍物分割结果，参照(i)在各所述列上，各所述近距离障碍物各所述下端线存在的可能性最高的各特定行位置与概率，以及(ii)对应其的所述GT图像，生成至少一个归一化指数SoftMax损失；
在所述步骤(e)，对所述SoftMax损失与所述回归损失赋予各自的加权值，生成至少一个统合损失后，反向传播所述统合损失。


3.根据权利要求1所述的方法，其特征在于，
在所述步骤(c)，所述障碍物分割结果是通过SoftMax运算生成的，其按所述列分别将对应于各所述行的各值进行归一化；
在所述步骤(d)，所述障碍物分割结果，是利用至少一个回归运算而变更过的，使得(i)各所述列上各所述特定行的概率值与(ii)各所述列上各所述特定行的规定距离之内的各近邻行的概率值之间的各差异得以缩减。


4.根据权利要求1所述的方法，其特征在于，
在所述步骤(d)，所述回归损失是参照(i)所述障碍物分割结果中按所述列分别具备最高计分的各所述特定行位置，与(ii)所述GT图像内按所述列分别具备最高计分的各行位置之间的各所述距离差而生成的。


5.根据权利要求1所述的方法，其特征在于，
所述步骤(c)，包括：
步骤(c1)，如果对所述至少一个解码特征图，将所述第1方向划分为第1间隔，将所述第2方向划分为第2间隔，生成所述栅格各单元，则所述学习装置，按所述列分别将各所述行的各特征向信道方向进行级联，生成至少一个修正后的特征图；以及
步骤(c2)，所述测试装置，参照所述修正后的特征图，在按所述列分别经过级联后的信道上，对各所述近距离障碍物的各所述下端线的各推定位置进行确认，生成所述障碍物分割结果，其显示各所述近距离障碍物的各所述下端线推定存在于各所述列所述行中的何处，其中，所述障碍物分割结果是通过SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。


6.根据权利要求1所述的方法，其特征在于，
所述各列在所述第1方向包括至少一个像素；
所述各行在所述第2方向包括至少一个像素。


7.根据权利要求1所述的方法，其特征在于，
所述GT图像包括，将所述输入图像划分为Nc个行时，按所述列分别显示各所述近距离障碍物的各所述下端线在所述行中实际所处的行的信息；
所述障碍物分割结果包括，将所述输入图像划分为Nc个行时，按所述列分别显示各所述近距离障碍物的各所述下端线在所述行中推定存在的行的信息。


8.一种基于至少一个回归损失，利用用于检测至少一个近距离障碍物的CNN的测试方法，其特征在于，包括：
步骤(a)，在学习装置执行了以下过程的状态下，所述测试装置，作为至少一个输入图像获得至少一个测试图像，所述过程包括：过程(i)，使第1卷积层至第N卷积层，依次从至少一个训练图像，各自生成学习用第1编码特征图至学习用第N编码特征图；过程(ii)，使第N反卷积层至第1反卷积层，从所述学习用第N编码特征图，依次生成学习用第N解码特征图至学习用第1解码特征图；过程(iii)，如果将所述学习用第N解码特征图至所述学习用第1解码特征图中至少一个学习用特定解码特征图，按所述学习用特定解码特征图的行方向的第1方向及列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元，则参照所述学习用第N解码特征图至所述学习用第1解码特征图中至少一部分的至少一个特征，生成至少一个学习用障碍物分割结果，其按所述列分别显示推定为存在有各学习用近距离障碍物的各下端线的各学习用特定行；过程(iv)，参照(iv-1)至少一个GT图像内各所述列上各所述学习用近距离障碍物的各所述下端线实际所处的各行位置，与(iv-2)所述学习用障碍物分割结果中各所述列上各所述学习用近距离障碍物的各所述下端线推定存在的各所述学习用特定行位置之间的各距离差，生成所述回归损失；以及过程(v)，反向传播所述回归损失，学习所述CNN的至少一个参数；
步骤(b)，所述测试装置，使所述第1卷积层至所述第N卷积层，依次从所述测试图像，各自生成测试用第1编码特征图至测试用第N编码特征图；
步骤(c)，所述测试装置，使所述第N反卷积层至所述第1反卷积层，从所述测试用第N编码特征图，依次生成测试用第N解码特征图至测试用第1解码特征图；
步骤(d)，如果将所述测试用第N解码特征图至所述测试用第1解码特征图中至少一个测试用特定解码特征图，按所述测试用特定解码特征图的所述行方向的第1方向及所述列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元，则所述测试装置，参照所述测试用第N解码特征图至所述测试用第1解码特征图中至少一部分的至少一个特征，生成至少一个测试用障碍物分割结果，其按所述列分别显示推定为存在有各所述测试用近距离障碍物的各所述下端线的各测试用特定行。


9.根据权利要求8所述的方法，其特征在于，
在所述过程(iii)，所述学习装置，根据所述学习用障碍物分割结果，参照(i)各所述列上各所述学习用近距离障碍物各所述下端线存在的可能性最高的各所述学习用特定行位置与概率，以及(ii)对应其的所述GT图像，生成至少一个SoftMax损失；
在所述过程(v)，对所述SoftMax损失与所述回归损失赋予各自的加权值，生成至少一个统合损失后，反向传播所述统合损失。


10.根据权利要求8所述的方法，其特征在于，
在所述过程(iii)，所述学习用障碍物分割结果是通过SoftMax运算生成的，其按所述列分别将对应于各所述行的各值进行归一化；
在所述过程(iv)，所述学习用障碍物分割结果，是利用至少一个回归运算而变更过的，使得(i)各所述列上各所述学习用特定行的概率值与(ii)各所述列上各所述学习用特定行的规定距离之内的各近邻行的概率值之间的各差异得以缩减。


11.根据权利要求8所述的方法，其特征在于，
在所述过程(iv)，所述回归损失是参照(i)所述学习用障碍物分割结果中按所述列分别具备最高计分的各所述学习用特定行位置，与(ii)所述GT图像内按所述列分别具备最高计分的各行位置之间的各所述距离差而生成的。


12.根据权利要求8所述的方法，其特征在于，
所述步骤(d)，包括：
步骤(d1)，如果对至少一个所述测试用解码特征图，将所述第1方向划分为第1间隔，将所述第2方向划分为第2间隔，生成所述栅格各单元，则所述测试装置，按所述列分别将各所述行的各测试用特征向信道方向进行级联，生成至少一个测试用修正后的特征图；以及
步骤(d2)，所述测试装置，参照所述测试用修正后的特征图，在按所述列分别经过级联后的信道上，对各所述近距离障碍物的各所述下端线的各推定位置进行确认，生成所述测试用障碍物分割结果，其显示各所述近距离障碍物的各所述下端线推定存在于各所述列所述行中的何处，其中，所述测试用障碍物分割结果是通过SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。


13.根据权利要求8所述的方法，其特征在于，
所述各列在所述第1方向包括至少一个像素；
所述各行在所述第2方向包括至少一个像素。


14.根据权利要求8所述的方法，其特征在于，
所述GT图像包括，将所述训练图像划分为Nc个行时，按所述列分别显示各所述学习用近距离障碍物的各所述下端线在所述行中实际所处的行的信息；
所述学习用障碍物分割结果包括，所述训练图像划分为Nc个行时，按所述列分别显示各所述学习用近距离障碍物的各所述下端线在所述...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金寅洙，金鹤京，南云铉，夫硕焄，成明哲，呂东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR