【技术实现步骤摘要】
用于检测客体存在性的方法及装置
本专利技术涉及通过从至少一个输入图像中检测至少一个近距离障碍物的至少一个下端线和至少一个上端线来确认至少一个客体的存在性(objectness)的CNN(ConvolutionalNeuralNetwork,卷积神经网络)参数的学习(learning)方法。尤其涉及通过从所述输入图像中检测所述近距离障碍物所述下端线和所述上端线来确认所述客体存在性的所述CNN的所述参数学习方法以及使用其的学习装置、测试方法和测试装置。
技术介绍
深度学习是适用于将事物或数据聚类或分类的技术。例如，计算机无法单凭照片区分狗和猫，而人可以轻易区分。为此研发了“机器学习(MachineLearning)”的方法。这是一种将很多数据输入到计算机，并将类似数据进行分类的技术。如果输入与储存的狗照片相似的照片，计算机就会将其分类为狗照片。有关如何分类数据，已有了很多机器学习算法，如“决策树”或“贝页斯网络”、“支持向量机(SupportVectorMachine，SVM)”、“人工神经网络”等为代表。其中，深度学习...
【技术保护点】
1.一种通过从至少一个输入图像中检测至少一个近距离障碍物的至少一个下端线及至少一个上端线来确认至少一个客体存在性的卷积神经网络CNN的参数的学习方法，其特征在于，包括：/n步骤(a)，作为训练图像获得所述输入图像后，学习装置，(i)使第1CNN至少一个卷积层，依次从所述输入图像生成至少一个第1编码特征图，使所述第1CNN至少一个反卷积层，依次从所述第1编码特征图生成至少一个第1解码特征图，(ii)使第2CNN至少一个卷积层，依次从所述输入图像生成至少一个第2编码特征图，使所述第2CNN至少一个反卷积层，依次从所述第2编码特征图生成至少一个第2解码特征图；/n步骤(b)，将所...
【技术特征摘要】
20181026 US 16/1717061.一种通过从至少一个输入图像中检测至少一个近距离障碍物的至少一个下端线及至少一个上端线来确认至少一个客体存在性的卷积神经网络CNN的参数的学习方法，其特征在于，包括：
步骤(a)，作为训练图像获得所述输入图像后，学习装置，(i)使第1CNN至少一个卷积层，依次从所述输入图像生成至少一个第1编码特征图，使所述第1CNN至少一个反卷积层，依次从所述第1编码特征图生成至少一个第1解码特征图，(ii)使第2CNN至少一个卷积层，依次从所述输入图像生成至少一个第2编码特征图，使所述第2CNN至少一个反卷积层，依次从所述第2编码特征图生成至少一个第2解码特征图；
步骤(b)，将所述第1及第2解码特征图，按所述第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元，在此状态下，学习装置，(i)参照所述第1解码特征图中至少一个特定第1解码特征图的至少一个特征，生成至少一个第1障碍物分割结果，其按所述列分别显示推定为存在有各所述近距离障碍物的各所述下端线的各第1特定行，(ii)参照所述第2解码特征图中至少一个特定第2解码特征图的至少一个特征，生成至少一个第2障碍物分割结果，其按所述列分别显示推定为存在有各所述近距离障碍物的各所述上端线的各第2特定行；
步骤(c)，所述学习装置，参照所述第1障碍物分割结果及所述第2障碍物分割结果，判断道路上的所述近距离障碍物所对应的所述客体存在性；
步骤(d)，所述学习装置，参照所述客体存在性和对应其的地面实况GT图像，生成至少一个损失，其中，各所述GT图像，包含各所述列上所述近距离障碍物的各所述下端线实际所处的第1实际行的位置信息，及各所述列上所述近距离障碍物的各所述上端线实际所处的第2实际行的位置信息；以及
步骤(f)，所述学习装置，反向传播所述损失，学习所述CNN的所述参数。
2.根据权利要求1所述的方法，其特征在于，
在所述步骤(c)，所述学习装置，参照所述第1障碍物分割结果及所述第2障碍物分割结果，进一步判断所述道路的至少一个警戒线；
在所述步骤(d)，所述学习装置，参照所述警戒线及所述客体存在性和对应其的GT图像，生成所述损失。
3.根据权利要求2所述的方法，其特征在于，
在所述步骤(c)，参照所述第1障碍物分割结果及所述第2障碍物分割结果，如果(i)按所述列分别推定为存在有各所述近距离障碍物的各所述下端线的各所述第1特定行与(ii)按所述列分别推定为存在有各所述近距离障碍物的各所述上端线的各所述第2特定行之间的各距离之差，在小于规定边界值的范围内，则所述学习装置，判断所述输入图像中存在所述警戒线；如果(i)各所述列的各所述第1特定行与(ii)各所述列的各所述第2特定行之间的各距离之差为所述规定边界值以上，则所述学习装置，判断所述输入图像的所述道路上存在对应于所述近距离障碍物的所述客体存在性。
4.根据权利要求1所述的方法，其特征在于，
所述步骤(b)，包括：
步骤(b1)，将所述第1及所述第2解码特征图，按所述第1方向划分为第1间隔，按所述第2方向划分为第2间隔，生成所述栅格各单元后，所述学习装置，按所述列分别将各所述行的各特征向信道方向进行级联，生成至少一个第1修正后的特征图及至少一个第2修正后的特征图；以及
步骤(b2)，所述学习装置，(i)在所述第1修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述近距离障碍物的各所述下端线的各推定位置，以此生成所述第1障碍物分割结果，其中，所述第1障碍物分割结果是通过第1归一化指数SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化，(ii)在所述第2修正后的特征图中的、按所述列分别经过级联后的信道上，从各所述下端线开始，向上渐升，确认各所述近距离障碍物的各所述上端线的各推定位置，以此生成所述第2障碍物分割结果，其中，所述第2障碍物分割结果是通过第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。
5.根据权利要求1所述的方法，其特征在于，
所述各列在所述第1方向包括至少一个像素；
所述各行在所述第2方向包括至少一个像素。
6.根据权利要求1所述的方法，其特征在于，
所述输入图像划分为Nc个行时，所述GT图像，包含按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中实际所处的行的信息；
所述输入图像划分为Nc个行时，所述第1障碍物分割结果及所述第2障碍物分割结果，包含按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中推定所处的行的信息。
7.根据权利要求1所述的方法，其特征在于，
在所述步骤(b)，生成第3障碍物分割结果，其包含级联特征中各所述列上具备2个最大值的所述第1及所述第2特定行的信息，其中，所述级联特征，是基于所述第1及所述第2解码特征图的特征生成的，所述第3障碍物分割结果是通过第3SoftMax运算生成的，其按所述级联特征中的各所述列分别将对应于各所述行的值进行归一化。
8.一种通过从至少一个测试图像中检测至少一个测试用近距离障碍物的至少一个下端线及至少一个上端线来确认至少一个测试用客体存在性的CNN的测试方法，其特征在于，包括：
步骤(a)，在由学习装置执行了以下过程的状态下，由测试装置获得测试图像，所述过程如下：过程(i)，使第1CNN的至少一个卷积层，从作为训练图像获得的至少一个所述输入图像，依次生成至少一个学习用第1编码特征图，使所述第1CNN的至少一个反卷积层，从所述学习用第1编码特征图，依次生成至少一个学习用第1解码特征图，使第2CNN的至少一个卷积层，从所述输入图像依次生成至少一个学习用第2编码特征图，使所述第2CNN的至少一个反卷积层，从所述学习用第2编码特征图，依次生成至少一个学习用第2解码特征图；过程(ii)，将所述学习用第1解码特征图及所述学习用第2解码特征图，按所述学习用第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，参照所述学习用第1解码特征图中至少一个学习用特定第1解码特征图的至少一个学习用特征，生成至少一个学习用第1障碍物分割结果，其按所述列分别显示推定为存在有至少一个学习用近距离障碍物各自的各下端线的各学习用第1特定行，参照所述学习用第2解码特征图中至少一个学习用特定第2解码特征图的至少一个学习用特征，生成至少一个学习用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述学习用近距离障碍物的各所述上端线的各学习用第2特定行；过程(iii)，参照所述学习用第1障碍物分割结果及所述学习用第2障碍物分割结果，推定道路上的所述学习用近距离障碍物所对应的学习用客体存在性；过程(iv)，参照所述学习用客体存在性和对应其的GT图像，生成至少一个损失，其中，各所述GT图像包含各所述列上所述学习用近距离障碍物的各所述下端线实际所处的第1实际行的位置信息及各所述列上所述学习用近距离障碍物的各所述上端线实际所处的第2实际行的位置信息；以及过程(v)，反向传播所述损失，学习所述CNN的参数；
步骤(b)，所述测试装置，(i)使所述第1CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第1编码特征图，使所述第1CNN的所述反卷积层，从所述测试用第1编码特征图，依次生成至少一个测试用第1解码特征图，(ii)使所述第2CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第2编码特征图，使所述第2CNN的所述反卷积层，从所述测试用第2编码特征图，依次生成至少一个测试用第2解码特征图；
步骤(c)，将所述测试用第1及所述测试用第2解码特征图，按所述测试用第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，所述测试装置，(i)参照所述测试用第1解码特征图中至少一个测试用特定第1解码特征图的至少一个测试用特征，生成至少一个测试用第1障碍物分割结果，其按所述列分别显示推定为存在有所述测试用近距离障碍物各自的各所述下端线的各测试用第1特定行，(ii)参照所述测试用第2解码特征图中至少一个测试用特定第2解码特征图的至少一个测试用特征，生成至少一个测试用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述测试用近距离障碍物的各所述上端线的各测试用第2特定行；以及
步骤(d)，所述测试装置，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，推定道路上的所述测试用近距离障碍物所对应的所述测试用客体存在性。
9.根据权利要求8所述的方法，其特征在于，
在所述步骤(d)，所述测试装置，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，进一步判断所述道路的至少一个测试用警戒线；
在所述过程(iv)，所述学习装置，参照至少一个学习用警戒线，所述学习用客体存在性及对应其的GT图像，生成所述损失。
10.根据权利要求9所述的方法，其特征在于，
在所述步骤(d)，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，如果(i)按所述列分别推定存在各所述测试用近距离障碍物的各所述下端线的各所述测试用第1特定行与(ii)按所述列分别推定存在各所述测试用近距离障碍物的各所述上端线的各所述测试用第2特定行之间的各距离之差，在小于规定边界值的范围内，则所述测试装置，判断所述测试图像中存在所述测试用警戒线；如果(i)各所述列的各所述测试用第1特定行与(ii)各所述列的各所述测试用第2特定行之间的各距离之差为所述规定边界值以上，则所述测试装置，判断所述测试图像的所述道路上存在对应于所述测试用近距离障碍物的所述测试用客体存在性。
11.根据权利要求8所述的方法，其特征在于，
所述步骤(c)，包括：
步骤(c1)，将所述测试用第1及第2解码特征图，按所述第1方向划分为第1间隔，按所述第2方向划分为第2间隔，生成所述栅格各单元后，所述测试装置，按所述列分别将各所述行的各测试用特征向信道方向级联，生成至少一个测试用第1修正后的特征图及至少一个测试用第2修正后的特征图；以及
步骤(c2)，所述测试装置，(i)在所述测试用第1修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述测试用近距离障碍物的各所述下端线的各推定位置，以此生成所述测试用第1障碍物分割结果，其中，所述测试用第1障碍物分割结果是通过第1SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化，(ii)在所述测试用第2修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述测试用近距离障碍物的各所述上端线的各推定位置，以此生成所述测试用第2障碍物分割结果，其中，所述第2障碍物分割结果是通过第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。
12.根据权利要求8所述的方法，其特征在于，
所述各列在所述第1方向包括至少一个像素；
所述各行在所述第2方向包括至少一个像素。
13.根据权利要求8所述的方法，其特征在于，
所述输入图像划分为Nc个行时，所述GT图像，包含按所述列分别显示各所述学习用近距离障碍物的各所述下端线及各所述上端线在所述行中实际所处的行的信息；
所述测试图像划分为Nc个行时，所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，包含按所述列分别显示各所述测试用近距离障碍物的各所述下端线及各所述上端线在所述行中推定所处的行的信息。
14.根据权利要求8所述的方法，其特征在于，
在所述步骤(c)，生成测试用第3障碍物分割结果，其包含测试用级联特征中各所述列上具备2个最大值的所述第1及所述第2特定行的信息，其中，所述测试用级联特征，是基于所述测试用第1及第2解码特征图的测试用特征而生成的，所述测试用第3障碍物分割结果是通过第3SoftMax运算生成的，其按所述测试用级...
【专利技术属性】
技术研发人员：金桂贤，金镕重，金寅洙，金鹤京，南云铉，夫硕焄，成明哲，呂东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。