利用实例分割检测基于CNN的伪3D边界的方法及装置制造方法及图纸

本发明专利技术涉及一种利用实例分割检测能够根据检测出的对象的姿势来转换模式的基于CNN的伪3D边界框的方法，并且提供一种如下的方法，其特征在于，包括以下步骤：能够根据该方法将关于伪3D边界框的每个表面的阴影信息反映到学习中，能够通过激光雷达(Lidar)或雷达来获取伪3D边界框，并且利用照相机来分割表面，检测方法通过由学习装置使池化层对2D边界框应用池化运算而生成经池化的特征图，使FC层应用神经网络运算，使卷积层对表面区域应用卷积运算，并使FC层生成类损失和回归损失。

【技术实现步骤摘要】
利用实例分割检测基于CNN的伪3D边界的方法及装置
本专利技术涉及一种利用实例分割(InstanceSegmentation)检测能够根据对象姿势转换模式的基于CNN(ConvolutionalNeuralNetwork)的伪3D边界框的方法及利用它的装置，更详细而言，涉及一种检测方法及装置、利用它的测试方法及装置，该检测方法为检测至少一个利用所述实例分割的基于所述CNN的所述伪3D边界框的方法，其特征在于，包括以下步骤：(a)在获取至少一个输入特征图和至少一个2D边界框时，学习装置通过使池化层对所述输入特征图上的与所述2D边界框对应的至少一个区域应用池化运算而生成经池化的特征图，并且通过使FC层对所述经池化的特征图应用至少一次神经网络运算而生成与所述伪3D边界框对应的框图案信息，其中输入特征图是通过对至少一个训练图像应用至少一次卷积运算而生成，且2D边界框包含训练图像内的至少一个对象；(b)所述学习装置(i)使分类层参照所述框图案信息来生成与所述对象的方向对应的类信息，(ii)使回归层参照所述框图案信息来生成关于与所述2D边界框的坐标对应的所述伪3D边界框的坐标本文档来自技高网...

【技术保护点】
1.一种利用实例分割检测至少一个基于CNN的3D边界框的方法，其特征在于，包括以下步骤：/n(a)在获取至少一个输入特征图和至少一个2D边界框时，学习装置通过使池化层对所述输入特征图上的与所述2D边界框对应的至少一个区域应用池化运算而生成经池化的特征图，并通过使FC层对所述经池化的特征图应用至少一次神经网络运算而生成与伪3D边界框对应的框图案信息，其中所述输入特征图是通过对至少一个训练图像应用至少一次卷积运算而生成，且所述2D边界框包含所述训练图像内的至少一个对象；/n(b)所述学习装置：(i)通过使分类层参照所述框图案信息来生成与所述对象的方向对应的类信息，(ii)使回归层参照所述框图案信息...

【技术特征摘要】
20190125 US 16/258,1561.一种利用实例分割检测至少一个基于CNN的3D边界框的方法，其特征在于，包括以下步骤：
(a)在获取至少一个输入特征图和至少一个2D边界框时，学习装置通过使池化层对所述输入特征图上的与所述2D边界框对应的至少一个区域应用池化运算而生成经池化的特征图，并通过使FC层对所述经池化的特征图应用至少一次神经网络运算而生成与伪3D边界框对应的框图案信息，其中所述输入特征图是通过对至少一个训练图像应用至少一次卷积运算而生成，且所述2D边界框包含所述训练图像内的至少一个对象；
(b)所述学习装置：(i)通过使分类层参照所述框图案信息来生成与所述对象的方向对应的类信息，(ii)使回归层参照所述框图案信息来生成关于与所述2D边界框的坐标对应的所述伪3D边界框的坐标的回归信息，以及(iii)使卷积层对所述经池化的特征图上的与所述伪3D边界框的参照所述回归信息来生成的每个表面对应的每个区域应用卷积运算而生成至少一个实例特征图，以及使遮罩层参照所述实例特征图和所述类信息来生成与所述每个表面对应的每个遮罩；以及
(c)所述学习装置通过使至少一个FC损失层参照所述类信息、所述回归信息以及与所述类信息及所述回归信息对应的至少一个GT来生成每个类损失及每个回归损失，从而通过反向传播所述类损失及所述回归损失来学习所述FC层的参数。


2.根据权利要求1所述的方法，其特征在于，
在所述(b)步骤之后，所述学习装置通过使至少一个遮罩损失层参照所述每个遮罩和与所述每个遮罩对应的遮罩GT来生成至少一个遮罩损失，从而通过反向传播所述遮罩损失来调整所述遮罩层及所述卷积层中的至少一部分参数。


3.根据权利要求1所述的方法，其特征在于，
所述遮罩层包含全卷积网络的至少一部分。


4.根据权利要求1所述的方法，其特征在于，
所述遮罩为二元遮罩，所述二元遮罩用于区分判断为在每个所述实例特征图上存在所述对象的至少一个像素和判断为在每个所述实例特征图上不存在所述对象的至少一个像素。


5.根据权利要求1所述的方法，其特征在于，
在所述(b)步骤中，所述学习装置通过使所述回归层利用以下(i)和(ii)中的至少一个来生成所述回归信息：(i)从所述2D边界框的顶点到与所述对象的前面和后面中的每个对应的每个实例边界框的顶点的每个位移；以及(ii)从所述2D边界框的中心到所述每个实例边界框的每个中心的每个位移以及所述2D边界框的宽/高比率与所述实例边界框的每个宽/高比率之间的每个差异。


6.根据权利要求5所述的方法，其特征在于，
在将所述2D边界框的形成对角线的每个顶点设为第一顶点和第二顶点、将其至少一个顶点与所述第一顶点匹配的实例边界框设为第一实例边界框、并将其至少一个顶点与所述第二顶点匹配的实例边界框设为第二实例边界框的情况下，
所述学习装置：(i)连接第一实例边界框的顶点及第二实例边界框的顶点并使所述顶点位于所述2D边界框的第一对两个相邻的线上，连接第一实例边界框的顶点及第二实例边界框的顶点并使所述顶点位于所述2D边界框的第二对另外两个相邻的线上，其中分别在所述第一对相邻线及所述第二对相邻线中的所述两个相邻的线不与形成所述对角线的每个顶点中的任一顶点交会；(ii)在将未存在于所述2D边界框的任一线上的第二实例边界框的顶点与所述第一顶点连接之后，将未存在于所述2D边界框的任一线上的所述第一实例边界框的顶点与所述第二顶点连接，从而参照所述类信息来生成所述伪3D边界框。


7.根据权利要求1所述的方法，其特征在于，
所述学习装置从基于CNN的对象检测器获取所述输入特征图和所述2D边界框。


8.根据权利要求7所述的方法，其特征在于，
所述对象检测器：使至少一个先行卷积层通过对所述训练图像执行所述卷积运算而生成至少一个先行特征图，使至少一个先行RPN从所述先行特征图生成与位于所述训练图像内的至少一个所述学习用对象对应的至少一个先行提议框，使至少一个先行池化层对所述先行特征图上的与所述先行提议框对应的至少一个区域应用所述池化运算而生成至少一个先行池化特征图，使至少一个先行FC层对所述先行池化特征图应用至少一次神经网络运算而生成与所述学习用对象对应的先行对象图案信息，使至少一个先行分类层参照所述先行对象信息来生成所述学习用对象的先行类信息，并且使至少一个先行回归层参照所述先行对象图案信息来生成关于与所述学习用对象对应的所述2D边界框的先行回归信息，从而生成所述输入特征图和所述2D边界框。


9.一种利用实例分割检测至少一个基于CNN的伪3D边界框的测试方法，其特征在于，包括以下步骤：
(a)在以下状态下：(i)学习装置已获取至少一个学习用输入特征图和至少一个学习用2D边界框时，其中所述学习用输入特征图是通过对至少一个训练图像应用至少一次卷积运算而生成，且所述学习用2D边界框包含所述训练图像内的至少一个对象，(ii)学习装置已使至少一个池化层对所述学习用输入特征图上的与所述学习用2D边界框对应的至少一个区域应用至少一次池化运算而生成至少一个学习用池化特征图，(iii)学习装置已使至少一个FC层对所述学习用池化特征图应用至少一次神经网络运算而生成与所述伪3D边界框对应的学习用框图案信息，(iv)学习装置已使至少一个分类层参照所述学习用框图案信息来生成与所述学习用对象的方向对应的学习用类信息，(v)学习装置已使至少一个回归层参照所述学习用框图案信息来生成关于与所述学习用2D边界框的坐标对应的所述伪3D边界框的坐标的学习用回归信息，(vi)学习装置已使至少一个卷积层对与所述学习用池化特征图上的所述伪3D边界框的每个表面对应的每个区域应用所述卷积运算而生成至少一个学习用实例特征图，其中所述每个表面是参照所述学习用回归信息来生成的，(vii)学习装置已使至少一个遮罩层参照所述学习用实例特征图和所述学习用类信息来生成与所述每个表面对应的每个学习用遮罩，以及(viii)学习装置已使至少一个FC层参照所述学习用类信息、所述学习用回归信息以及与所述学习用类信息和所述学习用回归信息对应的至少一个GT来生成每个类损失及每个回归损失，从而通过反向传播所述类损失及所述回归损失来学习所述FC层的参数，测试装置通过使所述池化层对至少一个测试用输入特征图上的与至少一个测试用2D边界框对应的至少一个区域应用所述池化运算而生成至少一个测试用池化特征图，使所述FC层对所述测试用池化特征图应用所述神经网络运算而生成与所述伪3D边界框对应的测试用框图案信息；以及
(b)所述测试装置：(i)使所述分类层参照所述测试用框图案信息来生成与至少一个测试用对象对应的测试用类信息，(ii)使所述回归层参照所述测试用框图案信息来生成关于与所述测试用2D边界框的坐标对应的所述伪3D边界框的坐标的测试用回归信息，(iii)使所述卷积层对所述测试用池化特征图上的与所述伪3D边界框的参照所述学习用回归信息来生成的每个表面对应的每个区域应用所述卷积运算而生成至少一个测试用实例特征图，以及使所述遮罩层参照所述测试用实例特征图和所述测试用类信息来生成与所述每个表面对应的每个测试用遮罩。


10.根据权利要求9所述的测试方法，其特征在于，
在所述(vii)过程之后，所述学习装置通过使至少一个遮罩损失层参照所述每个学习用遮罩和与所述每个学习用遮罩对应的遮罩GT来生成至少一个遮罩损失，从而通过反向传播所述遮罩损失来调整所述遮罩层及所述卷积层中的至少一部分参数。


11.根据权利要求9所述的测试方法，其特征在于，
所述每个测试用遮罩为二元遮罩，所述二元遮罩用于区分判断为在每个所述测试用实例特征图上存在所述测试用对象的至少一个像素和不存在所述测试用对象的至少一个像素。


12.根据权利要求9所述的测试方法，其特征在于，
在所述(b)步骤中，所述测试装置通过使所述回归层利用以下(i)和(ii)中的至少一个来生成所述测试用回归信息：(i)从所述测试用2D边界框的顶点到与所述测试用对象的前面和后面中的每个对应的每个测试用实例边界框的顶点的每个位移；以及(ii)从所述测试用2D边界框的中心到所述每个测试用实例边界框的每个中心的每个位移和所述测试用2D边界框的宽/高比率与所述测试用实例边界框的每个宽/高比率之间的每个差异。


13.根据权利要求12所述的测试方法，其特征在于，
在将所述测试用2D边界框的形成对角线的每个顶点设为第一顶点和第二顶点、将其至少一个顶点与所述第一顶点匹配的所述测试用实例边界框设为第一测试用实例边界框、并将其至少一个顶点与所述第二顶点匹配的所述测试用实例边界框设为第二测试用实例边界框的情况下，
所述测试装置：(i)连接所述第一测试用实例边界框及所述第二测试用实例边界框的顶点并使所述顶点位于所述测试用2D边界框的第一对两个相邻的线上，连接所述第一测试用实例边界框及所述第二测试用实例边界框的顶点并使所述顶点位于所述测试用2D边界框的第二对另外两个相邻的线上，其中分别在所述第一对相邻线及所述第二对相邻线中的所述两个相邻的线不与形成所述对角线的每个顶点中的任一顶点交会；(ii)在将未存在于所述测试用2D边界框的任一线上的所述第二测试用实例边界框的顶点与所述第一顶点连接之后，将未存在于所述测试用2D边界框的任一线上的所述第一测试用实例边界框的顶点与所述第二顶点连接，从而参照所述类信息来生成所述伪3D边界框。


14.根据权利要求9所述的测试方法，其特征在于，
所述测试装置从基于CNN的对象检测器获取所述测试用输入特征图和所述测试用2D边界框。


15.根据权利要求14所述的测试方法，其特征在于，
所述对象检测器：使至少一个先行卷积层通过对所述训练图像执行所述卷积运算而生成至少一个测试用先行特征图，使至少一个先行RPN从所述测试用先行特征图生成与位于所述训练图像内的至少一个所述测试用对象对应的至少一个测试用先行提议框，使至少一个先行池化层对所述测试用先行特征图上的与所述测试用先行提议框对应的至少一个区域应用所述池化运算而生成至少一个测试用先行池化特征图，使至少一个先行FC层对所述测试用先行池化特征图应用所述神经网络运算而生成与所述测试用对象对应的测试用先行对象图案信息，使至少一个先行分类层参照所述测试用先行对象信息来生成所述测试用对象的测试用先行类信息，并且使至少一个先行回归层参照所述测试用先行对象图案信息来生成关于与所述测试用对象对应的所述测试用2D边界框的测试用先行回归信息，从而生成所述测试用输入特征图和所述测试用2D边界框。


16.一种利用实例分割检测基于CNN的伪3D边界框的学习装置，其特征在于，包括：<...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金寅洙，金鹤京，南云铉，夫硕焄，成明哲，吕东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR