用于多摄像机或环绕视图监控的对象检测方法及装置制造方法及图纸

本发明专利技术提供一种利用图像串联以及目标对象集成网络，来学习适合诸如关键绩效指标(Key Performance Index)的客户要求的，基于CNN的对象检测器的参数的方法。所述CNN，可以根据所述关键绩效指标的分辨率或焦距的变化而变化的对象的规模进行重新设计。所述方法包括：学习装置使图像处理网络，生成n个处理图像；使RPN，在所述处理图像中分别生成第1至第n对象候选，使FC层，生成第1至第n对象检测信息；以及使所述目标对象集成网络，集成所述对象候选，以及集成所述对象检测信息。在此方法中，所述对象候选可利用激光雷达(Lidar)生成。通过所述方法，提高了2D边界框的准确度，可在多摄像机、环绕视图监控(Surround View Monitoring)等有效执行。

【技术实现步骤摘要】
用于多摄像机或环绕视图监控的对象检测方法及装置
本专利技术涉及利用图像串联(ImageConcatenation)与目标对象集成网络，学习要用于多摄像机或环绕视图监控(SurroundViewMonitoring)的基于卷积神经网络(CNN或者ConvNet)的对象检测器的参数的方法；更具体地，一种利用图像串联与目标对象集成网络，来学习基于CNN的对象检测器的参数的方法，包括：(a)当输入至少一个训练图像时，(i)使目标区域预测网络，在所述训练图像或者与其对应的一个或多个调整尺寸的图像上，找出与被预测是一个或多个目标对象所在的区域分别对应的第1目标区域至第n目标区域，(ii)使图像处理网络，从所述训练图像或者与其对应的调整尺寸的图像，获取与所述第1目标区域至所述第n目标区域分别对应的第1处理图像至第n处理图像，(iii)输出将所述第1处理图像至所述第n处理图像串联的集成训练图像；(b)(i)使一个或多个卷积层，将一个或多个卷积运算适用于所述集成训练图像，输出至少一个集成特征图，(ii)使区域候选网络(RegionProposalNetwork，RPN)，利用所述集成特征图，输出与位于所述第1处理图像至所述第n处理图像中的一个或多个对象分别对应的第1对象候选至第n对象候选，(iii)使池化层，在所述集成特征图上，对与所述第1对象候选至所述第n对象候选分别对应的各个区域适用一个或多个池化运算，输出至少一个池化集成特征图，(iv)使全连接(FullyConnected，FC)层，对所述池化集成特征图适用至少一个FC(FullyConnected)运算，输出与所述对象对应的第1对象检测信息至第n对象检测信息；以及(c)(i)使所述目标对象集成网络，集成所述第1对象候选至所述第n对象候选，生成集成对象候选，集成所述第1对象检测信息至所述第n对象检测信息，生成集成对象检测信息，(ii)使至少一个FC损失层，参考所述集成对象检测信息以及与其对应的真实框(GroundTruth，GT)，生成一个或多个FC损失，从而通过利用所述FC损失的反向传播(BackPropagation)，学习所述FC层与所述卷积层的参数中至少一部分。
技术介绍
机器学习(MachineLearning)中，卷积神经网络(CNN或者ConvNet)是成功适用于视觉图像分析的深度前馈人工神经网络(DeepFeedforwardArtificialNeuralNetwork)。基于CNN的对象检测器，(i)使一个或多个卷积层，通过对输入图像适用卷积运算，输出与所述输入图像对应的特征图，(ii)使RPN(RegionProposalNetwork)，利用所述特征图，确认所述输入图像中的对象对应的候选，(iii)使池化层，对在所述确认的候选对应的所述特征图上的区域至少适用一个或多个池化运算，获取池化的特征图，(iv)使FC(FullyConnected)层，将至少一个FC运算适用于关于所述获取的池化的特征图以及所述对象的输出类别信息与回归信息，从而检测在所述输入图像上的所述对象。然而，基于所述CNN的对象检测器通过所述卷积层，利用所述输入图像的尺寸被缩小的所述特征图，因此容易检测到位于所述输入图像的尺寸大的对象，但是却很难检测尺寸小的位于所述对输入图像的对象。即，在所述输入图像上，当存在与作为预检测对象的一个或多个对象对应的多个目标区域时，由于尺寸，无法从一些目标区域中准确提取所需的特征，因此无法检测到特定对象。为要解决此问题，可以剪裁每个从所述输入图像得到的图像金字塔中各个图像中所述目标区域，来执行对象检测，但在这种情况下，由于需要对对应所述目标区域剪裁的各个图像执行所述对象检测，因此会增加运算量。并且，CNN运算按照规定单位，例如，32、64、128等的倍数执行模块运算以实现快速运算，若获取具有不是所述单位的倍数的宽度或高度的输入图像，则需要添加一个或多个填充区域以实现所述单位的倍数，但这给所述CNN运算带来负担。因此，当具有不是所述单位的倍数的宽度或高度的剪裁的图像增加时，给所述CNN运算带来更大的负担，减少所述CNN的运算速率。因此，本专利技术的专利技术人提出一种学习方法、学习装置以及利用其的测试方法与测试装置，其利用位于所述输入图像上的，与各种尺寸的对象对应的所述目标区域，减少所述CNN的运算时间，并有效地检测对象。
技术实现思路
本专利技术的目的在于解决以上所述的所有问题。本专利技术的另一目的在于提供一种基于CNN的对象检测器，其能够有效地检测位于图像上的对象而不受尺寸的限制。本专利技术的另一目的在于提供一种基于CNN的对象检测器，其能够在不增加运算量的情况下检测所述图像上的所述对象。本专利技术的又一目的在于提供一种基于CNN的对象检测器，其能够利用所述输入图像上各种尺寸的与所述对象对应的目标区域，在减少所述CNN的运算时间的情况下有效检测所述对象。为达到如上所述的本专利技术的目的，并实现以下所所描述的本专利技术的特定效果，本专利技术的特定结构如下所述。根据本专利技术的一方面，提供一种利用图像串联(ImageConcatenation)与目标对象集成网络，学习基于CNN的对象检测器的参数的方法，包括：(a)当输入至少一个训练图像时，学习装置，(i)使目标区域预测网络，在所述训练图像或者与其对应的一个或多个调整尺寸的图像上，找出与被预测是一个或多个目标对象所在的区域分别对应的第1目标区域至第n目标区域，(ii)使图像处理网络，从所述训练图像或者与其对应的调整尺寸的图像，获取与所述第1目标区域至所述第n目标区域分别对应的第1处理图像至第n处理图像，(iii)输出将所述第1处理图像至所述第n处理图像串联的集成训练图像；(b)所述学习装置，(i)使一个或多个卷积层，将一个或多个卷积运算适用于所述集成训练图像，输出至少一个集成特征图，(ii)使RPN(RegionProposalNetwork)，利用所述集成特征图，输出与位于所述第1处理图像至所述第n处理图像中的一个或多个对象分别对应的第1对象候选至第n对象候选，(iii)使池化层，在所述集成特征图上，对与所述第1对象候选至所述第n对象候选分别对应的各个区域适用一个或多个池化运算，输出至少一个池化集成特征图，(iv)使FC层，对所述池化集成特征图适用至少一个FC(FullyConnected)运算，输出与所述对象对应的第1对象检测信息至第n对象检测信息；以及(c)所述学习装置，(i)使所述目标对象集成网络，集成所述第1对象候选至所述第n对象候选，生成集成对象候选，集成所述第1对象检测信息至所述第n对象检测信息，生成集成对象检测信息，(ii)使至少一个FC损失层，参考所述集成对象检测信息以及与其对应的GT，生成一个或多个FC损失，从而通过利用所述FC损失的反向传播(BackPropagation)，学习所述FC层与所述卷积层的参数中至少一部分。一实施例中，在所述步骤(c)，所述学习装置，使至少一个RPN损失层，参考所述集成对象候选和与其对应的GT，计算出一个或多个RPN损失，从本文档来自技高网...

【技术保护点】
1.一种学习方法，其利用图像串联与目标对象集成网络，来学习基于卷积神经网络的对象检测器的参数，其特征在于，包括：/n步骤(a)，当输入至少一个训练图像时，学习装置，(i)使目标区域预测网络，在所述训练图像或者与其对应的一个或多个调整尺寸的图像上，找出与被预测是一个或多个目标对象所在的区域分别对应的第1目标区域至第n目标区域，(ii)使图像处理网络，从所述训练图像或者与其对应的调整尺寸的图像，获取与所述第1目标区域至所述第n目标区域分别对应的第1处理图像至第n处理图像，(iii)输出将所述第1处理图像至所述第n处理图像串联的集成训练图像；/n步骤(b)，所述学习装置，(i)使一个或多个卷积层，将一个或多个卷积运算适用于所述集成训练图像，输出至少一个集成特征图，(ii)使区域候选网络，利用所述集成特征图，输出与位于所述第1处理图像至所述第n处理图像中的一个或多个对象分别对应的第1对象候选至第n对象候选，(iii)使池化层，在所述集成特征图上，对与所述第1对象候选至所述第n对象候选分别对应的各个区域适用一个或多个池化运算，输出至少一个池化集成特征图，(iv)使全连接层，对所述池化集成特征图适用至少一个全连接运算，输出与所述对象对应的第1对象检测信息至第n对象检测信息；以及/n步骤(c)，所述学习装置，(i)使所述目标对象集成网络，集成所述第1对象候选至所述第n对象候选，生成集成对象候选，集成所述第1对象检测信息至所述第n对象检测信息，生成集成对象检测信息，(ii)使至少一个全连接损失层，参考所述集成对象检测信息以及与其对应的真实框，生成一个或多个全连接损失，从而通过利用所述全连接损失的反向传播，学习所述全连接层与所述卷积层的参数中至少一部分。/n...

【技术特征摘要】
20190122 US 16/254,5221.一种学习方法，其利用图像串联与目标对象集成网络，来学习基于卷积神经网络的对象检测器的参数，其特征在于，包括：
步骤(a)，当输入至少一个训练图像时，学习装置，(i)使目标区域预测网络，在所述训练图像或者与其对应的一个或多个调整尺寸的图像上，找出与被预测是一个或多个目标对象所在的区域分别对应的第1目标区域至第n目标区域，(ii)使图像处理网络，从所述训练图像或者与其对应的调整尺寸的图像，获取与所述第1目标区域至所述第n目标区域分别对应的第1处理图像至第n处理图像，(iii)输出将所述第1处理图像至所述第n处理图像串联的集成训练图像；
步骤(b)，所述学习装置，(i)使一个或多个卷积层，将一个或多个卷积运算适用于所述集成训练图像，输出至少一个集成特征图，(ii)使区域候选网络，利用所述集成特征图，输出与位于所述第1处理图像至所述第n处理图像中的一个或多个对象分别对应的第1对象候选至第n对象候选，(iii)使池化层，在所述集成特征图上，对与所述第1对象候选至所述第n对象候选分别对应的各个区域适用一个或多个池化运算，输出至少一个池化集成特征图，(iv)使全连接层，对所述池化集成特征图适用至少一个全连接运算，输出与所述对象对应的第1对象检测信息至第n对象检测信息；以及
步骤(c)，所述学习装置，(i)使所述目标对象集成网络，集成所述第1对象候选至所述第n对象候选，生成集成对象候选，集成所述第1对象检测信息至所述第n对象检测信息，生成集成对象检测信息，(ii)使至少一个全连接损失层，参考所述集成对象检测信息以及与其对应的真实框，生成一个或多个全连接损失，从而通过利用所述全连接损失的反向传播，学习所述全连接层与所述卷积层的参数中至少一部分。


2.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(c)，
所述学习装置，使至少一个区域候选网络损失层，参考所述集成对象候选和与其对应的真实框，计算出一个或多个区域候选网络损失，从而通过利用所述区域候选网络损失的反向传播，学习所述区域候选网络的参数。


3.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(a)，
所述学习装置，使所述图像处理网络，将所述第1处理图像至所述第n处理图像的宽度与高度中的至少一个调整为相同后，在调整为相同尺寸的所述宽度或者所述高度的方向上，串联所述第1已调整处理图像至所述第n已调整处理图像。


4.根据权利要求3所述的学习方法，其特征在于，
所述学习装置，使所述图像处理网络，在所述第1已调整处理图像至所述第n已调整处理图像中，由分别串联并相邻的两个已调整处理图像配置而成的每对之间，分别添加至少一个零填充区域。


5.根据权利要求4所述的学习方法，其特征在于，
当通过所述卷积层的多重卷积运算，所述集成训练图像缩小为1/S，所述卷积层的每个卷积核的各个最大尺寸为K×K时，所述零填充区域的宽度为


6.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(c)，
至少一个特定相同对象分别位于第1特定处理图像与第2特定处理图像上，将在所述第1特定处理图像上与所述特定相同对象对应的至少一个对象候选作为第1特定对象候选，将所述第2特定处理图像上与所述特定相同对象对应的至少一个对象候选作为第2特定对象候选时，
所述学习装置，使所述目标对象集成网络，判断所述第1特定对象候选与所述第2特定对象候选之间的交并比是否等于或大于第1阈值，(I)若所述交并比被判断为小于所述第1阈值，则计算出在所述第2特定处理图像上与所述第1特定对象候选对应的区域和在所述第1特定处理图像上与所述第2特定对象候选对应的区域之间的调整交并比，(II)若所述调整交并比被判断为等于或大于第2阈值，则在所述第1特定对象候选与所述第2特定对象中，(i)选择概率值高的特定对象候选，或者(ii)选择在所述训练图像上运算的面积大的特定对象候选，从而将选择的特定对象候选作为与所述特定相同对象对应的特定集成对象候选来生成。


7.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(c)，
至少一个特定相同对象分别位于第1特定处理图像与第2特定处理图像上，将在所述第1特定处理图像上与所述特定相同对象对应的至少一个对象边界框作为第1特定对象边界框，将所述第2特定处理图像上与所述特定相同对象对应的至少一个对象边界框作为第2特定对象边界框时，
所述学习装置，使所述目标对象集成网络，判断所述第1特定对象边界框与所述第2特定对象边界框之间的交并比是否等于或大于第1阈值，(I)若所述交并比被判断为小于所述第1阈值，计算出在所述第2特定处理图像上与所述第1特定对象边界框对应的区域和在所述第1特定处理图像上与所述第2特定对象边界框对应的区域之间的调整交并比，(II)若所述调整交并比被判断为等于或大于第2阈值，则在所述第1特定对象边界框与所述第2特定对象边界框中，(i)选择概率值高的特定对象边界框，或者(ii)选择在所述训练图像上运算的面积大的特定对象边界框，从而将选择的特定对象边界框作为与所述特定相同对象对应的特定集成对象检测信息来生成。


8.一种测试方法，其利用图像串联与目标对象集成网络，来测试基于卷积神经网络的对象检测器，其特征在于，包括：
步骤(a)，学习装置，(1)(i)使目标区域预测网络，在至少一个训练图像或者与其对应的一个或多个调整尺寸的训练图像上，找出与被预测为一个或多个学习用目标对象所在的区域分别对应的第1学习用目标区域至第n学习用目标区域，(ii)使图像处理网络，从所述训练图像或者与其对应的调整尺寸的训练图像，获取与所述第1学习用目标区域至所述第n学习用目标区域分别对应的第1学习用处理图像至第n学习用处理图像，(iii)输出将所述第1学习用处理图像至所述第n学习用处理图像串联的集成训练图像，(2)(i)使一个或多个卷积层，将一个或多个卷积运算适用于所述集成训练图像，输出至少一个学习用集成特征图，(ii)使区域候选网络，利用所述学习用集成特征图，来输出与位于所述第1学习用处理图像至所述第n学习用处理图像的学习用对象分别对应的第1学习用对象候选至第n学习用对象候选，(iii)使池化层，所述学习用集成特征图上，对与所述第1学习用对象候选至所述第n学习用对象候选分别对应的各个区域适用一个或多个池化运算，输出至少一个学习用池化集成特征图，(iv)使全连接层，对所述学习用池化集成特征图适用至少一个全连接运算，输出与所述学习用对象对应的第1学习用对象检测信息至第n学习用对象检测信息，(3)(i)使所述目标对象集成网络，集成所述第1学习用对象候选至所述第n学习用对象候选，生成学习用集成对象候选，集成所述第1学习用对象检测信息至所述第n学习用对象检测信息，生成学习用集成对象检测信息，(ii)使至少一个全连接损失层，参考所述学习用集成对象检测信息以及与其对应的真实框生成一个或多个全连接损失，从而通过利用所述全连接损失的反向传播，学习所述全连接层与所述卷积层的参数中至少一部分的状态下，
当测试装置获取至少一个测试图像时，(i)使目标区域预测网络，在所述测试图像或者与其对应的一个或多个调整尺寸的测试图像上，找出与被预测为一个或多个测试用目标对象所在的区域分别对应的第1测试用目标区域至第n测试用目标区域，(ii)使所述图像处理网络，从所述测试图像或者与其对应的调整尺寸的测试图像，获取与所述第1测试用目标区域至所述第n测试用目标区域分别对应的第1测试用处理图像至第n测试用处理图像，(iii)输出将所述第1测试用处理图像至所述第n测试用处理图像串联的集成测试图像；
步骤(b)，所述测试装置，(i)使所述卷积层，将所述卷积运算适用于所述集成测试图像，输出至少一个测试用集成特征图，(ii)使所述区域候选网络，利用所述测试用集成特征图，来输出与位于所述第1测试用处理图像至所述第n测试用处理图像中的测试用对象分别对应的第1测试用对象候选至第n测试用对象候选，(iii)使所述池化层，在所述测试用集成特征图上，对与所述第1测试用对象候选至所述第n测试用对象候选分别对应的各个区域适用所述池化运算，输出至少一个测试用池化集成特征图，(iv)使所述全连接层，对所述测试用池化集成特征图适用所述全连接运算，输出与所述测试用对象对应的第1测试用对象检测信息至第n测试用对象检测信息；以及
步骤(c)，所述测试装置，(i)使所述目标对象集成网络，集成所述第1测试用对象候选至所述第n测试用对象候选，生成测试用集成对象候选，集成所述第1测试用对象检测信息至所述第n测试用对象检测信息，生成测试用集成对象检测信息。


9.根据权利要求8所述的测试方法，其特征在于，
在所述步骤(3)，
所述学习装置，使至少一个区域候选网络损失层，参考所述学习用集成对象候选和与其对应的真实框，计算出一个或多个区域候选网络损失，从而通过利用所述区域候选网络损失的反向传播，学习所述区域候选网络的参数。


10.根据权利要求8所述的测试方法，其特征在于，
在所述步骤(a)，
所述测试装置，使所述图像处理网络，将所述第1测试用处理图像至所述第n测试用处理图像的宽度与高度中至少一个调整为相同后，在调整为相同尺寸的所述宽度或者所述高度的方向上，串联所述第1测试用已调整处理图像至所述第n测试用已调整处理图像。


11.根据权利要求10所述的测试方法，其特征在于，
所述测试装置，使所述图像处理网络，在所述第1测试用已调整处理图像至所述第n测试用已调整处理图像中，由分别串联并相邻的两个测试用已调整处理图像配置而成的每对之间，分别添加至少一个零填充区域。


12.根据权利要求11所述的测试方法，其特征在于，
当通过所述卷积层的多重卷积运算，所述集成测试图像缩小为1/S，当所述卷积层的每个卷积核的各个最大尺寸为K×K时，所述零填充区域的宽度为


13.根据权利要求8所述的测试方法，其特征在于，
在所述步骤(c)，
至少一个测试用特定相同对象分别位于第1测试用特定处理图像与第2测试用特定处理图像上，将在所述第1测试用特定处理图像上与所述测试用特定相同对象对应的至少一个测试用对象候选作为第1测试用特定对象候选，在所述第2测试用特定处理图像上，将与所述测试用特定相同对象对应的至少一个测试用对象候选作为第2测试用特定对象候选时，
所述测试装置，使所述目标对象集成网络，判断所述第1测试用特定对象候选与所述第2测试用特定对象候选之间的测试用交并比是否等于或大于第1阈值，(I)若所述测试用交并比被判断为小于所述第1阈值，计算出在所述第2测试用特定处理图像上与所述第1测试用特定对象候选对应的区域和在所述第1测试用特定处理图像上与所述第2测试用特定对象候选对应的区域之间的测试用调整交并比，(II)若所述测试用调整交并比被判断为等于或大于第2阈值，则在所述第1测试用特定对象候选与所述第2测试用特定对象中，(i)选择概率值高的测试用特定对象候选，或者(ii)通过选择所述测试图像上运算的面积大的测试用特定对象候选，从而将选择的测试用特定对象候选作为与所述测试用特定相同对象对应的测试用特定集成对象候选来生成。


14.根据权利要求8所述的测试方法，其特征在于，
在所述步骤(c)，
至少一个测试用特定相同对象分别位于第1测试用特定处理图像与第2测试用特定处理图像上，将在所述第1测试用特定处理图像上与所述测试用特定相同对象对应的至少一个测试用对象边界框作为第1测试用特定对象边界框，将在所述第2测试用特定处理图像上与所述测试用特定相同对象对应的至少一个测试用对象边界框作为第2测试用特定对象边界框时，
所述测试装置，使所述目标对象集成网络，判断所述第1测试用特定对象边界框与所述第2测试用特定对象边界框之间的测试用交并比是否等于或大于第1阈值，(I)若所述测试用交并比被判断为小于所述第1阈值，计算出在所述第2测试用特定处理图像上与所述第1测试用特定对象边界框对应的区域和在所述第1测试用特定处理图像上与所述第2测试用特定对象边界框对应的区域之间的测试用调整交并比，(II)若所述测试用调整交并比被判断为等于或大于第2阈值，则在所述第1测试用特定对象边界框与所述第2测试用特定对象边界框中，(i)选择概率值高的测试用特定对象边界框，或者(ii)通过选择所述测试图像上运算的面积大的测试用特定对象边界框，从而将选择的测试用特定对象边界框作为与所述测试用特定相同对象对应的测试用特定集成对象检测信息来生成。
<...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金寅洙，金鹤京，南云铉，夫硕焄，成明哲，吕东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR