用于多摄像机或环绕视图监控的对象检测方法及装置制造方法及图纸

本发明专利技术提供一种利用图像串联以及目标对象集成网络，来学习适合诸如关键绩效指标(Key Performance Index)的客户要求的，基于CNN的对象检测器的参数的方法。所述CNN，可以根据所述关键绩效指标的分辨率或焦距的变化而变化的对象的规模进行重新设计。所述方法包括：学习装置使图像处理网络，生成n个处理图像；使RPN，在所述处理图像中分别生成第1至第n对象候选，使FC层，生成第1至第n对象检测信息；以及使所述目标对象集成网络，集成所述对象候选，以及集成所述对象检测信息。在此方法中，所述对象候选可利用激光雷达(Lidar)生成。通过所述方法，提高了2D边界框的准确度，可在多摄像机、环绕视图监控(Surround View Monitoring)等有效执行。

【技术实现步骤摘要】
用于多摄像机或环绕视图监控的对象检测方法及装置
本专利技术涉及利用图像串联(ImageConcatenation)与目标对象集成网络，学习要用于多摄像机或环绕视图监控(SurroundViewMonitoring)的基于卷积神经网络(CNN或者ConvNet)的对象检测器的参数的方法；更具体地，一种利用图像串联与目标对象集成网络，来学习基于CNN的对象检测器的参数的方法，包括：(a)当输入至少一个训练图像时，(i)使目标区域预测网络，在所述训练图像或者与其对应的一个或多个调整尺寸的图像上，找出与被预测是一个或多个目标对象所在的区域分别对应的第1目标区域至第n目标区域，(ii)使图像处理网络，从所述训练图像或者与其对应的调整尺寸的图像，获取与所述第1目标区域至所述第n目标区域分别对应的第1处理图像至第n处理图像，(iii)输出将所述第1处理图像至所述第n处理图像串联的集成训练图像；(b)(i)使一个或多个卷积层，将一个或多个卷积运算适用于所述集成训练图像，输出至少一个集成特征图，(ii)使区域候选网络(RegionProposalNetwork，RPN)，利用所述集本文档来自技高网...

【技术保护点】
1.一种学习方法，其利用图像串联与目标对象集成网络，来学习基于卷积神经网络的对象检测器的参数，其特征在于，包括：/n步骤(a)，当输入至少一个训练图像时，学习装置，(i)使目标区域预测网络，在所述训练图像或者与其对应的一个或多个调整尺寸的图像上，找出与被预测是一个或多个目标对象所在的区域分别对应的第1目标区域至第n目标区域，(ii)使图像处理网络，从所述训练图像或者与其对应的调整尺寸的图像，获取与所述第1目标区域至所述第n目标区域分别对应的第1处理图像至第n处理图像，(iii)输出将所述第1处理图像至所述第n处理图像串联的集成训练图像；/n步骤(b)，所述学习装置，(i)使一个或多个卷积层，将...

【技术特征摘要】
20190122 US 16/254,5221.一种学习方法，其利用图像串联与目标对象集成网络，来学习基于卷积神经网络的对象检测器的参数，其特征在于，包括：
步骤(a)，当输入至少一个训练图像时，学习装置，(i)使目标区域预测网络，在所述训练图像或者与其对应的一个或多个调整尺寸的图像上，找出与被预测是一个或多个目标对象所在的区域分别对应的第1目标区域至第n目标区域，(ii)使图像处理网络，从所述训练图像或者与其对应的调整尺寸的图像，获取与所述第1目标区域至所述第n目标区域分别对应的第1处理图像至第n处理图像，(iii)输出将所述第1处理图像至所述第n处理图像串联的集成训练图像；
步骤(b)，所述学习装置，(i)使一个或多个卷积层，将一个或多个卷积运算适用于所述集成训练图像，输出至少一个集成特征图，(ii)使区域候选网络，利用所述集成特征图，输出与位于所述第1处理图像至所述第n处理图像中的一个或多个对象分别对应的第1对象候选至第n对象候选，(iii)使池化层，在所述集成特征图上，对与所述第1对象候选至所述第n对象候选分别对应的各个区域适用一个或多个池化运算，输出至少一个池化集成特征图，(iv)使全连接层，对所述池化集成特征图适用至少一个全连接运算，输出与所述对象对应的第1对象检测信息至第n对象检测信息；以及
步骤(c)，所述学习装置，(i)使所述目标对象集成网络，集成所述第1对象候选至所述第n对象候选，生成集成对象候选，集成所述第1对象检测信息至所述第n对象检测信息，生成集成对象检测信息，(ii)使至少一个全连接损失层，参考所述集成对象检测信息以及与其对应的真实框，生成一个或多个全连接损失，从而通过利用所述全连接损失的反向传播，学习所述全连接层与所述卷积层的参数中至少一部分。


2.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(c)，
所述学习装置，使至少一个区域候选网络损失层，参考所述集成对象候选和与其对应的真实框，计算出一个或多个区域候选网络损失，从而通过利用所述区域候选网络损失的反向传播，学习所述区域候选网络的参数。


3.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(a)，
所述学习装置，使所述图像处理网络，将所述第1处理图像至所述第n处理图像的宽度与高度中的至少一个调整为相同后，在调整为相同尺寸的所述宽度或者所述高度的方向上，串联所述第1已调整处理图像至所述第n已调整处理图像。


4.根据权利要求3所述的学习方法，其特征在于，
所述学习装置，使所述图像处理网络，在所述第1已调整处理图像至所述第n已调整处理图像中，由分别串联并相邻的两个已调整处理图像配置而成的每对之间，分别添加至少一个零填充区域。


5.根据权利要求4所述的学习方法，其特征在于，
当通过所述卷积层的多重卷积运算，所述集成训练图像缩小为1/S，所述卷积层的每个卷积核的各个最大尺寸为K×K时，所述零填充区域的宽度为


6.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(c)，
至少一个特定相同对象分别位于第1特定处理图像与第2特定处理图像上，将在所述第1特定处理图像上与所述特定相同对象对应的至少一个对象候选作为第1特定对象候选，将所述第2特定处理图像上与所述特定相同对象对应的至少一个对象候选作为第2特定对象候选时，
所述学习装置，使所述目标对象集成网络，判断所述第1特定对象候选与所述第2特定对象候选之间的交并比是否等于或大于第1阈值，(I)若所述交并比被判断为小于所述第1阈值，则计算出在所述第2特定处理图像上与所述第1特定对象候选对应的区域和在所述第1特定处理图像上与所述第2特定对象候选对应的区域之间的调整交并比，(II)若所述调整交并比被判断为等于或大于第2阈值，则在所述第1特定对象候选与所述第2特定对象中，(i)选择概率值高的特定对象候选，或者(ii)选择在所述训练图像上运算的面积大的特定对象候选，从而将选择的特定对象候选作为与所述特定相同对象对应的特定集成对象候选来生成。


7.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(c)，
至少一个特定相同对象分别位于第1特定处理图像与第2特定处理图像上，将在所述第1特定处理图像上与所述特定相同对象对应的至少一个对象边界框作为第1特定对象边界框，将所述第2特定处理图像上与所述特定相同对象对应的至少一个对象边界框作为第2特定对象边界框时，
所述学习装置，使所述目标对象集成网络，判断所述第1特定对象边界框与所述第2特定对象边界框之间的交并比是否等于或大于第1阈值，(I)若所述交并比被判断为小于所述第1阈值，计算出在所述第2特定处理图像上与所述第1特定对象边界框对应的区域和在所述第1特定处理图像上与所述第2特定对象边界框对应的区域之间的调整交并比，(II)若所述调整交并比被判断为等于或大于第2阈值，则在所述第1特定对象边界框与所述第2特定对象边界框中，(i)选择概率值高的特定对象边界框，或者(ii)选择在所述训练图像上运算的面积大的特定对象边界框，从而将选择的特定对象边界框作为与所述特定相同对象对应的特定集成对象检测信息来生成。


8.一种测试方法，其利用图像串联与目标对象集成网络，来测试基于卷积神经网络的对象检测器，其特征在于，包括：
步骤(a)，学习装置，(1)(i)使目标区域预测网络，在至少一个训练图像或者与其对应的一个或多个调整尺寸的训练图像上，找出与被预测为一个或多个学习用目标对象所在的区域分别对应的第1学习用目标区域至第n学习用目标区域，(ii)使图像处理网络，从所述训练图像或者与其对应的调整尺寸的训练图像，获取与所述第1学习用目标区域至所述第n学习用目标区域分别对应的第1学习用处理图像至第n学习用处理图像，(iii)输出将所述第1学习用处理图像至所述第n学习用处理图像串联的集成训练图像，(2)(i)使一个或多个卷积层，将一个或多个卷积运算适用于所述集成训练图像，输出至少一个学习用集成特征图，(ii)使区域候选网络，利用所述学习用集成特征图，来输出与位于所述第1学习用处理图像至所述第n学习用处理图像的学习用对象分别对应的第1学习用对象候选至第n学习用对象候选，(iii)使池化层，所述学习用集成特征图上，对与所述第1学习用对象候选至所述第n学习用对象候选分别对应的各个区域适用一个或多个池化运算，输出至少一个学习用池化集成特征图，(iv)使全连接层，对所述学习用池化集成特征图适用至少一个全连接运算，输出与所述学习用对象对应的第1学习用对象检测信息至第n学习用对象检测信息，(3)(i)使所述目标对象集成网络，集成所述第1学习用对象候选至所述第n学习用对象候选，生成学习用集成对象候选，集成所述第1学习用对象检测信息至所述第n学习用对象检测信息，生成学习用集成对象检测信息，(ii)使至少一个全连接损失层，参考所述学习用集成对象检测信息以及与其对应的真实框生成一个或多个全连接损失，从而通过利用所述全连接损失的反向传播，学习所述全连接层与所述卷积层的参数中至少一部分的状态下，
当测试装置获取至少一个测试图像时，(i)使目标区域预测网络，在所述测试图像或者与其对应的一个或多个调整尺寸的测试图像上，找出与被预测为一个或多个测试用目标对象所在的区域分别对应的第1测试用目标区域至第n测试用目标区域，(ii)使所述图像处理网络，从所述测试图像或者与其对应的调整尺寸的测试图像，获取与所述第1测试用目标区域至所述第n测试用目标区域分别对应的第1测试用处理图像至第n测试用处理图像，(iii)输出将所述第1测试用处理图像至所述第n测试用处理图像串联的集成测试图像；
步骤(b)，所述测试装置，(i)使所述卷积层，将所述卷积运算适用于所述集成测试图像，输出至少一个测试用集成特征图，(ii)使所述区域候选网络，利用所述测试用集成特征图，来输出与位于所述第1测试用处理图像至所述第n测试用处理图像中的测试用对象分别对应的第1测试用对象候选至第n测试用对象候选，(iii)使所述池化层，在所述测试用集成特征图上，对与所述第1测试用对象候选至所述第n测试用对象候选分别对应的各个区域适用所述池化运算，输出至少一个测试用池化集成特征图，(iv)使所述全连接层，对所述测试用池化集成特征图适用所述全连接运算，输出与所述测试用对象对应的第1测试用对象检测信息至第n测试用对象检测信息；以及
步骤(c)，所述测试装置，(i)使所述目标对象集成网络，集成所述第1测试用对象候选至所述第n测试用对象候选，生成测试用集成对象候选，集成所述第1测试用对象检测信息至所述第n测试用对象检测信息，生成测试用集成对象检测信息。


9.根据权利要求8所述的测试方法，其特征在于，
在所述步骤(3)，
所述学习装置，使至少一个区域候选网络损失层，参考所述学习用集成对象候选和与其对应的真实框，计算出一个或多个区域候选网络损失，从而通过利用所述区域候选网络损失的反向传播，学习所述区域候选网络的参数。


10.根据权利要求8所述的测试方法，其特征在于，
在所述步骤(a)，
所述测试装置，使所述图像处理网络，将所述第1测试用处理图像至所述第n测试用处理图像的宽度与高度中至少一个调整为相同后，在调整为相同尺寸的所述宽度或者所述高度的方向上，串联所述第1测试用已调整处理图像至所述第n测试用已调整处理图像。


11.根据权利要求10所述的测试方法，其特征在于，
所述测试装置，使所述图像处理网络，在所述第1测试用已调整处理图像至所述第n测试用已调整处理图像中，由分别串联并相邻的两个测试用已调整处理图像配置而成的每对之间，分别添加至少一个零填充区域。


12.根据权利要求11所述的测试方法，其特征在于，
当通过所述卷积层的多重卷积运算，所述集成测试图像缩小为1/S，当所述卷积层的每个卷积核的各个最大尺寸为K×K时，所述零填充区域的宽度为


13.根据权利要求8所述的测试方法，其特征在于，
在所述步骤(c)，
至少一个测试用特定相同对象分别位于第1测试用特定处理图像与第2测试用特定处理图像上，将在所述第1测试用特定处理图像上与所述测试用特定相同对象对应的至少一个测试用对象候选作为第1测试用特定对象候选，在所述第2测试用特定处理图像上，将与所述测试用特定相同对象对应的至少一个测试用对象候选作为第2测试用特定对象候选时，
所述测试装置，使所述目标对象集成网络，判断所述第1测试用特定对象候选与所述第2测试用特定对象候选之间的测试用交并比是否等于或大于第1阈值，(I)若所述测试用交并比被判断为小于所述第1阈值，计算出在所述第2测试用特定处理图像上与所述第1测试用特定对象候选对应的区域和在所述第1测试用特定处理图像上与所述第2测试用特定对象候选对应的区域之间的测试用调整交并比，(II)若所述测试用调整交并比被判断为等于或大于第2阈值，则在所述第1测试用特定对象候选与所述第2测试用特定对象中，(i)选择概率值高的测试用特定对象候选，或者(ii)通过选择所述测试图像上运算的面积大的测试用特定对象候选，从而将选择的测试用特定对象候选作为与所述测试用特定相同对象对应的测试用特定集成对象候选来生成。


14.根据权利要求8所述的测试方法，其特征在于，
在所述步骤(c)，
至少一个测试用特定相同对象分别位于第1测试用特定处理图像与第2测试用特定处理图像上，将在所述第1测试用特定处理图像上与所述测试用特定相同对象对应的至少一个测试用对象边界框作为第1测试用特定对象边界框，将在所述第2测试用特定处理图像上与所述测试用特定相同对象对应的至少一个测试用对象边界框作为第2测试用特定对象边界框时，
所述测试装置，使所述目标对象集成网络，判断所述第1测试用特定对象边界框与所述第2测试用特定对象边界框之间的测试用交并比是否等于或大于第1阈值，(I)若所述测试用交并比被判断为小于所述第1阈值，计算出在所述第2测试用特定处理图像上与所述第1测试用特定对象边界框对应的区域和在所述第1测试用特定处理图像上与所述第2测试用特定对象边界框对应的区域之间的测试用调整交并比，(II)若所述测试用调整交并比被判断为等于或大于第2阈值，则在所述第1测试用特定对象边界框与所述第2测试用特定对象边界框中，(i)选择概率值高的测试用特定对象边界框，或者(ii)通过选择所述测试图像上运算的面积大的测试用特定对象边界框，从而将选择的测试用特定对象边界框作为与所述测试用特定相同对象对应的测试用特定集成对象检测信息来生成。
<...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金寅洙，金鹤京，南云铉，夫硕焄，成明哲，吕东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR