【技术实现步骤摘要】
基于可重配置网络的对象检测方法及装置
本专利技术涉及一种利用目标对象预测网络和目标对象集成网络,学习基于可重配置卷积神经网络(CNN或者ConvNet)的对象检测器的参数的方法,以优化用户要求,例如关键绩效指标(KPI),更具体地涉及一种学习方法和学习装置,以及使用其的测试方法和测试装置,其利用目标对象预测网络与目标对象集成网络,学习基于CNN的对象检测器的参数,其包括:(a)当输入至少一个训练图像时,(i)使一个或多个卷积层,对所述训练图像对应的至少一个第一处理图像应用一个或多个卷积运算,输出至少一个第一特征图,(ii)使区域候选网络(RegionProposalNetwork,RPN),利用所述第一特征图,输出与位于所述第一处理图像中的一个或多个第一对象分别对应的一个或多个第一对象候选,(iii)使池化层,在所述第一特征图上,对与每个所述第一对象候选对应的各个区域应用一个或多个池化运算,输出至少一个第一池化特征图,(iv)使全连接(FullyConnected,FC)层,对所述第一池化特征图应用至少一个FC运算,输出与所述第一对象对应的第一对象检测信息;(b)将k从2增加到n的同时,(i)使所述目标对象预测网络,参考第(k-1)处理图像上的一个或多个第(k-1)对象候选,在所述第(k-1)处理图像上,找出与被预测是至少一个目标对象所在的区域对应的第(k-1)目标区域,(ii)当在所述训练图像或者与其对应的一个或多个调整尺寸的训练图像上获取与所述第(k-1)目标区域对应的第k处理图像时,使所述卷积层,对所述第k处理图像应用所述卷积运算 ...
【技术保护点】
1.一种学习方法,其利用目标对象预测网络与目标对象集成网络,来学习基于卷积神经网络的对象检测器的参数,其特征在于,包括:/n步骤(a),当输入至少一个训练图像时,学习装置,(i)使一个或多个卷积层,对与所述训练图像对应的至少一个第一处理图像应用一个或多个卷积运算,输出至少一个第一特征图,(ii)使区域候选网络,利用所述第一特征图,输出与位于所述第一处理图像中的一个或多个第一对象分别对应的一个或多个第一对象候选,(iii)使池化层,在所述第一特征图上,对与每个所述第一对象候选对应的各个区域应用一个或多个池化运算,输出至少一个第一池化特征图,(iv)使全连接层,对所述第一池化特征图应用至少一个全连接运算,输出与所述第一对象对应的第一对象检测信息;/n步骤(b),将k从2增加到n的同时,所述学习装置,(i)使所述目标对象预测网络,参考第(k-1)处理图像上的一个或多个第(k-1)对象候选,在所述第(k-1)处理图像上,找出与预测至少一个目标对象所在区域对应的第(k-1)目标区域,(ii)当所述训练图像或者与其对应的一个或多个调整尺寸的训练图像上获取与所述第(k-1)目标区域对应的第k处理图像 ...
【技术特征摘要】
20190122 US 16/254,4661.一种学习方法,其利用目标对象预测网络与目标对象集成网络,来学习基于卷积神经网络的对象检测器的参数,其特征在于,包括:
步骤(a),当输入至少一个训练图像时,学习装置,(i)使一个或多个卷积层,对与所述训练图像对应的至少一个第一处理图像应用一个或多个卷积运算,输出至少一个第一特征图,(ii)使区域候选网络,利用所述第一特征图,输出与位于所述第一处理图像中的一个或多个第一对象分别对应的一个或多个第一对象候选,(iii)使池化层,在所述第一特征图上,对与每个所述第一对象候选对应的各个区域应用一个或多个池化运算,输出至少一个第一池化特征图,(iv)使全连接层,对所述第一池化特征图应用至少一个全连接运算,输出与所述第一对象对应的第一对象检测信息;
步骤(b),将k从2增加到n的同时,所述学习装置,(i)使所述目标对象预测网络,参考第(k-1)处理图像上的一个或多个第(k-1)对象候选,在所述第(k-1)处理图像上,找出与预测至少一个目标对象所在区域对应的第(k-1)目标区域,(ii)当所述训练图像或者与其对应的一个或多个调整尺寸的训练图像上获取与所述第(k-1)目标区域对应的第k处理图像时,使所述卷积层,对所述第k处理图像应用所述卷积运算,输出第k特征图,(iii)使所述区域候选网络,参考所述第k特征图,输出与位于所述第k处理图像中的一个或多个第k对象分别对应的一个或多个第k对象候选,(iv)使所述池化层,在所述第k特征图上,对与每个所述第k对象候选对应的各个区域应用所述池化运算,输出至少一个第k池化特征图,(v)使所述全连接层,对所述第k池化特征图应用所述全连接运算,输出与所述第k对象对应的第k对象检测信息;以及
步骤(c),所述学习装置,(i)使所述目标对象集成网络集成所述第一对象候选至所述第n对象候选,输出集成对象候选,集成所述第一对象检测信息至所述第n对象检测信息,输出集成对象检测信息,(ii)使全连接损失层参考所述集成对象检测信息和与其对应的真实框,生成一个或多个全连接损失,从而通过利用所述全连接损失的反向传播,学习所述全连接层以及所述卷积层的参数中至少一部分。
2.根据权利要求1所述的学习方法,其特征在于,
在所述步骤(c),
所述学习装置,使区域候选网络损失层参考所述集成对象候选及与其对应的真实框,计算出一个或多个区域候选网络损失,从而通过利用所述区域候选网络损失的反向传播,学习所述区域候选网络的参数。
3.根据权利要求1所述的学习方法,其特征在于,
在所述步骤(c),
在所述第(k-1)处理图像与所述第k处理图像上,配置有至少一个特定相同对象,在所述第(k-1)处理图像上,将所述第(k-1)对象候选中与所述特定相同对象对应的至少一个对象候选作为第(k-1)特定对象候选,在所述第k处理图像上,将所述第k对象候选中与所述特定相同对象对应的至少一个对象候选作为第k特定对象候选时,
所述学习装置,使所述目标对象集成网络判断所述第(k-1)特定对象候选与所述第k特定对象候选之间的交并比是否等于或大于第一阈值,若所述交并比被判断为小于所述第一阈值,则计算出所述第(k-1)特定对象候选与所述第k特定对象候选之间的调整交并比,若所述调整交并比被判断为等于或大于第二阈值,则在所述第(k-1)特定对象候选与所述第k特定对象候选中,(i)选择概率值高的特定对象候选,或者(ii)选择在所述训练图像上运算的面积大的特定对象候选,从而将选择的特定对象候选作为与所述特定相同对象对应的特定集成对象候选来生成。
4.根据权利要求3所述的学习方法,其特征在于,
通过参考在所述第k处理图像上与所述第(k-1)特定对象候选对应的区域和在所述第(k-1)处理图像上与所述第k特定对象候选对应的区域计算得到所述调整交并比。
5.根据权利要求3所述的学习方法,其特征在于,
所述学习装置,使所述目标对象集成网络判断所述交并比是否等于或大于所述第一阈值,若所述交并比被判断为等于或大于所述第一阈值,则在所述第(k-1)特定对象候选与所述第k特定对象候选中,(i)选择概率值高的特定对象候选,或者(ii)选择在每个所述处理图像上运算的面积大的特定对象候选,从而将选择的特定对象候选作为与所述特定相同对象对应的所述特定集成对象来生成。
6.根据权利要求1所述的学习方法,其特征在于,
在所述步骤(c),
在所述第(k-1)处理图像与所述第k处理图像上配置有至少一个特定相同对象,在所述第(k-1)处理图像上,包括在所述第(k-1)对象检测信息的对象边界框中,将与所述特定相同对象对应的至少一个对象边界框作为第(k-1)特定对象边界框,在所述第k处理图像上,包括在所述第k对象检测信息的对象边界框中,将与所述特定相同对象对应的至少一个对象边界框作为第k特定对象边界框时,
所述学习装置,使所述目标对象集成网络判断所述第(k-1)特定对象边界框与所述第k特定对象边界框之间的交并比是否等于或大于第一阈值,若所述交并比被判断为小于所述第一阈值,则计算出所述第(k-1)特定对象边界框与所述第k特定对象边界框之间的调整交并比,若所述调整交并比被判断为等于或大于第二阈值,则在所述第(k-1)特定对象边界框与所述第k特定对象边界框中,(i)选择概率值高的特定对象边界框,或者(ii)选择在所述训练图像上运算的面积大的特定对象边界框,从而将所述选择的特定对象边界框作为与所述特定相同对象对应的特定集成对象检测信息来生成。
7.根据权利要求6所述的学习方法,其特征在于,
通过参考在所述第k处理图像上与所述第(k-1)特定对象边界框对应的区域和在所述第(k-1)处理图像上与所述第k特定对象边界框对应的区域来计算得到所述调整交并比。
8.根据权利要求6所述的学习方法,其特征在于,
所述学习装置,使所述目标对象集成网络判断所述交并比是否等于或大于所述第一阈值,若所述交并比被判断为等于或大于所述第一阈值,则在所述第(k-1)特定对象边界框与所述第k特定对象边界框中,(i)选择概率值高的特定对象边界框,或者(ii)选择在每个所述处理图像上运算的面积大的对象特定边界框,从而将所述选择的特定对象边界框作为与所述特定相同对象对应的所述特定集成对象检测信息来生成。
9.一种测试方法,其利用目标对象预测网络与目标对象集成网络,来测试基于卷积神经网络的对象检测器,其特征在于,包括:
步骤(a),学习装置,(1)(i)使一个或多个卷积层,对与至少一个训练图像对应的至少一个第一学习用处理图像应用一个或多个卷积运算,输出至少一个第一学习用特征图,(ii)使区域候选网络,利用所述第一学习用特征图,输出与位于所述第一学习用处理图像中的一个或多个第一学习用对象分别对应的一个或多个第一学习用对象候选,(iii)使池化层,在所述第一学习用特征图上,与每个所述第一学习用对象候选对应的各个区域应用一个或多个池化运算,输出至少一个第一学习用池化特征图,(iv)使全连接层,对所述第一学习用池化特征图应用至少一个全连接运算,输出与所述第一学习用对象对应的第一学习用对象检测信息,(2)将k从2增加到n的同时,(i)使所述目标对象预测网络,参考第(k-1)学习用处理图像上的一个或多个第(k-1)学习用对象候选,在所述第(k-1)学习用处理图像上,找出与被预测是至少一个学习用目标对象所在的区域对应的第(k-1)学习用目标区域,(ii)当在所述训练图像或者与其对应的一个或多个调整尺寸的训练图像上获取与所述第(k-1)学习用目标区域对应的第k学习用处理图像时,使所述卷积层,对所述第k学习用处理图像应用所述卷积运算,输出第k学习用特征图,(iii)使所述区域候选网络,参考所述第k学习用特征图,输出与位于所述第k学习用处理图像中的一个或多个第k学习用对象分别对应的一个或多个第k学习用对象候选,(iv)使所述池化层,在所述第k学习用特征图上,对与每个所述第k学习用对象候选对应的各个区域应用所述池化运算,输出至少一个第k学习用池化特征图,(v)使所述全连接层,对所述第k学习用池化特征图应用所述全连接运算,输出与所述第k学习用对象对应的第k学习用对象检测信息,(3)(i)使所述目标对象集成网络集成所述第一学习用对象候选至所述第n学习用对象候选,输出学习用集成对象候选,集成所述第一学习用对象检测信息至所述第n学习用对象检测信息,输出学习用集成对象检测信息,(ii)使全连接损失层参考所述学习用集成对象检测信息和与其对应的真实框产生一个或多个全连接损失,从而通过利用所述全连接损失的反向传播,学习所述全连接层以及所述卷积层的参数中至少一部分的状态下,
获取至少一个测试图像时,测试装置,(i)使所述卷积层,对与所述测试图像对应的至少一个第一测试用处理图像应用所述卷积运算,输出至少一个第一测试用特征图,(ii)使所述区域候选网络,利用所述第一测试用特征图,输出与位于所述第一测试用处理图像中的一个或多个第一测试用对象分别对应的一个或多个第一测试用对象候选,(iii)使所述池化层,在所述第一测试用特征图上,与每个所述第一测试用对象候选对应的各个区域应用所述池化运算,输出至少一个第一测试用池化特征图,(iv)使所述全连接层,对所述第一测试用池化特征图应用所述全连接运算,输出与所述第一测试用对象对应的第一测试用对象检测信息;
步骤(b),将k从2增加到n的同时,所述测试装置,(i)使所述目标对象预测网络,参考在第(k-1)测试用处理图像上的一个或多个第(k-1)测试用对象候选,在所述第(k-1)测试用处理图像上,找出与被预测是至少一个测试用目标对象所在的区域对应的第(k-1)测试用目标区域,(ii)当在所述测试图像或者与其对应的一个或多个调整尺寸的测试图像上获取与所述第(k-1)测试用目标区域对应的第k测试用处理图像时,使所述卷积层,对所述第k测试用处理图像应用所述卷积运算,输出第k测试用特征图,(iii)使所述区域候选网络,参考所述第k测试用特征图,输出与位于所述第k测试用处理图像中的一个或多个第k测试用对象分别对应的一个或多个第k测试用对象候选,(iv)使所述池化层,在所述第k测试用特征图上,与每个所述第k测试用对象候选对应的各个区域应用所述池化运算,输出至少一个第k测试用池化特征图,(v)使所述全连接层,对所述第k测试用池化特征图应用所述全连接运算,输出与所述第k测试用对象对应的第k测试用对象检测信息;以及
步骤(c),所述测试装置,(i)使所述目标对象集成网络集成所述第一测试用对象候选至所述第n测试用对象候选,输出测试用集成对象候选,集成所述第一测试用对象检测信息至所述第n测试用对象检测信息,输出测试用集成对象检测信息。
10.根据权利要求9所述的测试方法,其特征在于,
在所述步骤(c),
在所述第(k-1)测试用处理图像与所述第k测试用处理图像上配置有至少一个测试用特定相同对象,在所述第(k-1)测试用处理图像上,将与所述第(k-1)测试用对象候选中所述测试用特定相同对象对应的至少一个测试用对象候选作为第(k-1)测试用特定对象候选,在所述第k测试用处理图像上,将与所述第k测试用对象候选中所述测试用特定相同对象对应的至少一个测试用对象候选作为第k测试用特定对象候选时,
所述测试装置,使所述目标对象集成网络判断所述第(k-1)测试用特定对象候选与所述第k测试用特定对象候选之间的测试用交并比是否等于或大于第一阈值,若所述测试用交并比被判断为小于所述第一阈值,则计算出所述第(k-1)测试用特定对象候选与所述第k测试用特定对象候选之间的测试用调整交并比,若所述测试用调整交并比被判断为等于或大于第二阈值,则在所述第(k-1)测试用特定对象候选与所述第k测试用特定对象候选中,(i)选择概率值高的测试用特定对象候选,或者(ii)选择所述测试图像上运算的面积大的测试用特定对象候选,从而将所述选择的测试用特定对象候选作为与所述测试用特定相同对象对应的测试用特定集成对象候选来生成。
11.根据权利要求10所述的测试方法,其特征在于,
通过参考在所述第k测试用处理图像上与所述第(k-1)测试用特定对象候选对应的区域和在所述第(k-1)测试用处理图像上与所述第k测试用特定对象候选对应的区域来计算得到所述测试用调整交并比。
12.根据权利要求10所述的测试方法,其特征在于,
所述测试装置,使所述目标对象集成网络判断所述测试用交并比是否等于或大于所述第一阈值,若所述测试用交并比被判断为等于或大于所述第一阈值,则在所述第(k-1)测试用特定对象候选与所述第k测试用特定对象候选中,(i)选择概率值高的测试用特定对象候选,或者(ii)选择在每个所述测试用处理图像上运算的面积大的测试用特定对象候选,从而将所述选择的测试用对象候选作为与所述测试用特定相同对象对应的所述测试用特定集成对象候选来生成。
13.根据权利要求9所述的测试方法,其特征在于,
在所述步骤(c),
在所述第(k-1)测试用处理图像与所述第k测试用处理图像上配置有至少一个测试用特定相同对象,在所述第(k-1)测试用处理图像上,包括在所述第(k-1)测试用对象检测信息的测试用对象边界框中将与所述测试用特定相同对象对应的至少一个测试用对象边界框作为第(k-1)测试用特定对象边界框,在所述第k测试用处理图像上,包括在所述第k测试用对象检测信息的测试用对象边界框中将与所述测试用特定相同对象对应的至少一个测试用对象边界框作为第k测试用特定对象边界框时,
所述测试装置,使所述目标对象集成网络判断所述第(k-1)测试用特定对象边界框与所述第k测试用特定对象边界框之间的测试用交并比是否等于或大于第一阈值,若所述测试用交并比被判断为小于所述第一阈值,则计算出所述第(k-1)测试用特定对象边界框与所述第k测试用特定对象边界框之间的测试用调整交并比,若所述测试用调整交并比被判断为等于或大于第二阈值,则在所述第(k-1)测试用特定对象边界框与所述第k测试用特定对象边界框中,(i)选择概率值高的测试用特定对象边界框,或者(ii)选择所述测试图像上运算的面积大的测试用特定对象边界框,从而将所述选择的测试用特定对象边界框作为与所述测试用特定相同对象对应的测试用特定集成对象检测信息来生成。
14.根据权利要求13所述的测试方法,其特征在于,
通过参考在所述第k测试用处理图像上与所述第(k-1)测试用特定对象边界框对应的区域和在所述第(k-1)测试用处理图像上与所述第k测试用特定对象边界框对应的区域来计算得到所述测试用调整交并比。
15.根据权利要求13所述的测试方法,其特征在于,
所述测试装置,使所述目标对象集成网络判断所述测试用交并比是否等于或大于所述第一阈值,若所述测试用交并比被判断为等于或大于所述第一阈值,则在所述第(k-1)测试用特定对象边界框与所述第k测试用特定对象边界框中,(i)选择概率值高的测试用特定对象边界框,或者(ii)选择在每个所述测试用处理图像上运算的面积大的测试用特定对象边界框,从而将所述选择的测试用特定对象边界框作为与所述测试用特定相同对象对应的所述测试用特定集成对象检测信息来生成。
16.一种学...
【专利技术属性】
技术研发人员:金桂贤,金镕重,金寅洙,金鹤京,南云铉,夫硕焄,成明哲,吕东勋,柳宇宙,张泰雄,郑景中,诸泓模,赵浩辰,
申请(专利权)人:斯特拉德视觉公司,
类型:发明
国别省市:韩国;KR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。