用包括跟踪网的卷积神经网络获取与图像中的对象对应的边界框的方法和使用其的计算装置制造方法及图纸

技术编号:20944981 阅读:35 留言:0更新日期:2019-04-24 02:35
提供了一种获取与对象相对应的边界框的方法。该方法包括以下步骤:(a)获取建议框;(b)通过参考(i)将参考边界框与建议框之间的距离进行比较的结果和/或(ii)将表示建议框是否包括对象的分数进行比较的结果,在建议框中选择特定建议框,然后设置特定建议框作为跟踪框的起始区域;(c)通过使用均值漂移跟踪算法确定当前帧的特定区域作为跟踪框的目标区域;以及(d)允许池化层通过将池化运算应用于对应于特定区域的区域生成池化特征图,然后允许FC层通过对池化特征图应用回归运算来获取边界框。

A method of obtaining boundary frames corresponding to objects in an image by using convolutional neural network including tracking network and its calculating device

A method of obtaining boundary frames corresponding to objects is provided. The method consists of the following steps: (a) obtaining the recommendation box; (b) comparing the distance between the reference boundary box and the recommendation box by reference (i) and/or (i i) comparing the results indicating whether the recommendation box includes the score of the object, selecting a specific recommendation box in the recommendation box, and then setting a specific recommendation box as the starting area of the tracking box; (c) using mean shift tracking. The algorithm determines the specific area of the current frame as the target area of the tracking frame; and (d) allows the pooling layer to generate the pooling feature map by applying the pooling operation to the region corresponding to the specific area, and then allows the FC layer to obtain the boundary box by applying regression operation to the pooling feature map.

【技术实现步骤摘要】
用包括跟踪网的卷积神经网络获取与图像中的对象对应的边界框的方法和使用其的计算装置
本专利技术涉及一种利用包括跟踪网的卷积神经网络(CNN)获取与测试图像中的对象相对应的边界框的方法和使用该方法的测试装置;更具体地,涉及通过使用包括跟踪网的CNN获取与测试图像中的至少一个对象相对应的至少一个边界框的方法,以及执行该方法的测试装置,所述方法包括以下步骤:(a)如果通过对作为当前帧的测试图像应用卷积运算而生成特征图,然后输出通过由区域建议网络(RPN)对特征图应用特定操作而得到的关于多个建议框的信息,则测试装置获取或支持另一装置获取多个建议框;(b)测试装置通过参考以下至少一项在多个建议框中选择或支持另一装置在多个建议框中选择至少一个特定建议框:(i)将前一帧中的对象的参考边界框与多个建议框的每一个之间的每个距离进行比较的结果以及(ii)将作为指示建议框的每一个是否包括对象的概率值的每个分数进行比较的结果,然后设置或支持另一装置设置特定建议框作为跟踪框的起始区域,其中,起始区域用于均值漂移跟踪算法;(c)通过使用均值漂移跟踪算法,测试装置确定或支持另一装置确定当前帧的特定区域作为跟踪框本文档来自技高网...

【技术保护点】
1.一种通过使用包括跟踪网的CNN获取与测试图像中的至少一个对象相对应的至少一个边界框的方法,包括以下步骤:(a)如果通过对作为当前帧的所述测试图像应用卷积运算而生成特征图,然后输出通过由区域建议网络(RPN)对所述特征图应用特定操作而得到的关于多个建议框的信息,则测试装置获取或支持另一装置获取所述多个建议框;(b)所述测试装置通过参考以下至少一项在所述多个建议框中选择或支持另一装置在所述多个建议框中选择至少一个特定建议框:(i)将前一帧中的所述对象的参考边界框与所述多个建议框的每一个之间的每个距离进行比较的结果以及(ii)将作为指示所述建议框的每一个是否包括所述对象的概率值的每个分数进行比较...

【技术特征摘要】
2017.10.13 US 15/783,4421.一种通过使用包括跟踪网的CNN获取与测试图像中的至少一个对象相对应的至少一个边界框的方法,包括以下步骤:(a)如果通过对作为当前帧的所述测试图像应用卷积运算而生成特征图,然后输出通过由区域建议网络(RPN)对所述特征图应用特定操作而得到的关于多个建议框的信息,则测试装置获取或支持另一装置获取所述多个建议框;(b)所述测试装置通过参考以下至少一项在所述多个建议框中选择或支持另一装置在所述多个建议框中选择至少一个特定建议框:(i)将前一帧中的所述对象的参考边界框与所述多个建议框的每一个之间的每个距离进行比较的结果以及(ii)将作为指示所述建议框的每一个是否包括所述对象的概率值的每个分数进行比较的结果,然后设置或支持另一装置设置所述特定建议框作为跟踪框的起始区域,其中,所述起始区域用于均值漂移跟踪算法;(c)通过使用所述均值漂移跟踪算法,所述测试装置确定或支持另一装置确定所述当前帧的特定区域作为所述跟踪框的目标区域,所述特定区域具有关于和与所述前一帧中的所述对象的像素数据对应的概率类似的概率的信息;以及(d)所述测试装置允许池化层通过对所述特征图中对应于所述特定区域的区域应用池化运算生成池化特征图,然后允许FC层通过对所述池化特征图应用回归运算来获取边界框。2.根据权利要求1所述的方法,其中,在所述步骤(c)中,关于与所述前一帧中的所述对象的像素数据对应的概率的所述信息是与所述前一帧中的所述边界框的像素数据相对应的直方图。3.根据权利要求1所述的方法,还包括步骤:(e)所述测试装置将所述边界框确定为参考边界框,以用于位于下一帧中的所述对象的跟踪框。4.根据权利要求1所述的方法,其中,在所述步骤(b)中,如果所述对象的数量是多个,则所述测试装置通过参考以下至少一项在所述多个建议框中选择或支持另一装置在所述多个建议框中选择所述特定建议框:(i)将所述前一帧中的所述对象的所述参考边界框与所述多个建议框的每一个之间的距离的每一个进行比较的结果以及(ii)将作为指示所述建议框的每一个是否包括所述对象的概率值的每个分数进行比较的结果,然后设置或支持另一装置设置所述特定建议框的每一个作为所述跟踪框的每一个的每个起始区域。5.根据权利要求1所述的方法,其中,在所述步骤(b)中,位于所述前一帧中的所述对象的所述参考边界框与所述多个建议框中的每一个之间的距离是所述参考边界框的中心坐标与所述多个建议框中的每一个的中心坐标之间的L2距离。6.根据权利要求1所述的方法,其中,在学习装置已经完成以下处理的条件下所述测试装置执行所述步骤(a)至所述(d):(i)允许卷积层从包括用于训练的对象的训练图像获取用于训练的特征图,(ii)允许所述RPN获取与所述训练图像中与用于训练的所述对象相对应的用于训练的一个或多个建议框,(iii)允许所述池化层通过应用池化运算生成与用于训练的建议框对应的用于训练的池化特征图,(iv)允许所述FC层通过将回归运算应用于用于训练的所述池化特征图获取关于用于训练的边界框的像素数据的信息,以及(v)允许损失层通过比较所述训练图像中的所述边界框的像素数据的信息与GT图像中的所述边界框的像素数据的信息来获取比较数据,从而在反向传播过程中通过使用所述比较数据调整所述CNN的至少一个参数。7.根据权利要求1所述的方法,其中,在所述步骤(d)中,通过生成所述池化特征图然后通过所述FC层应用所述回归运算的处理,所述测试装置获取或支持另一装置获取所述边界框,所述边界框的大小被调整为对应于所述测试图像中的所述对象。8.一种通过使用包括跟踪网和检测网络的CNN获取与测试图像中的对象相对应的边界框的方法,包括以下步骤:(a)如果通过对作为当前帧的所述测试图像应用卷积运算而生成特征图,然后输出通过由区域建议网络(RPN)对所述特征图应用特定操作而得到的关于多个建议框的信息,则测试装置获取或支持另一装置获取所述多个建议框;(b)(b-1)所述测试装置通过参考以下至少一项在所述多个建议框中选择或支持另一装置在所述多个建议框中选择至少一个特定建议框:(i)将前一帧中的所述对象的参考边界框与所述多个建议框的每一个之间的每个距离进行比较的结果以及(ii)将作为指示建议框的每一个是否包括所述对象的概率值的每个分数进行比较的结果,然后设置或支持另一装置设置所述特定建议框作为跟踪框的起始区域,其中,所述起始区域用于均值漂移跟踪算法;(b-2)所述测试装置设置或支持另一装置设置所述多个建议框中尚未设置为跟踪框的至少一些建议框作为多个未跟踪框;以及(c)(c-1)在所述步骤(b-1)之后,通过使用所述均值漂移跟踪算法,所述测试装置确定或支持另一装置确定所述当前帧的特定区域作为所述跟踪框的目标区域,所述特定区域具有关于和与所述前一帧中的所述对象的像素数据对应的概率类似的概率的信息;并且允许第一池化层通过将池化运算应用于所述特征图中对应于所述特定区域的区域来生成第一池化特征图,然后允许FC层通过将回归运算应用于所述第一池化特征图来获取第一边界框;(c-2)在所述步骤(b-2)之后,所述测试装置允许第二池化层通过对所述特征图上与所述多个未跟踪框的至少一个对应的区域应用池化运算来生成第二池化特征图;并且,如果所述FC层通过对所述第二池化特征图应用分类操作来检测新对象,则所述测试装置允许所述FC层通过对所述第二池化特征图应用回归运算来获取第二边界框。9.根据权利要求8所述的方法,其中,在所述步骤(c-2)中,所述测试装置将与所述新对象相对应的所述第二边界框确定为参考边界框,以用于包括在下一帧中的所述新对象的跟踪框。10.根据权利要求8所述的方法,其中,在所述步骤(b-2)中,通过参考以下至少一项在所述多个未跟踪框中选择至少一个特定未跟踪框:(i)从所述前一帧获取的所述参考边界框与所述多个未跟踪框中的每一个之间的L2距离的每一个以及(ii)作为指示所述多个未跟踪框的每一个是否包括所述对象的概率值的每个分数,并且其中,在所述步骤(c-2)中,所述测试装置允许所述第二池化层通过对所述特征图上与所述特定未跟踪框相对应的区域应用池化运算来生成所述第二池化特征图;并且,如果所述FC层通过对所述第二池化特征图应用分类操作来检测所述新对象,则允许所述FC层通过对所述第二池化特征图应用回归运算来获取所述第二边界框。11.一种通过使用包括跟踪网的CNN获取与测试图像中的至少...

【专利技术属性】
技术研发人员:金镕重南云铉夫硕焄成明哲吕东勋柳宇宙张泰雄郑景中诸泓模赵浩辰
申请(专利权)人:斯特拉德视觉公司
类型:发明
国别省市:韩国,KR

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1