目标检测方法和装置、训练方法、电子设备、程序和介质制造方法及图纸

本发明专利技术实施例公开了一种目标检测方法和装置、训练方法、电子设备、程序和介质，其中，目标检测方法包括：经神经网络分别提取模版帧和检测帧的特征，其中，所述模版帧为目标对象的检测框图像，所述模版帧的图像大小小于所述检测帧；基于所述模版帧的特征获取局部区域检测器的分类权重和回归权重；将所述检测帧的特征输入所述局部区域检测器，得到所述局部区域检测器输出的多个备选框的分类结果和回归结果；根据所述局部区域检测器输出的多个备选框的分类结果和回归结果，获取所述检测帧中所述目标对象的检测框。本发明专利技术实施例可以提升目标跟踪的速度和准确性。

【技术实现步骤摘要】
目标检测方法和装置、训练方法、电子设备、程序和介质
本专利技术涉及计算机视觉技术，尤其是一种目标检测方法和装置、训练方法、电子设备、程序和介质。
技术介绍
单目标跟踪是人工智能领域的一个重要问题，在自动驾驶、多目标跟踪等一系列任务当中都可以用到。单目标跟踪的主要任务为：在一段视频序列的某一帧图像中指定一个需要跟踪的目标，在之后一直跟踪住这个指定的目标。
技术实现思路
本专利技术实施例提供一种用于进行目标跟踪的技术方案。根据本专利技术实施例的一个方面，提供的一种目标跟踪方法，包括：经神经网络分别提取模版帧和检测帧的特征，其中，所述模版帧为目标对象的检测框图像，所述模版帧的图像大小小于所述检测帧；基于所述模版帧的特征获取局部区域检测器的分类权重和回归权重；将所述检测帧的特征输入所述局部区域检测器，得到所述局部区域检测器输出的多个备选框的分类结果和回归结果；根据所述局部区域检测器输出的多个备选框的分类结果和回归结果，获取所述检测帧中所述目标对象的检测框。可选地，在本专利技术上述各实施例的方法中，还包括：经所述神经网络提取视频序列中时序位于所述检测帧之后的至少一其他检测帧的特征；将所述至少一其他检测帧的特征依次输入所述局部区域检测器，依次得到所述局部区域检测器输出的所述至少一其他检测帧中的多个备选框、以及各备选框的分类结果和回归结果；依次根据所述至少一其他检测帧的多个备选框的分类结果和回归结果，获取所述至少一其他检测帧中所述目标对象的检测框。可选地，在本专利技术上述各实施例的方法中，经神经网络分别提取模版帧和检测帧的特征，包括：经同一神经网络分别提取所述模版帧和所述检测帧的特征；或者，经具有相同结构的不同神经网络分别提取所述模版帧和所述检测帧的特征。可选地，在本专利技术上述各实施例的方法中，所述模板帧为视频序列中检测时序位于所述检测帧之前、且目标对象的检测框确定的帧。可选地，在本专利技术上述各实施例的方法中，所述检测帧为需要进行所述目标对象检测的当前帧或者当前帧中可能包含所述目标对象的区域图像。可选地，在本专利技术上述各实施例的方法中，所述检测帧为需要进行所述目标对象检测的当前帧中可能包含所述目标对象的区域图像时，所述方法还包括：以所述模板帧的中心点为中心点，从当前帧中截取长度和/或宽度对应大于所述模板帧的图像长度和/或宽度的区域图像作为所述检测帧。可选地，在本专利技术上述各实施例的方法中，基于所述模版帧的特征获取局部区域检测器的分类权重，包括：通过第一卷积层对所述模板帧的特征进行卷积操作，以卷积操作得到的第一特征作为所述局部区域检测器的分类权重。可选地，在本专利技术上述各实施例的方法中，基于所述模版帧的特征获取局部区域检测器的回归权重，包括：通过第二卷积层对所述模板帧的特征进行卷积操作，以卷积操作得到的第二特征作为所述局部区域检测器的回归权重。可选地，在本专利技术上述各实施例的方法中，将所述检测帧的特征输入所述局部区域检测器，得到所述局部区域检测器输出的多个备选框的分类结果和回归结果，包括：利用所述分类权重对所述检测帧的特征进行卷积操作，获得多个备选框的分类结果；以及利用所述回归权重对所述检测帧的特征进行卷积操作，获得多个备选框的回归结果。可选地，在本专利技术上述各实施例的方法中，提取所述检测帧的特征之后，还包括：通过第三卷积层对所述检测帧的特征进行卷积操作，获得第三特征，所述第三特征的通道数量与所述检测帧的特征的通道数量相同；所述利用所述分类权重对所述检测帧的特征进行卷积操作，获得多个备选框的分类结果，包括：利用所述分类权重对所述第三特征进行卷积操作，获得多个备选框的分类结果。可选地，在本专利技术上述各实施例的方法中，提取所述模板帧的特征之后，还包括：通过第四卷积层对所述模板帧的特征进行卷积操作，获得第四特征，所述第四特征的通道数量与所述模板帧的特征的通道数量相同；利用所述回归权重对所述检测帧的特征进行卷积操作，获得多个备选框的回归结果，包括：利用所述回归权重对所述第四特征进行卷积操作，获得多个备选框的回归结果。可选地，在本专利技术上述各实施例的方法中，根据所述局部区域检测器输出的多个备选框的分类结果和回归结果，获取所述检测帧中所述目标对象的检测框，包括：根据所述分类结果和所述回归结果从所述多个备选框中选取一个备选框，并根据选取的备选框的偏移量对所述选取的备选框进行回归，获得所述检测帧中所述目标对象的检测框。可选地，在本专利技术上述各实施例的方法中，根据所述分类结果和所述回归结果从所述多个备选框中选取一个备选框，包括：根据所述分类结果和所述回归结果的权重系数，从所述多个备选框中选取一个备选框。可选地，在本专利技术上述各实施例的方法中，所述获得回归结果之后，还包括：根据所述回归结果对所述分类结果进行调整；根据所述分类结果和所述回归结果从所述多个备选框中选取一个备选框，包括：根据调整后的分类结果，从所述多个备选框中选取一个备选框。根据本专利技术实施例的另一个方面，提供的一种目标检测网络的训练方法，包括：经神经网络分别提取模版帧和检测帧的特征，其中，所述模版帧为目标对象的检测框图像，所述模版帧的图像大小小于所述检测帧；通过一卷积层，增加所述模板帧的特征的通道，以得到的第一特征作为所述局部区域检测器的分类权重；以及通过第二卷积层增加所述模板帧的特征的通道，以得到的第二特征作为所述局部区域检测器的回归权重；将所述检测帧的特征输入所述局部区域检测器，得到所述局部区域检测器输出的多个备选框的分类结果和回归结果；根据所述局部区域检测器输出的多个备选框的分类结果和回归结果，获取所述检测帧中所述目标对象的检测框；以获得的所述检测帧中所述目标对象的检测框作为预测检测框，基于所述检测帧的标注信息和所述预测检测框训练所述神经网络、所述第一卷积层和所述第二卷积层。可选地，在本专利技术上述各实施例的训练方法中，还包括：经所述神经网络提取视频序列中时序位于所述检测帧之后的至少一其他检测帧的特征；将所述至少一其他检测帧的特征依次输入所述局部区域检测器，依次得到所述局部区域检测器输出的所述至少一其他检测帧中的多个备选框、以及各备选框的分类结果和回归结果；依次根据所述至少一其他检测帧的多个备选框的分类结果和回归结果，获取所述至少一其他检测帧中所述目标对象的检测框。可选地，在本专利技术上述各实施例的训练方法中，经神经网络分别提取模版帧和检测帧的特征，包括：经同一神经网络分别提取所述模版帧和所述检测帧的特征；或者，经具有相同结构的不同神经网络分别提取所述模版帧和所述检测帧的特征。可选地，在本专利技术上述各实施例的训练方法中，所述模板帧为视频序列中检测时序位于所述检测帧之前、且目标对象的检测框确定的帧。可选地，在本专利技术上述各实施例的训练方法中，所述检测帧为需要进行所述目标对象检测的当前帧或者当前帧中可能包含所述目标对象的区域图像。可选地，在本专利技术上述各实施例的训练方法中，所述检测帧为需要进行所述目标对象检测的当前帧中可能包含所述目标对象的区域图像时，所述方法还包括：以所述模板帧的中心点为中心点，从当前帧中截取长度和/或宽度对应大于所述模板帧的图像长度和/或宽度的区域图像作为所述检测帧。可选地，在本专利技术上述各实施例的训练方法中，将所述检测帧的特征输入所述局部区域检测器，得到所述局部区域检测器输出的多个备选框的分类结果和本文档来自技高网...

【技术保护点】
1.一种目标检测方法，其特征在于，包括：经神经网络分别提取模版帧和检测帧的特征，其中，所述模版帧为目标对象的检测框图像，所述模版帧的图像大小小于所述检测帧；基于所述模版帧的特征获取局部区域检测器的分类权重和回归权重；将所述检测帧的特征输入所述局部区域检测器，得到所述局部区域检测器输出的多个备选框的分类结果和回归结果；根据所述局部区域检测器输出的多个备选框的分类结果和回归结果，获取所述检测帧中所述目标对象的检测框。

【技术特征摘要】
1.一种目标检测方法，其特征在于，包括：经神经网络分别提取模版帧和检测帧的特征，其中，所述模版帧为目标对象的检测框图像，所述模版帧的图像大小小于所述检测帧；基于所述模版帧的特征获取局部区域检测器的分类权重和回归权重；将所述检测帧的特征输入所述局部区域检测器，得到所述局部区域检测器输出的多个备选框的分类结果和回归结果；根据所述局部区域检测器输出的多个备选框的分类结果和回归结果，获取所述检测帧中所述目标对象的检测框。2.根据权利要求1所述的方法，其特征在于，还包括：经所述神经网络提取视频序列中时序位于所述检测帧之后的至少一其他检测帧的特征；将所述至少一其他检测帧的特征依次输入所述局部区域检测器，依次得到所述局部区域检测器输出的所述至少一其他检测帧中的多个备选框、以及各备选框的分类结果和回归结果；依次根据所述至少一其他检测帧的多个备选框的分类结果和回归结果，获取所述至少一其他检测帧中所述目标对象的检测框。3.根据权利要求1或2所述的方法，其特征在于，经神经网络分别提取模版帧和检测帧的特征，包括：经同一神经网络分别提取所述模版帧和所述检测帧的特征；或者，经具有相同结构的不同神经网络分别提取所述模版帧和所述检测帧的特征。4.根据权利要求1-3任一所述的方法，其特征在于，所述模板帧为视频序列中检测时序位于所述检测帧之前、且目标对象的检测框确定的帧。5.一种目标检测网络的训练方法，其特征在于，包括：经神经网络分别提取模版帧和检测帧的特征，其中，所述模版帧为目标对象的检测框图像，所述模版帧的图像大小小于所述检测帧；通过一卷积层对所述模板帧的特征进行卷积操作，以卷积操作得到的第一特征作为所述局部区域检测器的分类权重；以及通过第二卷积层对所述模板帧的特征进行...

【专利技术属性】
技术研发人员：李搏，武伟，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11