目标追踪方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种目标追踪方法及装置、电子设备和存储介质，所述方法包括：针对视频流中初始帧图像之后的任一当前帧图像，获取所述当前帧图像的前一帧图像中目标对象所在的第一位置；基于所述第一位置和当前帧图像中目标对象的预测特征，得到所述当前帧图像中所述目标对象的位置信息，其中，所述当前帧图像中目标对象的预测特征基于所述视频流的初始帧图像和所述当前帧的前一帧图像得到。本公开实施例可精确地实现目标追踪。

Target tracking methods and devices, electronic devices and storage media

【技术实现步骤摘要】
目标追踪方法及装置、电子设备和存储介质
本公开涉及计算机视觉
，尤其涉及一种目标追踪方法及装置、电子设备和存储介质。
技术介绍
视频物体追踪是计算机视觉中的一项被探索了数十年的关键问题。视频物体追踪在许多计算机视觉子领域，如视频姿态追踪、视频图像分割、视频物体检测中都有重要的应用。近年来，基于深度学习的追踪算法取得了一定的成绩，但是现有的方法很难快速适应视频中物体剧烈变化的外观，因此其效果受到影响。
技术实现思路
本公开提出了一种目标追踪的技术方案。根据本公开的第一方面，提供了一种目标追踪方法，其包括：针对视频流中初始帧图像之后的任一当前帧图像，获取所述当前帧图像的前一帧图像中目标对象所在的第一位置；基于所述第一位置和当前帧图像中目标对象的预测特征，得到所述当前帧图像中所述目标对象的位置信息，其中，所述当前帧图像中目标对象的预测特征基于所述视频流的初始帧图像和所述当前帧的前一帧图像得到。在一些可能的实施方式中，获得当前帧图像的预测特征，包括：基于所述当前帧图像的前一帧图像中所述目标对象的第一位置对应的第一特征，以及所述初始帧图像内所述目标对象的第二位置对应的第二特征，得到所述当前帧图像中目标对象的预测特征。在一些可能的实施方式中，所述针对视频流中初始帧图像之后的任一当前帧图像，获取所述当前帧图像的前一帧图像中目标对象所在的第一位置之前，所述方法还包括：获得所述初始帧图像中目标对象所在的第二位置，以及所述第二位置对应的第二特征。在一些可能的实施方式中，所述获取所述初始帧图像内目标对象所在的第二位置，包括以下方式中的至少一种：获取所述初始帧图像内针对所述目标对象的位置掩码图，基于所述掩码图确定所述目标对象的第二位置；接收针对所述初始帧图像的框选操作，基于所述框选操作对应的位置区域确定所述目标对象的第二位置；对所述初始帧图像执行目标检测操作，基于所述目标检测操作的检测结果确定所述目标对象的第二位置。在一些可能的实施方式中，所述基于所述当前帧图像的前一帧图像中所述目标对象的第一位置对应的第一特征，以及所述初始帧图像内所述目标对象的第二位置对应的第二特征，得到所述当前帧图像中目标对象的预测特征，包括：分别对所述第一特征和第二特征执行卷积处理，得到第一特征的第一过渡特征，以及得到第二特征的第二过渡特征；对所述第一过渡特征和第二过渡特征执行第一互相关编码处理以及图卷积处理，得到第三特征；基于所述第三特征、第一过渡特征和第二特征的特征融合处理，得到所述预测特征。在一些可能的实施方式中，所述对所述第一过渡特征和第二过渡特征执行第一互相关编码处理以及图卷积处理，得到第三特征，包括：对所述第一过渡特征和第二过渡特征执行第一互相关编码处理，得到第一编码特征；将所述第一编码特征输入至图神经网络执行图卷积处理，得到所述第三特征。在一些可能的实施方式中，对所述第一过渡特征和第二过渡特征执行第一互相关编码处理，得到第一编码特征，包括：对所述第一过渡特征和第二过渡特征执行矩阵相乘操作，得到所述第一编码特征。在一些可能的实施方式中，基于所述第三特征、第一过渡特征和第二特征的特征融合处理，得到所述预测特征，包括：基于所述第一过渡特征执行所述第三特征的互相关解码处理，得到第四特征；对所述第四特征和所述第二特征执行加和处理，得到所述预测特征。在一些可能的实施方式中，所述基于所述第一位置和所述当前帧图像中目标对象的预测特征，得到所述当前帧图像中所述目标对象的位置信息，包括：基于所述第一位置，确定所述当前帧图像中针对所述目标对象的搜索区域，以及与所述搜索区域对应的第五特征；将所述预测特征作为卷积核，执行所述第五特征的第二互相关编码处理，得到的第二编码特征；基于所述第二编码特征执行所述目标对象的目标检测处理，得到所述当前帧图像中所述目标对象的位置信息。在一些可能的实施方式中，基于所述第一位置，确定所述任一帧图像中针对所述目标对象的搜索区域，包括：以第一位置为中心，对所述第一位置放大预设倍数，得到所述当前帧图像中针对所述目标对象的搜索区域。在一些可能的实施方式中，将所述预测特征作为卷积核，执行所述第五特征的第二互相关编码处理，包括：将所述预测特征作为卷积核，对所述第五特征执行卷积处理，得到所述第二编码特征。在一些可能的实施方式中，所述基于所述第二编码特征执行所述目标对象的目标检测处理，得到所述当前帧图像中所述目标对象的位置信息，包括：将所述第二编码特征输入至目标检测网络，得到所述搜索区域中针对所述目标对象的位置信息。在一些可能的实施方式中，所述目标追踪方法应用在孪生神经网络中，所述孪生神经网络包括用于第一分支网络、第二分支网络、以及特征更新网络和目标检测网络，其中第一分支网络和第二分支网络相同；所述第一分支网络用于检测所述初始帧图像中目标对象的第二位置以及所述第二位置对应的第二特征；所述第二分支网络用于检测所述初始帧图像之后的任一当前帧图像的前一帧图像中目标对象的第一位置，以及所述第一位置对应的第一特征；所述特征更新网络用于基于初始帧图像以及当前帧图像的前一帧图像得到预测特征；所述目标检测网络用于基于所述第一位置和当前帧图像的预测特征，得到所述当前帧图像中所述目标对象的位置信息。在一些可能的实施方式中，所述方法还包括：在所述视频流的图像帧中突出显示所述目标对象的位置信息。根据本公开的第二方面，提供了一种目标追踪装置，其包括：检测模块，其用于针对视频流中初始帧图像之后的任一当前帧图像，获取所述当前帧图像的前一帧图像中目标对象所在的第一位置；追踪模块，其用于基于所述第一位置和当前帧图像中目标对象的预测特征，得到所述当前帧图像中所述目标对象的位置信息，其中，所述当前帧图像中目标对象的预测特征基于所述视频流的初始帧图像和所述当前帧的前一帧图像得到。在一些可能的实施方式中，所述追踪模块包括：预测单元，其用于获得当前帧图像的预测特征，其基于所述当前帧图像的前一帧图像中所述目标对象的第一位置对应的第一特征，以及所述初始帧图像内所述目标对象的第二位置对应的第二特征，得到所述当前帧图像中目标对象的预测特征。在一些可能的实施方式中，所述检测模块还用于获得所述初始帧图像中目标对象所在的第二位置，以及所述第二位置对应的第二特征。在一些可能的实施方式中，所述检测模块获取所述初始帧图像内目标对象所在的第二位置，包括以下方式中的至少一种：获取所述初始帧图像内针对所述目标对象的位置掩码图，基于所述掩码图确定所述目标对象的第二位置；接收针对所述初始帧图像的框选操作，基于所述框选操作对应的位置区域确定所述目标对象的第二位置；对所述初始帧图像执行目标检测操作，基于所述目标检测操作的检测结果确定所述目标对象的第二位置。在一些可能的实施方式中，所述预测单元还用于分别对所述第一特征和所述第二特征执行卷积处理，得到第一特征的第一过渡特征，以及得到第二特征的第二过渡特征；对所述第一过渡特征和第二过渡特征执行第一互相关编码处理以及图卷积处理，得到第三特征；基于所述第三特征、第一过渡特征和第二特征的特征融合处理，得到所述预测特征。在一些可能的实施方式中，所述预测单元还用于对所述第一过渡特征和第二过渡特征执行第一互相关编码处理，得到第一编码特征；将所述第一编码特征输入至图神经网络执行图卷本文档来自技高网...

【技术保护点】
1.一种目标追踪方法，其特征在于，包括：针对视频流中初始帧图像之后的任一当前帧图像，获取所述当前帧图像的前一帧图像中目标对象所在的第一位置；基于所述第一位置和当前帧图像中目标对象的预测特征，得到所述当前帧图像中所述目标对象的位置信息，其中，所述当前帧图像中目标对象的预测特征基于所述视频流的初始帧图像和所述当前帧的前一帧图像得到。

【技术特征摘要】
1.一种目标追踪方法，其特征在于，包括：针对视频流中初始帧图像之后的任一当前帧图像，获取所述当前帧图像的前一帧图像中目标对象所在的第一位置；基于所述第一位置和当前帧图像中目标对象的预测特征，得到所述当前帧图像中所述目标对象的位置信息，其中，所述当前帧图像中目标对象的预测特征基于所述视频流的初始帧图像和所述当前帧的前一帧图像得到。2.根据权利要求1所述的方法，其特征在于，获得当前帧图像的预测特征，包括：基于所述当前帧图像的前一帧图像中所述目标对象的第一位置对应的第一特征，以及所述初始帧图像内所述目标对象的第二位置对应的第二特征，得到所述当前帧图像中目标对象的预测特征。3.根据权利要求1或2所述的方法，其特征在于，所述针对视频流中初始帧图像之后的任一当前帧图像，获取所述当前帧图像的前一帧图像中目标对象所在的第一位置之前，所述方法还包括：获得所述初始帧图像中目标对象所在的第二位置，以及所述第二位置对应的第二特征。4.根据权利要求3所述的方法，其特征在于，所述获取所述初始帧图像内目标对象所在的第二位置，包括以下方式中的至少一种：获取所述初始帧图像内针对所述目标对象的位置掩码图，基于所述掩码图确定所述目标对象的第二位置；接收针对所述初始帧图像的框选操作，基于所述框选操作对应的位置区域确定所述目标对象的第二位置；对所述初始帧图像执行目标检测操作，基于所述目标检测操作的检测结果确定所述目标对象的第二位置。5.根据权利要求2所述的方法，其特征在于，所述基于所述当前帧图像的前一帧图像中所述目标对象的第一位置对应的第一特征，以及所述初始帧图像内所述目标对象的第二位置对应的第二特征，得到所述当前帧图像中目标对象的预...

【专利技术属性】
技术研发人员：战赓，庄博涵，孙书洋，欧阳万里，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11