目标对象的跟踪轨迹的确定方法和装置、存储介质制造方法及图纸

本发明专利技术公开了一种目标对象的跟踪轨迹的确定方法和装置、存储介质。其中，该方法包括：通过基于背景去除的多目标检测和基于光流的位置预测两种方式产生目标候选区域，在经过目标检测的回归算法对当前帧的目标区域进行优化并生成分类得分，然后将所有的目标框通过非极大值抑制的方法进行筛选，最后生成目标运动轨迹。其中，算法中加入基于光流的位置预测模块，为后续的多目标跟踪提供候选区域，解决了目标移动速度较快时的跟丢现象。

【技术实现步骤摘要】
目标对象的跟踪轨迹的确定方法和装置、存储介质
本专利技术涉及目标跟踪领域，具体而言，涉及一种目标对象的跟踪轨迹的确定方法和装置、存储介质。
技术介绍
视觉目标跟踪是计算机视觉中的一个重要研究方向，该技术涉及到光学、计算机科学、认知科学和数学等多个领域。随着近年来计算机科学的飞速发展以及人类对于计算机视觉领域的不断探索，视觉目标跟踪广泛应用于视频监控、人机交互、智能驾驶以及机器人视觉导航等各个领域。同时，该技术在军事领域上也存在着极其重要的研究意义，包括成像制导导弹和无人机自主导航系统等。视觉目标跟踪连接着底层的目标检测识别和高层的图像信息分析，在计算机视觉领域发挥着不可或缺的作用，历年来备受广大学者的关注。现有技术中，专利申请号201010221290.4中公开了视频监控中基于运动目标检测的多目标跟踪方法，该方法首先使用背景去除法检测前景运动目标；然后建立当前帧前景目标团块与前一帧已检测到的目标之间的关联矩阵，并以此来判断目标所处的各种状态(如目标消失、目标保持初始状态、目标重合、目标分离等)，对处于分离状态的目标进行二次跟踪；最后更新目标的位置、面积及核加权颜色直方图等特征，实现对多个目标的跟踪。该方案采用关联矩阵的方式进行前后帧目标的计算，在面临目标尺度、角度、形态发生较大变化时，算法性能会产生较大误差，容易产生目标身份ID的跳变。专利申请号201910612233.X中公开了一种目标跟踪的尺度估计方法以及相关装置。其中，目标跟踪的尺度估计方法包括：分别对摄像器件拍摄得到的前后两帧图像进行光流检测，得到前后两帧图像的光流点的光流信息；通过前后两帧图像的光流信息确定目标在后帧图像中的初始预测区域；基于初始预测区域，将初始预测区域的预设倍数的区域确定为搜索区域，并将后帧图像划分为多个子区域；通过光流点的光流信息确定搜索区域内每一个光流点所属的子区域；通过统计搜索区域内每一个光流点所属的子区域，确定目标在后帧图像的目标尺度。该方案单一的使用了光流信息得到的尺度估计，并未充分利用光流信息预测出未来帧的目标位置信息，对于多目标跟踪的效果提升不够明显。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种目标对象的跟踪轨迹的确定方法和装置、存储介质，以至少解决现有技术中，目标移动速度较快时的跟丢的技术问题。根据本专利技术实施例的一个方面，提供了一种目标对象的跟踪轨迹的确定方法，包括：对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息，其中，所述第一目标候选区域为第一目标对象所在的位置；对所述第t-1帧图像和所述第t帧图像基于光流的位置预测，得到所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息，其中，所述第二目标候选区域为第二目标对象所在的位置；根据所述第一位置信息和所述第二位置确定所述第一目标候选区域和所述第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将所述目标候选区域确定为所述第t帧图像中的目标区域；根据所述目标区域的位置信息加入到所述目标视频中的目标对象的目标轨迹中，更新所述目标轨迹。根据本专利技术实施例的另一方面，还提供了一种目标对象的跟踪轨迹的确定装置，包括：第一确定单元，用于对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息，其中，所述第一目标候选区域为第一目标对象所在的位置；第二确定单元，用于对所述第t-1帧图像和所述第t帧图像基于光流的位置预测，得到所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息，其中，所述第二目标候选区域为第二目标对象所在的位置；第三确定单元，用于根据所述第一位置信息和所述第二位置确定所述第一目标候选区域和所述第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将所述目标候选区域确定为所述第t帧图像中的目标区域；更新单元，用于根据所述目标区域的位置信息加入到所述目标视频中的目标对象的目标轨迹中，更新所述目标轨迹。根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标对象的跟踪轨迹的确定方法。根据本专利技术实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的目标对象的跟踪轨迹的确定方法。在本专利技术实施例中，通过对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，其中，第一目标候选区域为第一目标对象所在的位置；对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，其中，第二目标候选区域为第二目标对象所在的位置；根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域；根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹。其中，背景去除的目标检测算法能够有效的去除背景区域的激活值，使检测网络更好的关注于有目标的区域，有效的提高了检测算法的效率，大大增强了算法的鲁棒性，为后续的多目标跟踪提供可靠的目标信息。另外，算法中加入基于光流的位置预测模块，为后续的多目标跟踪提供候选区域，进而解决了现有技术中，目标移动速度较快时的跟丢的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种可选的目标对象的跟踪轨迹的确定方法的应用环境的示意图；图2是根据本专利技术实施例的一种可选的目标对象的跟踪轨迹的确定方法的流程图；图3是根据本专利技术实施例的一种可选的基于背景去除和光流预测的多目标跟踪方法流程图；图4是根据本专利技术实施例的一种可选的基于背景去除的目标检测算法流程图；图5是根据本专利技术实施例的一种可选的基于光流的位置预测流程图；图6是根据本专利技术实施例的一种可选的目标对象的跟踪轨迹的确定装置的结构示意图；图7是根据本专利技术实施例的一种可选的目标对象的跟踪轨迹的确定方法电子装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都本文档来自技高网...

【技术保护点】
1.一种目标对象的跟踪轨迹的确定方法，其特征在于，包括：/n对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息，其中，所述第一目标候选区域为第一目标对象所在的位置；/n对所述第t-1帧图像和所述第t帧图像基于光流的位置预测，得到所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息，其中，所述第二目标候选区域为第二目标对象所在的位置；/n根据所述第一位置信息和所述第二位置确定所述第一目标候选区域和所述第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将所述目标候选区域确定为所述第t帧图像中的目标区域；/n根据所述目标区域的位置信息加入到所述目标视频中的目标对象的目标轨迹中，更新所述目标轨迹。/n

【技术特征摘要】
1.一种目标对象的跟踪轨迹的确定方法，其特征在于，包括：
对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息，其中，所述第一目标候选区域为第一目标对象所在的位置；
对所述第t-1帧图像和所述第t帧图像基于光流的位置预测，得到所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息，其中，所述第二目标候选区域为第二目标对象所在的位置；
根据所述第一位置信息和所述第二位置确定所述第一目标候选区域和所述第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将所述目标候选区域确定为所述第t帧图像中的目标区域；
根据所述目标区域的位置信息加入到所述目标视频中的目标对象的目标轨迹中，更新所述目标轨迹。


2.根据权利要求1所述的方法，其特征在于，对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息，包括：
将所述第t-1帧图像输入到第一目标网络中，得到掩膜图像，其中，所述掩膜图像中前景区域的像素值取值为1，背景区域中的像素值取值为0；
将所述掩膜图像中的像素值与所述第t-1帧图像中的像素值相乘，得到第一目标图像；
将所述第一目标图像输入到目标检测网络中，得到所述第t-1帧图像中的第三目标候选区域以及所述第三目标候选区域的第三位置信息；
通过目标回归算法基于所述第三目标候选区域以及所述第三目标候选区域的第三位置信息，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息。


3.根据权利要求1所述的方法，其特征在于，对所述第t-1帧图像和所述第t帧图像基于光流的位置预测，得到所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息，包括：
获取所述第t-1帧图像和所述第t帧图像对应的第一光流图像和第二光流图像；
获取所述第一光流图像中的待跟踪目标对象的第四位置信息和所述第二光流图像中的待跟踪目标对象的第五位置信息；
将所述第一光流图像和所述第二光流图像输入到位置预测网络中，所述位置预测网络根据所述第四位置信息和所述第五位置信息确定所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息。


4.根据权利要求1所述的方法，其特征在于，根据所述第一位置信息和所述第二位置确定所述第一目标候选区域和所述第二目标候选区域中重叠区域大于或等于预定阈值的目标候选区域，并将所述目标候选区域确定为所述第t帧图像中的目标区域，包括：
在检测所述第t帧图像得到的目标区域在所述第t-1帧图像中没有对应的情况下，根据所述目标区域对应的目标对象新增新的轨迹。


5.根据权利要求1所述的方法，其特征在于，根据所述目标区域的位置信息加入到所述目标视频中的目标对象的目标轨迹中，更新所述目标轨迹，包括：
将所述第t-1帧图像中检测的目标位置和基于所述光流预测出的所述第t帧图像中目标位置作为候选区域，获取所述第t帧图像中的目标位置和分类得分；
获取所述第t帧图像中的目标对象的标识信息，其中，所述第t帧图像中的所述标识信息与所述第t-1帧图像中的标识信息一致；
经过非极大值抑制，筛除掉分类得分小于或等于第二预定阈值和重复的目标区域，获取所述第t帧图像中的目标区域及对应的所述目标对象的标识信息；
将目标对象的位置信息加入到对应的目标轨迹中，更新所述目标轨迹。


6.根据权利要求1-5任一项所述的方法，其特征在于，所述目标视频包括：预设录制完成的目标视频、录制中的目标...

【专利技术属性】
技术研发人员：朱凯，马子昂，卢维，殷俊，林辉，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33