一种对象跟踪方法及装置制造方法及图纸

本公开提供了一种对象跟踪方法及装置，涉及人工智能技术领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于智慧城市、智慧交通、元宇宙、虚拟数字人等场景。具体实现方案为：对视频的当前帧进行特征提取，得到第一特征；根据当前帧的前一关键帧中对象的第二特征的特征值，为第一特征的各特征值分配权重；基于所分配的权重对第一特征进行特征提取，得到第三特征；根据第三特征，在当前帧中确定对象所在区域。应用本公开实施例提供的对象跟踪方案，不仅能够实现对象跟踪，还能提高对象跟踪的准确性。能提高对象跟踪的准确性。能提高对象跟踪的准确性。

【技术实现步骤摘要】
一种对象跟踪方法及装置


[0001]本公开涉及人工智能
，具体为增强现实、虚拟现实、计算机视觉、深度学习等
，可应用于智慧城市、智慧交通、元宇宙、虚拟数字人等场景。

技术介绍

[0002]对象跟踪技术用于对视频中出现的对象进行持续跟踪，可应用于多种场景中。例如，在安保场景中，可以应用对象跟踪技术对监控视频中的对象进行持续跟踪，以助于检测视频中对象的行为。又例如，在道路交通场景中，可以应用对象跟踪技术获得道路中车辆的行驶轨迹。
[0003]在对视频中的对象进行对象跟踪时，可以对视频中的各视频帧进行特征提取，得到各视频帧的图像特征，根据各视频帧的图像特征得到各视频帧中对象所在区域，从而实现对象跟踪。

技术实现思路

[0004]本公开提供了一种对象跟踪方法及装置。
[0005]根据本公开的一方面，提供了一种对象跟踪方法，包括：
[0006]对视频的当前帧进行特征提取，得到第一特征；
[0007]根据所述当前帧的前一关键帧中对象的第二特征的特征值，为所述第一特征的各特征值分配权重；
[0008]基于所分配的权重对所述第一特征进行特征提取，得到第三特征；
[0009]根据所述第三特征，在所述当前帧中确定所述对象所在区域。
[0010]根据本公开的另一方面，提供了一种对象跟踪装置，包括：
[0011]第一提取模块，用于对视频的当前帧进行特征提取，得到第一特征；
[0012]第二提取模块，用于根据所述当前帧的前一关键帧中对象的第二特征的特征值，为所述第一特征的各特征值分配权重；基于所分配的权重对所述第一特征进行特征提取，得到第三特征；
[0013]区域确定模块，用于根据所述第三特征，在所述当前帧中确定所述对象所在区域。
[0014]根据本公开的另一方面，提供了一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述对象跟踪方法。
[0018]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述对象跟踪方法。
[0019]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述对象跟踪方法。
[0020]由以上可见，应用本公开实施例提供的方案进行对象跟踪时，在提取得到当前帧的第一特征之后，根据第二特征的特征值，为第一特征的各个特征值分配权重，基于所分配权重对第一特征进行特征提取，得到第三特征。由于第二特征为当前帧的前一关键帧中对象的特征，这样利用第二特征再次对第一特征进行特征提取，得到第三特征，该第三特征可以看做是当前帧中对象的特征，从而根据第三特征，能够在当前帧中准确确定出对象所在区域。因此，应用本公开实施例提供的对象跟踪方案，不仅能够实现对象跟踪，还能够提高对象跟踪的准确性。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1为本公开实施例提供的第一种对象跟踪方法的流程示意图；
[0024]图2a为本公开实施例提供的第二种对象跟踪方法的流程示意图；
[0025]图2b为本公开实施例提供的第二种对象所在区域检测方法的流程示意图；
[0026]图3为本公开实施例提供的第三种对象跟踪方法的流程示意图；
[0027]图4为本公开实施例提供的第四种对象跟踪方法的流程示意图；
[0028]图5为本公开实施例提供的第五种对象跟踪方法的流程示意图；
[0029]图6为本公开实施例提供的第六种对象跟踪方法的流程示意图；
[0030]图7为本公开实施例提供的第七种对象跟踪方法的流程示意图；
[0031]图8为本公开实施例提供的第一种对象跟踪装置的结构示意图；
[0032]图9为本公开实施例提供的第二种对象跟踪装置的结构示意图；
[0033]图10为本公开实施例提供的第三种对象跟踪装置的结构示意图；
[0034]图11是用来实现本公开实施例的对象跟踪方法的电子设备的框图。
具体实施方式
[0035]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0036]在对视频中的对象进行对象跟踪时，通常在获得视频中的一帧图像帧后，对该图像帧进行处理，得到该图像帧中对象所在区域，然后再获得下一帧图像，对该下一帧图像帧进行处理，这样按照视频中图像帧的顺序，依次检测视频的各图像帧中对象所在区域，从而实现对象跟踪。
[0037]现有的对象跟踪方案包括kalman滤波跟踪算法、KCF(Kemel Correlation Filter，核相关滤波)跟踪算法以及以及基于deeplearning深度学习的对象跟踪算法。基于deeplearning深度学习的对象跟踪算法的处理效率可达到每秒几百、几千帧图像帧，但该算法进行对象跟踪的跟踪精度较低，易出现跟丢、跟错对象等问题。
[0038]为解决上述问题，本公开实施例提供了一种对象跟踪方法及装置，下面通过具体
实施例进行详细说明。
[0039]参见图1，图1为本公开实施例提供的第一种对象跟踪方法的流程示意图，本实施例中，上述方法包括以下步骤S101
‑
S104。
[0040]步骤S101：对视频的当前帧进行特征提取，得到第一特征。
[0041]具体的，可以获得视频的当前帧，并利用现有的特征提取技术，对所获得的当前帧进行特征提取，得到第一特征。例如，可以预先训练得到特征提取模型，利用特征提取模型对当前帧进行特征提取，得到第一特征。又例如，还可以利用现有的特征提取算法等对当前帧记性特征提取，得到第一特征。
[0042]本公开的一个实施例中，在获得视频的当前帧之后，由于当前帧的前一帧图像帧中对象所在区域是已知的，且相邻两个图像帧中对象所在区域的位置通常相差不大，因此，可以根据当前帧的前一帧图像帧中对象所在区域的位置，预测当前帧中对象所在的预测区域，再对预测区域进行特征提取，得到第一特征。
[0043]具体的，对预测得到的当前帧中对象所在的预测区域进行特征提取，得到第一特征的具体描述可参见后续图2a所示实施例中步骤S201，这里暂不详述。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象跟踪方法，包括：对视频的当前帧进行特征提取，得到第一特征；根据所述当前帧的前一关键帧中对象的第二特征的特征值，为所述第一特征的各特征值分配权重；基于所分配的权重对所述第一特征进行特征提取，得到第三特征；根据所述第三特征，在所述当前帧中确定所述对象所在区域。2.根据权利要求1所述的方法，其中，所述根据所述当前帧的前一关键帧中对象的第二特征的特征值，为所述第一特征的各特征值分配权重；基于所分配的权重对所述第一特征进行特征提取，得到第三特征，包括：以所述当前帧的前一关键帧中对象的第二特征为卷积核，对所述第一特征进行特征提取，得到第三特征。3.根据权利要求2所述的方法，其中，在所述前一关键帧中存在多个对象的情况下，所述以所述当前帧的前一关键帧中对象的第二特征为卷积核，对所述第一特征进行特征提取，得到第三特征，包括：以所述当前帧的前一关键帧中每一对象的第二特征为卷积核，并行对所述第一特征进行特征提取，得到各个对象对应的第三特征。4.根据权利要求1
‑
3中任一项所述的方法，还包括：判断视频的当前帧是否为关键帧；若为否，则执行所述对视频的当前帧进行特征提取，得到第一特征的步骤。5.根据权利要求4所述的方法，还包括：若所述当前帧为关键帧，则对所述当前帧进行对象识别，得到所述当前帧中对象所在区域，并获得基于所得区域确定的对象的第二特征。6.根据权利要求1
‑
3中任一项所述的方法，其中，所述根据所述第三特征，在所述当前帧中确定所述待测对象所在区域，包括：在所述第三特征中确定所包含像素点的特征值高于预设阈值的高亮区域；在所述当前帧中确定与所述高亮区域对应的区域，作为所述对象所在区域。7.根据权利要求1
‑
3中任一项所述的方法，其中，所述对视频的当前帧进行特征提取，得到第一特征，包括：在视频的当前帧中确定包含对象位置信息所指示区域的待提取区域，其中，所述对象位置信息为：所述当前帧的前一帧图像帧中所述对象所在区域的位置信息；对所述待提取区域进行特征提取，得到第一特征。8.一种对象跟踪装置，包括：第一提取模块，用于对视频的当前帧进行特征提取，得到第一特征；第二提取模块，用于根据所述当前帧的前一关键帧中对象的第二特征的特征值，为所述第一特征的各特征值分配权重；基于所分配的权重对所述第一特征进行特征提取，得到第三特征；区...

【专利技术属性】
技术研发人员：王迪，赵晨，陈睿智，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：