对象追踪方法、追踪处理方法、相应的装置、电子设备制造方法及图纸

本申请实施例提供了一种对象追踪方法、追踪处理方法、相应的装置、电子设备，该方法对象追踪方法能够在对象跟踪丢失时，通过提取的目标对象的第一局部特征，实现丢失对象的检测与重定位，以对目标对象进行重新跟踪，有效地解决现有技术方案在对象跟踪丢失时难以继续跟踪的问题。

Object Tracking Method, Tracking Processing Method, Corresponding Devices and Electronic Equipment

【技术实现步骤摘要】
对象追踪方法、追踪处理方法、相应的装置、电子设备
本申请涉及计算机视觉
，具体而言，本申请涉及一种对象追踪方法、追踪处理方法、相应的装置、电子设备。
技术介绍
对象跟踪是计算机视觉
中一个热门的研究课题。对象跟踪的基本流程是，对于一个实时的视频流，在某一帧给定一个初始跟踪框来框出某个对象，并在随后的每一帧中不断地更新跟踪框，以保持不断地跟随着这个对象。对象跟踪技术在安防、视频编辑等应用场景都有着重要的作用。不过，本申请的专利技术人发现，现有的对象跟踪方案仍旧存在一些问题：当对象跟踪丢失(例如离开摄像头可见视野)再回归时，现有方案无法实现继续跟踪。
技术实现思路
为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：第一方面，本申请实施例提供了一种对象追踪方法，该方法包括：对于视频流中初始目标对象区域所在的第一图像帧，提取初始目标对象区域内的目标对象的第一局部特征；根据初始目标对象区域在第一图像帧中的位置，在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；其中，在跟踪过程中，若目标对象在第一后续图像帧中的第二图像帧中跟踪丢失，则执行以下步骤：根据第一局部特征，在从第二图像帧开始的第二后续图像帧中确定目标对象第一次出现的第三图像帧；基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置；根据第三图像帧中目标对象区域的位置，在第三图像帧之后的图像帧中继续进行目标对象的跟踪。在一种可选的实现方式中，根据第一局部特征，在从第二图像帧开始的第二后续图像帧中确定目标对象第一次出现的第三图像帧，包括：从第二后续图像帧中的第二图像帧开始，重复执行提取图像帧中的第二局部特征，并将第二局部特征与第一局部特征进行匹配，得到匹配结果的步骤，直至匹配结果为匹配成功，匹配成功时对应的图像帧为第三图像帧。在一种可选的实现方式中，将第二局部特征与第一局部特征进行匹配，得到匹配结果，包括：确定第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离；根据第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离，确定第二局部特征与第一局部特征之间的特征点匹配对；若特征点匹配对的数量大于第一阈值，则得到匹配成功的匹配结果；若特征点匹配对的数量不大于第一阈值，则得到匹配失败的匹配结果。在一种可选的实现方式中，根据第二局部特征中的每个特征点与第一局部特征的各个特征点之间的距离，确定第二局部特征与第一局部特征之间的特征点匹配对，包括：针对第二局部特征中的每个特征点，确定每个特征点与第一局部特征的各个特征点之间的距离中的次小距离与最小距离的比值；对于每个特征点，若该特征点所对应的比值大于第二阈值，则确定该特征点和第一局部特征中与该特征点距离最小的特征点为一个特征点匹配对。在一种可选的实现方式中，确定该特征点和第一局部特征中与该特征点距离最小的特征点为一个特征点匹配对之后，还包括：若该一个特征点匹配对为误匹配对，则对该一个特征点匹配进行过滤；确定第二局部特征与第一局部特征之间的特征点匹配对，包括：将过滤后的各个特征点匹配对作为第二局部特征与第一局部特征之间的特征点匹配对。在一种可选的实现方式中，基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置，包括：根据特征点匹配对，确定第三图像帧与第一图像帧之间的单应矩阵；基于初始目标对象区域在第一图像帧中的位置，及单应矩阵，确定第三图像帧中目标对象所在的目标对象区域的位置。在一种可选的实现方式中，该方法还包括：通过以下方式确定目标对象在第一后续图像帧中的跟踪状态，其中，跟踪状态包括跟踪成功或跟踪丢失：对于第一后续图像帧中的第四图像帧，根据第四图像帧的上一图像帧中的目标对象区域的位置，在第四图像帧中确定对上一图像帧中的目标对象区域的目标响应值；若目标响应值不大于第三阈值，则确定目标对象在第四图像帧中跟踪丢失；若目标响应值大于第三阈值，则确定目标对象在第四图像帧中跟踪成功。在一种可选的实现方式中，在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪，包括：通过核化相关滤波器KCF算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；通过核化相关滤波器KCF算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪之前，还包括：根据设备信息，确定KCF参数；根据KCF参数，初始化KCF算法。在一种可选的实现方式中，根据设备信息，确定KCF参数，包括：根据设备信息，确定设备级别；根据设备级别，确定KCF参数。在一种可选的实现方式中，根据设备信息，确定设备级别，包括：根据预设的映射表和设备信息，确定设备级别；其中，预设的映射表包含各种设备信息与各种设备级别之间的对应关系。在一种可选的实现方式中，KCF参数包括KCF特征和滤波核，根据设备级别，确定KCF参数，包括：若确定出设备级别为第一级别，则将方向梯度直方图HoG特征确定为KCF特征，并将高斯核确定为滤波核；若确定出设备级别为第二级别，则将灰度像素确定为KCF特征，并将高斯核确定为滤波核；若确定出设备级别为第三级别，则将灰度像素确定为KCF特征，并将线性核确定为滤波核；其中，第一级别的设备的性能高于第二级别的设备的性能，第二级别的设备的性能高于第三级别的设备的性能。在一种可选的实现方式中，设备信息包括以下至少一项：设备的机型、设备的型号、设备的配置信息。在一种可选的实现方式中，在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪，包括：通过核化相关滤波器KCF算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；通过核化相关滤波器KCF算法在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪之前，还包括：根据设置的候选KCF参数对应的测试帧率，从候选KCF参数中确定KCF参数；根据KCF参数，初始化KCF算法。在一种可选的实现方式中，第二局部特征与第一局部特征相对应，第一局部特征包括以下任一种：ORB局部特征、SURF局部特征、SIFT局部特征。第二方面，本申请实施例提供了一种追踪处理方法，该方法包括：确定目标对象在视频流的各个图像帧中的位置信息，位置信息是通过第一方面或第一方面的任一可选的实现方式中所示的方法确定的；根据位置信息，对目标对象进行相应的处理。在一种可选的实现方式中，对目标对象进行相应的处理，包括以下至少一种：确定目标对象的运动轨迹；在位置信息对应的图像帧添加与目标对象关联的关联对象。第三方面，本申请实施例提供了一种对象追踪装置，该装置包括：提取模块，用于对于视频流中初始目标对象区域所在的第一图像帧，提取初始目标对象区域内的目标对象的第一局部特征；对象跟踪模块，用于根据初始目标对象区域在第一图像帧中的位置，在视频流中第一图像帧的第一后续图像帧中进行目标对象的跟踪；对象重追踪模块，用于在跟踪过程中，若目标对象在第一后续图像帧中的第二图像帧中跟踪丢失，则执行以下步骤：根据第一局部特征，在从第二图像帧开始的第二后续图像帧中确定目标对象第一次出现的第三图像帧；基于初始目标对象区域在第一图像帧中的位置，确定第三图像帧中目标对象所在的目标对象区域的位置；根据第三图像帧中目标对象区域的位置，在第三图像帧之后的图像本文档来自技高网...

【技术保护点】
1.一种对象追踪方法，其特征在于，包括：对于视频流中初始目标对象区域所在的第一图像帧，提取所述初始目标对象区域内的目标对象的第一局部特征；根据所述初始目标对象区域在所述第一图像帧中的位置，在所述视频流中所述第一图像帧的第一后续图像帧中进行所述目标对象的跟踪；其中，在跟踪过程中，若所述目标对象在所述第一后续图像帧中的第二图像帧中跟踪丢失，则执行以下步骤：根据所述第一局部特征，在从所述第二图像帧开始的第二后续图像帧中确定所述目标对象第一次出现的第三图像帧；基于所述初始目标对象区域在所述第一图像帧中的位置，确定所述第三图像帧中所述目标对象所在的目标对象区域的位置；根据所述第三图像帧中目标对象区域的位置，在所述第三图像帧之后的图像帧中继续进行所述目标对象的跟踪。

【技术特征摘要】
1.一种对象追踪方法，其特征在于，包括：对于视频流中初始目标对象区域所在的第一图像帧，提取所述初始目标对象区域内的目标对象的第一局部特征；根据所述初始目标对象区域在所述第一图像帧中的位置，在所述视频流中所述第一图像帧的第一后续图像帧中进行所述目标对象的跟踪；其中，在跟踪过程中，若所述目标对象在所述第一后续图像帧中的第二图像帧中跟踪丢失，则执行以下步骤：根据所述第一局部特征，在从所述第二图像帧开始的第二后续图像帧中确定所述目标对象第一次出现的第三图像帧；基于所述初始目标对象区域在所述第一图像帧中的位置，确定所述第三图像帧中所述目标对象所在的目标对象区域的位置；根据所述第三图像帧中目标对象区域的位置，在所述第三图像帧之后的图像帧中继续进行所述目标对象的跟踪。2.根据权利要求1所述的对象追踪方法，其特征在于，所述根据所述第一局部特征，在从所述第二图像帧开始的第二后续图像帧中确定所述目标对象第一次出现的第三图像帧，包括：从所述第二后续图像帧中的第二图像帧开始，重复执行提取图像帧中的第二局部特征，并将所述第二局部特征与所述第一局部特征进行匹配，得到匹配结果的步骤，直至匹配结果为匹配成功，匹配成功时对应的图像帧为所述第三图像帧。3.根据权利要求2所述的对象追踪方法，其特征在于，所述将所述第二局部特征与所述第一局部特征进行匹配，得到匹配结果，包括：确定所述第二局部特征中的每个特征点与所述第一局部特征的各个特征点之间的距离；根据所述第二局部特征中的每个特征点与所述第一局部特征的各个特征点之间的距离，确定所述第二局部特征与所述第一局部特征之间的特征点匹配对；若特征点匹配对的数量大于第一阈值，则得到匹配成功的匹配结果；若特征点匹配对的数量不大于所述第一阈值，则得到匹配失败的匹配结果。4.根据权利要求3所述的对象追踪方法，其特征在于，所述根据所述第二局部特征中的每个特征点与所述第一局部特征的各个特征点之间的距离，确定所述第二局部特征与所述第一局部特征之间的特征点匹配对，包括：针对所述第二局部特征中的每个特征点，确定每个特征点与所述第一局部特征的各个特征点之间的距离中的次小距离与最小距离的比值；对于每个特征点，若该特征点所对应的所述比值大于第二阈值，则确定该特征点和所述第一局部特征中与该特征点距离最小的特征点为一个特征点匹配对。5.根据权利要求3或4所述的对象追踪方法，其特征在于，所述基于所述初始目标对象区域在所述第一图像帧中的位置，确定所述第三图像帧中所述目标对象所在的目标对象区域的位置，包括：根据所述特征点匹配对，确定所述第三图像帧与所述第一图像帧之间的单应矩阵；基于所述初始目标对象区域在所述第一图像帧中的位置，及所述单应矩阵，确定所述第三图像帧中所述目标对象所在的目标对象区域的位置。6.根据权利要求1所述的对象追踪方法，其特征在于，还包括：通过以下方式确定所述目标对象在所述第一后续图像帧中的跟踪状态，其中，所述跟踪状态包括跟踪成功或跟踪丢失：对于所述第一后续图像帧中的第四图像帧，根据所述第四图像帧的上一图像帧中的目标对象区域的位置，在所述第四图像帧中确定对所述上一图像帧中的目标对象区域的目标响应值；若所述目标响应值不大于第三阈值，则确定所述目标对象在所述第四图像帧中跟踪丢失；若所述目标响应值大于所述第三阈值，则确定所述目标对象在所述第四图像帧中跟踪成功。7.根据权利要求1所述的对象追踪方法，其特征在于...

【专利技术属性】
技术研发人员：王一同，黄军，季兴，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44