一种目标跟踪方法、装置、电子设备和可读存储介质制造方法及图纸

本申请涉及计算机视觉领域，尤其涉及一种目标跟踪方法、装置、电子设备和可读存储介质。该目标跟踪方法包括：获取一帧视频图像，以及获取目标在视频图像中的预测位置；根据缩小的模板图像和预测位置，确定视频图像的缩小比例，并将视频图像按照缩小比例缩小，得到缩小的视频图像；根据预测位置确定目标在缩小的视频图像中的预测位置；根据目标在缩小的视频图像中的预测位置，采用缩小的模板图像与缩小的视频图像进行匹配，确定缩小的模板图像在缩小的视频图像中的粗略定位位置的信息；根据粗略定位位置的信息，确定目标在视频图像中的精确定位位置。该方法可以快速、且准确的实现对目标在该视频图像中的定位位置，提高用户对AR的体验效果。

【技术实现步骤摘要】
【国外来华专利技术】一种目标跟踪方法、装置、电子设备和可读存储介质
本申请涉及计算机视觉领域，尤其涉及一种目标跟踪方法、装置、电子设备和可读存储介质。
技术介绍
增强现实技术(AugmentedReality，简称“AR”)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，该技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。目标检测和目标跟踪是增强现实中的关键技术，目标检测可以检测视频图像中模板图(平面目标)的精确位置，但是，目标检测的计算非常耗时。为了克服该缺陷，在移动终端的AR应用中，通常通过目标检测获取模板图在视频图像中的初始位置，后续通过目标跟踪方法确定模板图在视频图像中的精确位置。其中，目标跟踪方法的通常处理过程为：提取模板图的特征点，并在待匹配图像中搜寻该特征点，得到从模板图到待匹配图像的单应矩阵，从而确定出模板图在待匹配图像中的精确位置；根据确定的精确位置和模板图的历史位置，预测模板图在下一待匹配图像中的位置，根据预测的位置继续对模板图进行跟踪。专利技术人在研究现有技术过程中发现，目前针对高分辨率的图像进行平面目标跟踪通常采用以下两种方式：第一，采用大搜索半径的方式搜寻平面目标的特征点，但是该方法耗时严重；第二，采用小搜索半径的方式搜寻平面目标的特征点，但是这种方式很容易出现搜寻失败的情况，从而导致对平面目标跟踪失败的情况。以上两种方式中，在对平面目标进行实时跟踪时，若出现平面目标相对于摄像机运动较快情况，则往往会导致对平面目标跟踪丢失的情况或者导致叠加的图像出现抖动的现象，降低了用户对AR的体验效果。
技术实现思路
本申请部分实施例所要解决的技术问题在于提供一种目标跟踪方法、装置、电子设备和可读存储介质，使得对视频图像中的目标进行实时跟踪时，可以快速、且准确的实现对目标在该视频图像中的定位位置，提高用户对AR的体验效果。本申请的一个实施例提供了一种目标跟踪方法，包括：获取一帧视频图像，以及获取目标在视频图像中的预测位置；获取目标的缩小的模板图像；根据缩小的模板图像和预测位置，确定视频图像的缩小比例，并将视频图像按照缩小比例缩小，得到缩小的视频图像；根据预测位置确定目标在缩小的视频图像中的预测位置；根据目标在缩小的视频图像中的预测位置，采用缩小的模板图像与缩小的视频图像进行匹配，确定缩小的模板图像在缩小的视频图像中的粗略定位位置的信息；根据粗略定位位置的信息，确定目标在视频图像中的精确定位位置。本申请的一个实施例还提供了一种目标跟踪装置，包括：第一获取模块、第二获取模块、图像缩小模块、预测位置缩小模块、粗略定位模块和精确定位模块；第一获取模块用于获取一帧视频图像，以及获取目标在视频图像中的预测位置；第二获取模块用于获取该目标的缩小的模板图像；图像缩小模块用于根据缩小的模板图像和预测位置，确定视频图像的缩小比例，并将视频图像按照缩小比例缩小，得到缩小的视频图像；预测位置缩小模块用于根据预测位置确定目标在缩小的视频图像中的预测位置；粗略定位模块用于根据目标在缩小的视频图像中的预测位置，采用缩小的模板图像与缩小的视频图像进行匹配，确定缩小的模板图像在所述缩小的视频图像中的粗略定位位置的信息；精确定位模块用于根据所述粗略定位位置的信息，确定目标在所述视频图像中的精确定位位置。本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行上述的目标跟踪方法。本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述的目标跟踪方法。相对于现有技术而言，本申请部分实施例中将目标的模板图像和获取得到的视频图像进行缩小，极大程度的降低模板图像和视频图像的分辨率，使得模板图像和视频图像在进行匹配时，可以快速确定出缩小后的模板图像在缩小后的视频图像中的粗略定位位置的信息；通过粗略定位位置的信息，使得确定目标在视频图像中的精确定位位置的过程中，缩小了在视频图像中搜寻模板图像的范围，进而大大提高了确定精确定位位置的速度，缩短确定目标在视频图像中的精确定位位置的时间；且在预测位置出现了错误的情况下，由于缩小的模板图像和缩小的视频图像分辨率低、图像尺寸小，使得在不改变搜寻模板图像的范围的情况下，也可以快速确定出粗略定位位置的信息，进而不会跟丢目标的模板图像，提高了对目标跟踪的准确性，提高用户对AR的体验效果。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是本申请第一实施例中目标跟踪方法的具体流程图；图2是本申请第二实施例中目标跟踪方法中确定目标在视频图像中精确定位位置的具体流程示意图；图3是本申请第三实施例中目标跟踪方法中亚像素处理的具体流程示意图；图4是本申请第四实施例中目标跟踪装置的具体结构示意图；图5是本申请第五实施例中电子设备的具体结构示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请部分实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。然而，本领域的普通技术人员可以理解，在本申请的各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。本申请的第一实施例涉及一种目标跟踪方法，该目标跟踪方法适用于终端，尤其是移动终端，如：智能手机、智能平板等。该目标跟踪方法的具体流程如图1中所示：步骤101：获取一帧视频图像，以及获取目标在视频图像中的预测位置。具体的说，视频图像由终端通过摄像头采集获得，如，智能手机通过摄像头获取、头戴式设备通过自带的摄像头或者外接摄像头采集获得。由于视频是由一帧一帧的连续图像组成，在AR中对目标的跟踪即是通过对连续帧图像中的目标进行跟踪实现的。在视频图像中的目标是指该视频图像中的二维物体(如一个盆栽的图像、一个灯的图像)，获取目标在视频图像中的预测位置的方式可以通过该目标在上一帧视频图像中的位置估测获得；当然，该预测位置还可以是通过检测方法获取。需要说明的是，对于第一帧图像而言，目标在该视频图像中的预测位置是由检测方法获取得到，检测方法在本实施例中不再进行赘述。步骤102：获取目标的缩小的模板图像。一个具体实现中，缩小的模板图像为预存的目标的缩小的模板图像；或者，缩小的模板图像为目标的模板图像按照预设分辨率缩小后得到。具体的说，目标的模板图像是指目标的二维图像，例如，一个目标的模板图像可以是一个灯的图像、一个盆栽的图像等。模板图像的获取方式有多种，例如，可以从云端服务器中获取，还可以是终端自身采集获取。本实施例中不限制模板图像的获取方式，可以根据实际需要进行选择。其中，缩小的模板图像可以是以固定分辨率预先存储在终端中，由于直接获取缩小的模板图，大大提到了获取缩小的模板图像的速度。当然，也可以不预存缩小的模板图像，而是根据预设分辨率对全分辨率的模板图像进行缩小，例如，预设分本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，其中，包括：获取一帧视频图像，以及获取目标在所述视频图像中的预测位置；获取所述目标的缩小的模板图像；根据所述缩小的模板图像和所述预测位置，确定所述视频图像的缩小比例，并将所述视频图像按照所述缩小比例缩小，得到缩小的视频图像；根据所述预测位置确定所述目标在所述缩小的视频图像中的预测位置；根据所述目标在所述缩小的视频图像中的预测位置，采用所述缩小的模板图像与所述缩小的视频图像进行匹配，确定所述缩小的模板图像在所述缩小的视频图像中的粗略定位位置的信息；根据所述粗略定位位置的信息，确定所述目标在所述视频图像中的精确定位位置。

【技术特征摘要】
【国外来华专利技术】1.一种目标跟踪方法，其中，包括：获取一帧视频图像，以及获取目标在所述视频图像中的预测位置；获取所述目标的缩小的模板图像；根据所述缩小的模板图像和所述预测位置，确定所述视频图像的缩小比例，并将所述视频图像按照所述缩小比例缩小，得到缩小的视频图像；根据所述预测位置确定所述目标在所述缩小的视频图像中的预测位置；根据所述目标在所述缩小的视频图像中的预测位置，采用所述缩小的模板图像与所述缩小的视频图像进行匹配，确定所述缩小的模板图像在所述缩小的视频图像中的粗略定位位置的信息；根据所述粗略定位位置的信息，确定所述目标在所述视频图像中的精确定位位置。2.根据权利要求1所述的目标跟踪方法，其中，根据所述目标在所述缩小的视频图像中的预测位置，采用所述缩小的模板图像与所述缩小的视频图像进行匹配，确定所述缩小的模板图像在所述缩小的视频图像中的粗略定位位置的信息，具体包括：以所述目标在所述缩小的视频图像中的预测位置为起点，在所述缩小的视频图像中搜寻与所述缩小的模板图像匹配的图像块，根据所述匹配的图像块确定所述粗略定位位置的信息。3.根据权利要求1或2所述的目标跟踪方法，其中，根据所述粗略定位位置的信息，确定所述目标在所述视频图像中的精确定位位置，具体包括：根据所述粗略定位位置的信息，确定将所述缩小的模板图像映射至所述缩小的视频图像的初始单应矩阵；根据所述初始单应矩阵，确定金字塔匹配过程中需要的N级分辨率，N为大于1的整数；根据初始单应矩阵以及确定的N级分辨率，对所述视频图像进行所述金字塔匹配，根据所述金字塔匹配的结果确定所述目标在所述视频图像中的精确定位位置。4.根据权利要求3所述的目标跟踪方法，其中，根据初始单应矩阵以及确定的N级分辨率，对所述视频图像进行金字塔匹配，确定所述目标在所述视频图像中的精确定位位置，具体包括：按照所述N级分辨率对所述视频图像进行缩放，得到N级分辨率各自对应的N级视频图像，以及从预存的不同分辨率的模板图像中选取与得到的各级视频图像各自对应的N级模板图像；按照分辨率从低到高的顺序进行以下处理：根据第i+1级分辨率对应的初始位置，将第i+1级模板图像与第i+1级视频图像进行匹配，确定第i+1级模板图像映射至第i+1级视频图像的单应矩阵，其中，第1级分辨率为所述N级分辨率中的最低分辨率，第1级分辨率对应的初始位置根据所述初始单应矩阵确定，第i+1级分辨率对应的初始位置为根据第i级分辨率对应的单应矩阵确定，N>1,1≤i≤N-1；根据第N级分辨率对应的单应矩阵，确定所述目标在所述视频图像中的精确定位位置。5.根据权利要求3或4所述的目标跟踪方法，其中，根据所述初始单应矩阵，确定金字塔匹配过程中需要的N级分辨率，具体包括：根据所述初始单应矩阵，确定拍摄所述视频图像的使用情境，所述使用情境包括：拍摄的角度以及拍摄的距离；根据所述使用情境，确定所述金字塔匹配过程中需要的N级分辨率。6.根据权利要求4所述的目标跟踪方法，其中，根据第N级分辨率对应的单应矩阵，确定所述目标在所述视频图像中的精确定位位置，具体包括：判断第N级分辨率是否为所述视频图像的全分辨率；若不是，则根据所述第N级分辨率对应的单应矩阵，采用全分辨率的模板图像与全分辨率的视频图像进行匹配，得到全分辨率对应的单应矩阵，并根据所述全分辨率对应的单应矩阵确定全分辨率的模板图像在全分辨率视频图像中的定位位置，并作为所述目标在所述视频图像中的精确定位位置；若是，则根据所述第N级分辨率...

【专利技术属性】
技术研发人员：杨文超，王恺，廉士国，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44