一种基于增强现实的目标跟踪方法、设备及系统技术方案

本发明专利技术公开了一种基于增强现实的目标跟踪方法、设备及系统，涉及通信技术领域，减少了特征点的索引数据库在终端上所占用的存储空间，便于将AR目标跟踪应用到移动终端上。本发明专利技术的方法主要包括：终端将被跟踪目标的第一图像帧的特征点的索引发送给服务器；接收所述服务器下发的第一目标状态以及与第一目标状态对应的特征点的索引;根据所述第一目标状态和所述与第一目标状态对应的特征点的索引计算与第二目标状态对应的特征点的索引，获得特征点的索引数据库;将所述第二图像帧的特征点的索引与所述特征点的索引数据库进行匹配，确定被跟踪目标在第二图像帧中呈现的目标状态。

【技术实现步骤摘要】
一种基于增强现实的目标跟踪方法、设备及系统
本专利技术涉及通信
，尤其涉及一种基于增强现实的目标跟踪方法、设备及系统。
技术介绍
增强现实（AR，AugmentedReality）是指借助三维现实技术和多传感技术等计算机技术，将二维图像转化成具有不同深度和层次的立体视觉效果的一种技术。随着移动终端的处理能力提高，用户体验需求增长以及移动数据服务网络的推广，AR不仅在广告、教育和医疗等领域发挥重要作用，也可以应用到移动终端上。现有的AR实现方式是基于终端设备的单机实现方式，具体流程如下：终端上存储有可能会出现的目标的模板图像，并计算模板图像经扭曲和旋转后的各种状态下的特征点的索引数据库，该特征点的索引数据库包含由目标在各种可能的角度和位置上通过特征点提取得到的特征索引数据。接下来开始目标跟踪，终端通过摄像头获取到当前帧图像时，可以提取当前帧图像的特征索引，并将当前帧图像的特征索引与特征点的索引数据库匹配，从而确定当前帧图像中的目标以及目标所处的状态，这样便完成了当前帧的目标跟踪。跟踪得到的所述目标状态包括目标的旋转角度和在图像中的位置等信息，以当前帧图像为背景按照所述目标状态将目本文档来自技高网...

【技术保护点】
一种基于增强现实的目标跟踪方法，其特征在于，包括：终端将被跟踪目标的第一图像帧的特征点的索引发送给服务器；接收所述服务器下发的第一目标状态以及与第一目标状态对应的特征点的索引，所述第一目标状态为根据第一图像帧的特征点的索引获得的与初始目标状态相邻的目标状态；根据所述第一目标状态和所述与第一目标状态对应的特征点的索引计算与第二目标状态对应的特征点的索引，获得特征点的索引数据库；所述第二目标状态与第一目标状态相邻；所述特征点的索引数据库包括所述与第一目标状态对应的特征点的索引以及所述与第二目标状态对应的特征点的索引；获取所述被跟踪目标的第二图像帧并提取所述第二图像帧的特征点的索引；将所述第二图像帧...

【技术特征摘要】
1.一种基于增强现实的目标跟踪方法，其特征在于，包括：终端将被跟踪目标的第一图像帧的特征点的索引发送给服务器；接收所述服务器下发的第一目标状态以及与第一目标状态对应的特征点的索引，所述第一目标状态为根据第一图像帧的特征点的索引获得的与初始目标状态相邻的目标状态；根据所述第一目标状态和所述与第一目标状态对应的特征点的索引计算与第二目标状态对应的特征点的索引，获得特征点的索引数据库；所述第二目标状态与第一目标状态相邻；所述特征点的索引数据库包括所述与第一目标状态对应的特征点的索引以及所述与第二目标状态对应的特征点的索引；获取所述被跟踪目标的第二图像帧并提取所述第二图像帧的特征点的索引；将所述第二图像帧的特征点的索引与所述特征点的索引数据库进行匹配，获得与所述特征点的索引数据库中特征点的索引匹配的第二图像帧的特征点以及所述特征点的索引数据库中特征点的索引对应的特征点组成的特征点对，根据获得的特征点对确定被跟踪目标在第二图像帧中呈现的目标状态。2.根据权利要求1所述的基于增强现实的目标跟踪方法，其特征在于，所述终端将被跟踪目标的第一图像帧的特征点的索引发送给服务器之前，该方法进一步包括：获取所述被跟踪目标的第一图像帧，并提取所述第一图像帧的特征索引。3.根据权利要求1或2所述的基于增强现实的目标跟踪方法，其特征在于，所述根据所述第一目标状态和所述与第一目标状态对应的特征点的索引计算与第二目标状态对应的特征点的索引，包括：根据所述第一目标状态对应的特征点的索引，计算预定方向上或随机方向上所述与第二目标状态对应的特征点的索引。4.根据权利要求3所述的基于增强现实的目标跟踪方法，第三图像帧之前有至少k帧第二图像帧，并且已通过所述k帧第二图像帧中每一帧的特征点的索引与所述特征点的索引数据库分别确定了被跟踪目标在所述k帧第二图像帧中每一帧中呈现的目标状态，其特征在于，所述根据所述第一目标状态和所述与第一目标状态对应的特征点的索引计算与第二目标状态对应的特征点的索引，还包括：获取所述第三图像帧之前的k帧第二图像帧中所述被跟踪目标的状态；其中k为预先设定的大于或等于2的整数；根据所述第三图像帧之前的k帧第二图像帧中所述被跟踪目标的状态，统计得到所述被跟踪目标的运动方向；根据所述第一目标状态对应的特征点的索引，计算所述运动方向上所述与第二目标状态对应的特征点的索引。5.根据权利要求4所述的基于增强现实的目标跟踪方法，其特征在于，所述根据所述与所述第一目标状态对应的特征点的索引，计算所述运动方向上所述与所述第一目标状态对应的特征点的索引的与第二目标状态对应的特征点的索引，包括循环地对分别每一维度轮流做如下操作，其中所述维度包括尺度因子S、旋转因子Z以及仿射因子X和仿射因子Y：确定当前维度的目标运动方向与所述当前维度的特征索引数据计算方向相同，按照所述特征索引数据计算方向继续计算与第二目标状态对应的特征点的索引；确定当前维度的目标运动方向与所述当前维度的特征索引数据计算方向不同，进行下一维度的与第二目标状态对应的特征点的索引计算。6.根据权利要求5所述的基于增强现实的目标跟踪方法，其特征在于，所述确定当前维度的目标运动方向与所述当前维度的特征索引数据计算方向相同之后，还包括：确定当前维度的目标运动方向与所述当前维度的特征索引数据计算方向相同，且确定当前维度上目标所在位置与所述特征点的索引数据库在所述当前维度的目标运动方向上边界值的绝对差值小于预设阈值，则按照所述特征索引数据计算方向继续计算所述与第二目标状态对应的特征点的索引；确定当前维度的目标运动方向与所述当前维度的特征索引数据计算方向相同，但当前维度上目标所在位置与所述特征点的索引数据库在所述当前维度的目标运动方向上边界值的绝对差值不小于预设阈值，则进行下一维度的与第二目标状态对应的特征点的索引计算。7.根据权利要求1所述的基于增强现实的目标跟踪方法，其特征在于，该方法还包括：确定第四图像帧的特征点的索引与所述特征点的索引数据库的匹配失败，将所述第四图像帧的特征点的索引发送给所述服务器以获取所述第四图像帧中被跟踪目标呈现的的第三目标状态和与所述第三目标状态对应的特征点的索引。8.根据权利要求7所述的基于增强现实的目标跟踪方法，其特征在于，将特征索引数据保存在内存或磁盘区；在将所述第四图像帧的特征索引发送给所述服务器之前，所述方法还包括：从所述内存或磁盘区中获取所述第四图像帧中被跟踪目标呈现的第三目标状态和与所述第三目标状态对应的特征点的索引；确定所述内存或磁盘区中未存储所述第四图像帧中被跟踪目标呈现的第三目标状态和与所述第三目标状态对应的特征点的索引，执行所述将第四图像帧的特征点的索引发送给所述服务器以获取所述第四图像帧中被跟踪目标呈现的第三目标状态和与所述第三目标状态对应的特征点的索引。9.一种基于增强现实的目标跟踪方法，其特征在于，包括：服务器接收终端发送的被跟踪目标的第一图像帧的特征点的索引；将所述第一图像帧的特征点的索引与特征点的索引数据库进行匹配，确定第一目标状态和与所述第一目标状态对应的特征点的索引；所述第一目标状态为根据第一图像帧的特征点的索引获得的与初始目标状态相邻的目标状态；向所述终端发送所述第一目标状态和所述与所述第一目标状态对应的特征点的索引，以便于所述终端根据所述被跟踪目标的第一目标状态和与所述第一目标状态对应的特征点的索引计算与第二目标状态对应的特征点的索引，从而确定所述被跟踪目标在第二图像帧中呈现的目标状态。10.根据权利要求9所述的基于增强现实的目标跟踪方法，其特征在于，所述将所述第一图像帧的特征点的索引与特征点的索引数据库进行匹配，确定第一目标状态和与所述第一目标状态对应的特征点的索引，包括：将所述第一图像帧的特征点的索引与特征点的索引数据库进行匹配，确定在所述第一图像帧中被跟踪目标呈现的初始目标状态；根据所述初始目标状态和网络配置确定所述第一目标状态以及与所述第一目标状态对应的特征点的索引。11.根据权利要求10所述的基于增强现实的目标跟踪方法，其特征在于，所述根据所述初始目标状态和网络配置确定所述第一目标状态以及与所述第一目标状态对应的特征点的索引，包括：根据网络带宽和用户设备容许的最长等待时间，计算与所述第一目标状态对应的特征点的索引的数据容量；根据所述数据容量确定n值，从而将初始目标状态各维度分别增大和减小n个最小间隔时对应的目标状态确定为第一目标状态，从而确定与所述第一目标状态对应的特征点的索引，其中n为大于等于1的整数。12.一种终端，其特征在于，包括：发送单元，用于将被跟踪目标的第一图像帧的特征点的索引发送给服务器；接收单元，用于接收所述服务器根据所述第一图像帧的特征点的索引下发的所述被跟踪目标的第一目标状态和与所述第一目标状态对应的...

【专利技术属性】
技术研发人员：吴加明，刘峥，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44