增强现实系统的跟踪方法和终端设备技术方案

本发明专利技术实施例提供了一种增强现实系统的跟踪方法和终端设备。上述增强现实系统的跟踪方法包括：接收增强现实系统的输入帧图像；对上述输入帧图像进行分层降采样；计算获得上述分层降采样的最高层的匹配点对结果，上述最高层是最小分辨率层；根据上述最高层的匹配点对结果对上述分层降采样的每层进行归一化互相关模板匹配，获得上述每层的匹配点对结果；在上述每层的匹配点对结果中选择合适的匹配点对结果进行姿态计算，获得上述输入帧图像的姿态信息。通过上述跟踪方法可以降低增强现实系统中归一化互相关模版匹配的计算量，提高图像对齐的精度，改善姿态计算的结果。

【技术实现步骤摘要】
增强现实系统的跟踪方法和终端设备
本专利技术涉及增强现实
，尤其涉及增强现实系统的跟踪方法和终端设备。
技术介绍
增强现实(AugmentedReality，AR)技术是一种人机交互技术。增强现实技术通过智能终端设备和可视化技术将虚拟内容应用到真实世界，使得虚拟内容和真实世界同时叠加到同一个画面或空间呈现给用户。增强现实系统的跟踪是对已经识别到的场景中的目标物体进行跟踪，并计算出该目标物体在场景中的位置和姿态信息，从而使得后续的融合过程可以在正确的位置上、以正确的姿态进行增强现实效果的渲染。增强现实系统的跟踪过程包括：姿态预测、图像对齐和最终姿态计算。具体地，首先得到前一帧的姿态信息Pi-1，对Pi-1应用运动模型M可以得到姿态预测值：根据姿态预测值确定当前帧的搜索范围其中T为模版图像的坐标。在搜索范围R内，计算每一个像素p(xp,yp)与模版图像中对应像素q(xq,yq)的匹配分数s。当s满足特定条件时，则认为当前帧的像素p与模版图像的像素q是匹配点对。常用的计算匹配分数的方法有归一化互相关(NormalizedCrossCorrelation，NCC)模版匹配法，当计算出的本文档来自技高网...

【技术保护点】
一种增强现实系统的跟踪方法，其特征在于，包括：接收增强现实系统的输入帧图像；对所述输入帧图像进行分层降采样；计算获得所述分层降采样的最高层的匹配点对结果，所述最高层是最小分辨率层；根据所述最高层的匹配点对结果对所述分层降采样的每层进行归一化互相关(Normalized Cross Correlation，NCC)模板匹配，获得所述每层的匹配点对结果；在所述每层的匹配点对结果中选择合适的匹配点对结果进行姿态计算，获得所述输入帧图像的姿态信息。

【技术特征摘要】
1.一种增强现实系统的跟踪方法，其特征在于，包括：接收增强现实系统的输入帧图像；对所述输入帧图像进行分层降采样；计算获得所述分层降采样的最高层的匹配点对结果，所述最高层是最小分辨率层；根据所述最高层的匹配点对结果对所述分层降采样的每层进行归一化互相关(NormalizedCrossCorrelation，NCC)模板匹配，获得所述每层的匹配点对结果；在所述每层的匹配点对结果中选择合适的匹配点对结果进行姿态计算，获得所述输入帧图像的姿态信息。2.根据权利权利要求1所述的跟踪方法，其特征在于，所述分层降采样的层数为L层，所述最高层为l＝L-1层，所述最高层的匹配点对结果为MPl；所述根据所述最高层的匹配点对结果对所述分层降采样的每层进行NCC模板匹配，获得所述每层的匹配点对结果，包括：根据所述MPl获得所述l-1层的匹配点对结果的估计值所述s为所述分层降采样的降采样因子；在所述匹配点对结果的估计值周围进行NCC模板匹配，获得所述l-1层修正后的匹配点对结果MPl-1；获得从l＝0层到所述最高层l＝L-1层共所述L层的匹配点对结果{MPl|l＝0,1,2,…,L-1}，所述l＝0层为所述分层降采样的原始分辨率图像。3.根据权利要求1所述的跟踪方法，其特征在于，所述在所述每层的匹配点对结果中选择合适的匹配点对结果进行姿态计算，包括：对于所述输入帧图像，根据目标物体在场景中的远近，选择合适的层的匹配点对结果进行所述姿态计算。4.根据权利要求1-3任一所述的跟踪方法，其特征在于，所述跟踪方法还包括：当所述分层降采样中某一层的NCC模板匹配失败，则所述输入帧图像跟踪失败。5.一种增强现实系统的跟踪方法，其特征在于，包括：接收增强现实系统的输入帧图像；根据所述输入帧图像和参考帧图像及其跟踪点进行光流迭代计算，获得所述输入帧图像的跟踪点；当所述输入帧图像的跟踪点数占比大于系统预设的跟踪点数占比阈值时，进行跟踪质量判断，如果根据所述跟踪质量判断确定所述输入帧图像跟踪成功，则根据所述输入帧图像的跟踪点与模板图像上的匹配信息计算获得所述输入帧图像的姿态信息。6.根据权利要求5所述的跟踪方法，其特征在于，所述跟踪方法还包括：当所述输入帧图像的跟踪点数占比小于等于所述系统预设的跟踪点占比阈值时，则确定所述输入帧图像跟踪失败。7.根据权利要求5或6所述的跟踪方法，其特征在于，所述参考帧图像及其跟踪点包括：初始图像及初始跟踪点，或者所述输入帧图像的前一帧图像及其跟踪点。8.根据权利要求7所述的跟踪方法，其特征在于，所述跟踪方法还包括：判断当前跟踪过程的矫正状态；如果所述矫正状态为需要矫正，则所述参考帧图像及其跟踪点为：所述初始图像及初始跟踪点；或者如果所述矫正状态为不需要矫正，则所述参考帧图像及其跟踪点为：所述输入帧图像的前一帧图像及其跟踪点。9.根据权利要求7所述的跟踪方法，其特征在于，当所述光流迭代计算失败时，判断当前跟踪过程是否矫正过；如果矫正过，则确定所述输入帧图像跟踪失败；如果没有矫正过，则根据所述增强现实系统的输入帧图像和所述初始图像及初始跟踪点再次进行光流迭代计算，获得所述输入帧图像的跟踪点。10.根据权利要求5或6所述的跟踪方法，其特征在于，所述跟踪质量判断包括：检查所述输入帧图像的匹配区域是否合理；如果所述匹配区域不合理，则跟踪结果为错误，确定所述输入帧图像跟踪失败；如果所述匹配区域合理，计算所述跟踪点与模板点之间的重投影误差，当所述投影误差大于系统预设的重投影误差阈值时，则跟踪结果为尚可，确定所述输入帧图像跟踪成功；当所述重投影误差小于等于所述重投影误差阈值时，则跟踪结果为良好，确定所述输入帧图像跟踪成功。11.一种增强现实系统的跟踪方法，其特征在于，包括：接收增强现实系统的输入帧图像；对所述输入帧图像进行跟踪；如果所述跟踪状态为光流跟踪，当所述光流跟踪的连续跟踪帧数大于等于t帧时，进行归一化互相关(NormalizedCrossCorrelation，NCC)模板跟踪，当所述光流跟踪的连续跟踪帧数小于t帧时，继续进行所述光流跟踪；所述t为系统预设值。12.根据权利要求11所述的跟踪方法，其特征在于，所述跟踪方法还包括：当所述NCC模板跟踪失败时，获取所述NCC模板跟踪失败之前、成功进行NCC模板跟踪的n帧图像和所述n帧图像的姿态信息，所述n大于等于1；根据所述n帧图像和所述n帧图像的姿态信息进行光流跟踪初始化；如果所述光流跟踪初始化成功，获得所述输入帧图像的初始图像及初始跟踪点，根据所述输入帧图像和所述初始图像及初始跟踪点进行光流迭代计算，获得所述输入帧图像的跟踪点，根据所述输入帧图像的跟踪点与模板图像上的匹配信息计算获得所述输入帧图像的姿态信息；或者，如果所述光流跟踪初始化失败，则确定所述输入帧图像跟踪失败。13.根据权利要求11或12所述的跟踪方法，其特征在于，所述NCC模板跟踪，包括：对所述输入帧图像进行分层降采样；计算获得所述分层降采样的最高层的匹配点对结果，所述最高层是最小分辨率层；根据所述最高层的匹配点对结果对所述分层降采样的每层进行NCC模板匹配，获得所述每层的匹配点对结果；在所述每层的匹配点对结果中选择合适的匹配点对结果进行姿态计算，获得所述输入帧图像的姿态信息。14.根据权利权利要求13所述的跟踪方法，其特征在于，所述分层降采样的层数为L层，所述最高层为l＝L-1层，所述最高层的匹配点对结果为MPl；所述根据所述最高层的匹配点对结果对所述分层降采样的每层进行NCC模板匹配，获得所述每层的匹配点对结果，包括：根据所述MPl获得所述l-1层的匹配点对结果的估计值所述s为所述分层降采样的降采样因子；在所述匹配点对结果的估计值周围进行NCC模板匹配，获得所述l-1层修正后的匹配点对结果MPl-1；获得从l＝0层到所述最高层l＝L-1层共所述L层的匹配点对结果{MPl|l＝0,1,2,…,L-1}，所述l＝0层为所述分层降采样的原始分辨率图像。15.根据权利要求11所述的方法，其特征在于，所述光流跟踪包括：根据所述输入帧图像和参考帧图像及其跟踪点进行光流迭代计算，获得所述输入帧图像的跟踪点；当所述输入帧图像的跟踪点数占比大于系统预设的跟踪点数占比阈值时，进行跟踪质量判断，如果根据所述跟踪质量判断确定所述输入帧图像跟踪成功，则根据所述输入帧图像的跟踪点与模板图像上的匹配信息计算获得所述输入帧图像的姿态信息；或者当所述输入帧图像的跟踪点数占比小于等于所述系统预设的跟踪点占比阈值时，则确定所述输入帧图像跟踪失败。16.根据权利要求15所述的跟踪方法，其特征在于，所述参考帧图像及其跟踪点包括：初始图像及初始跟踪点，或者所述输入帧图像的前一帧图像及其跟踪点。17.根据权利要求16所述的跟踪方法，其特征在于，所述光流跟踪还包括：判断当前跟踪过程的矫正状态；如果所述矫正状态为需要矫正，则所述参考帧图像及其跟踪点为所述初始图像及初始跟踪点；或者如果所述矫正状态为不需要矫正，则所述参考帧图像及其跟踪点为所述输入帧图像的前一帧图像及其跟踪点。18.根据权利要求15所述的跟踪方法，其特征在于，当所述光流迭代计算失败时，判断当前跟踪过程是否矫正过；如果矫正过，则确定所述输入帧图像跟踪失败；如果没有矫正过，则根据所述增强现实系统的输入帧图像和所述初始图像及初始跟踪点再次进行光流迭代计算，获得所述输入帧图像的跟踪点。19.一种终端设备，其特征在于，所述终端设备包括：接收单元，用于接收增强现实系统的输入帧图像；处理单元，用于对所述输入帧图像进行分层降采样；第一计算单元，用于计算获得所述分层降采样的最高层的匹配点对结果，所述最高层是最小分辨率层；匹配单元，用于根据所述最高层的匹配点对结果对所述分层降采样的每层进行归一化互相关(NormalizedCrossCorrelation，NCC)模板匹配，获得所述每层的匹配点对结果；和第二计算单元，用于在所述每层的匹配点对结果中选择合适的匹配...

【专利技术属性】
技术研发人员：张小军，刘力，宋健，
申请(专利权)人：视辰信息科技上海有限公司，
类型：发明
国别省市：上海,31