相机姿态追踪过程的重定位方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种相机姿态追踪过程的重定位方法、装置及存储介质，属于增强现实领域。所述方法包括：获取所述多个标记图像中第i个标记图像后采集的当前图像；当所述当前图像符合重定位条件时，从关键帧图像库中选择出目标关键帧图像；所述关键帧图像库中存储有至少一个关键帧图像的图像信息，所述关键帧图像是在所述相机姿态追踪过程中缓存的相对于其它图像进行第一重定位成功的图像；将所述当前图像相对于所述目标关键帧图像进行第二重定位；根据所述第一重定位的定位结果和所述第二重定位的定位结果，计算得到所述相机采集所述当前图像时的相机姿态参数。

【技术实现步骤摘要】
相机姿态追踪过程的重定位方法、装置、设备及存储介质
本申请实施例涉及增强现实领域，特别涉及一种相机姿态追踪过程的重定位方法、装置、设备及存储介质。
技术介绍
视觉SLAM(simultaneousLocalizationandmapping，同时定位与地图构建)是指搭载相机的主体，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自己的运动的技术。SLAM可以应用在AR(AugmentedReality，增强显示)领域、机器人领域和无人驾驶领域中。以单目视觉SLAM为例，通常将相机采集的第一帧图像作为标记图像(Anchor)。在相机后续采集到当前图像时，设备对当前图像与标记图像之间共同具有的特征点进行追踪，根据当前图像与标记图像之间的特征点位置变化计算得到相机在现实世界中的位姿变化。但某些场景下会发生当前图像中的特征点丢失(Lost)，无法继续追踪的情况。此时，需要使用SLAM重定位方法对当前图像进行重定位。但是在AR(AugmentedReality，增强现实)领域进行相机姿态追踪时，比如使用手机拍摄桌面进行AR游戏的场景，由于AR使用场景存在其场景特殊性，直接使用相关技术中的SLAM重定位方法的效果较差，尚需提供一种适用于AR领域的重定位解决方案。
技术实现思路
本申请实施例提供了一种相机姿态追踪过程的重定位方法、装置、设备及存储介质，可以解决AR使用场景中直接使用相关技术中的SLAM重定位方法的效果较差的问题。所述技术方案如下：根据本申请的一个方面，提供了一种相机姿态追踪过程的重定位方法，应用于具有相机的设备中，所述设备用于按序执行多个标记图像的相机姿态追踪，所述方法包括：获取所述多个标记图像中第i个标记图像之后采集的当前图像，i为大于1的整数；当所述当前图像符合重定位条件时，获取所述多个标记图像中的第一个标记图像的初始特征点和初始位姿参数，所述初始位姿参数用于指示所述相机采集所述第一个标记图像时的相机姿态；将所述当前图像相对于所述第一个标记图像进行特征点追踪，得到与所述初始特征点匹配的目标特征点；根据所述初始特征点和所述目标特征点，计算所述相机从所述第一相机姿态改变至目标相机姿态时的位姿变化量，所述目标相机姿态是所述相机在采集所述当前图像时的相机姿态；根据所述初始位姿参数和所述位姿变化量，重定位得到所述目标相机姿态对应的目标位姿参数。根据本申请的另一方面，提供了一种相机姿态追踪过程的重定位装置，应用于具有相机的设备中，所述装置用于按序执行多个标记图像的相机姿态追踪，所述装置包括：图像获取模块，用于获取所述多个标记图像中第i个标记图像之后采集的当前图像，i为大于1的整数；信息获取模块，用于当所述当前图像符合重定位条件时，获取所述多个标记图像中的第一个标记图像的初始特征点和初始位姿参数，所述初始位姿参数用于指示所述相机采集所述第一个标记图像时的相机姿态；特征点追踪模块，用于将所述当前图像相对于所述第一个标记图像进行特征点追踪，得到与所述初始特征点匹配的目标特征点；变化量计算模块，用于根据所述初始特征点和所述目标特征点，计算所述相机从所述第一相机姿态改变至目标相机姿态时的位姿变化量，所述目标相机姿态是所述相机在采集所述当前图像时的相机姿态；重定位模块，用于根据所述初始位姿参数和所述位姿变化量，重定位得到所述目标相机姿态对应的目标位姿参数。根据本申请实施例的另一方面，提供了一个电子设备，所述电子设备包括存储器和处理器；所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上所述的重定位方法。根据本申请实施例的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的重定位方法。本申请实施例提供的技术方案带来的有益效果是：通过在当前图像符合重定位条件时，将当前图像与关键帧图像库中的关键帧图像进行重定位，能够在对连续多个标记图像进行追踪的Anchor-SLAM算法中实现重定位，从而减少了追踪过程中断的可能性，由于关键帧图像库中的关键帧图像可以为多个，如果关键帧图像库包括有覆盖相机采集场景的四周区域的不同关键帧图像，则有极大概率能够重定位成功，从而提高了重定位过程的成功几率。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请一个示例性实施例提供的AR应用场景的场景示意图；图2是本申请一个示例性实施例提供的AR应用场景的场景示意图；图3是本申请一个示例性实施例提供的Anchor-SwitchingARSystem算法的原理示意图；图4是本申请一个示例性实施例提供的电子设备的结构框图；图5是本申请一个示例性实施例提供的相机姿态追踪过程的重定位方法的流程图；图6是本申请一个示例性实施例提供的第一个标记图像、当前图像和一阶关键帧图像的对比示意图；图7是本申请一个示例性实施例提供的重定位方法的流程图；图8是本申请一个示例性实施例提供的重定位方法的流程图；图9是本申请一个示例性实施例提供的重定位方法的流程图；图10是本申请一个示例性实施例提供的重定位方法的流程图；图11是本申请一个示例性实施例提供的重定位方法的流程图；图12是本申请一个示例性实施例提供的相机姿态追踪过程的重定位装置的框图；图13是本申请一个示例性实施例提供的电子设备的框图。具体实施方式首先对本申请涉及的若干个名词进行简介:AR(AugmentedReality，增强现实)：一种在相机采集图像的过程中，实时地计算相机在现实世界(或称三维世界、真实世界)中的相机姿态参数，根据该相机姿态参数在相机采集的图像上添加虚拟元素的技术。虚拟元素包括但不限于：图像、视频和三维模型。AR技术的目标是在屏幕上把虚拟世界套接在现实世界上进行互动。该相机姿态参数包括位移向量和旋转矩阵，位移向量用于表征相机在现实世界中发生的位移距离，旋转矩阵用于表征相机在现实世界中发生的旋转角度。例如，参见图1和参见图2，设备在相机拍摄到的图像中添加了一个虚拟人物形象。随着相机在现实世界中的运动，相机拍摄到的图像会发生变化，虚拟人物的拍摄方位也发生变化，模拟出了虚拟人物在图像中静止不动，而相机随着位置和姿态的变化同时拍摄图像和虚拟人物的效果，为用户呈现了一幅真实立体的画面。Anchor-SwitchingARSystem：是基于连接多个标记图像(Anchor)的相机姿态追踪来确定在自然场景下的相机姿态参数，进而根据相机姿态参数在相机采集的图像上叠加虚拟世界的AR系统。IMU(InertialMeasurementUnit，惯性测量单元)：是用于测量物体的三轴姿态角(或角速率)以及加速度的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计用于检测物体在三维坐标系中每个坐标轴上的加速度信号，进而计算得到位移向量；而陀螺用于检测物体在三维坐标系中的旋转矩阵。可选地，IMU包括陀螺仪、加速度计和地磁传感器。示意性的，三维坐标系的建立方式为：1、X轴使用向量积Y*Z本文档来自技高网...

【技术保护点】
1.一种相机姿态追踪过程的重定位方法，其特征在于，应用于具有相机的设备中，所述设备用于按序执行多个标记图像的相机姿态追踪过程，所述方法包括：获取所述多个标记图像中第i个标记图像后采集的当前图像，i＞1；当所述当前图像符合重定位条件时，从关键帧图像库中选择出目标关键帧图像；所述关键帧图像库中存储有至少一个关键帧图像的图像信息，所述关键帧图像是在所述相机姿态追踪过程中缓存的相对于其它图像进行第一重定位成功的图像；将所述当前图像相对于所述目标关键帧图像进行第二重定位；根据所述第一重定位的定位结果和所述第二重定位的定位结果，计算得到所述相机采集所述当前图像时的相机姿态参数。

【技术特征摘要】
1.一种相机姿态追踪过程的重定位方法，其特征在于，应用于具有相机的设备中，所述设备用于按序执行多个标记图像的相机姿态追踪过程，所述方法包括：获取所述多个标记图像中第i个标记图像后采集的当前图像，i＞1；当所述当前图像符合重定位条件时，从关键帧图像库中选择出目标关键帧图像；所述关键帧图像库中存储有至少一个关键帧图像的图像信息，所述关键帧图像是在所述相机姿态追踪过程中缓存的相对于其它图像进行第一重定位成功的图像；将所述当前图像相对于所述目标关键帧图像进行第二重定位；根据所述第一重定位的定位结果和所述第二重定位的定位结果，计算得到所述相机采集所述当前图像时的相机姿态参数。2.根据权利要求1所述的方法，其特征在于，所述关键帧图像包括：相对于所述多个标记图像中的第一个标记图像进行第一重定位成功的一阶关键帧图像；或，相对于所述关键帧图像库中的n-1阶关键帧图像进行第一重定位成功的n阶关键帧图像，n为大于1的整数。3.根据权利要求1所述的方法，其特征在于，所述关键帧图像的图像信息包括：所述关键帧图像的第一全局描述子；所述从关键帧图像库中选择出目标关键帧图像，包括：计算所述当前图像的第二全局描述子；计算所述当前图像的第二全局描述子和所述关键帧图像库中的关键帧图像中的所述第一全局描述子之间的相似度；将具有最高相似度的关键帧图像确定为所述目标关键帧图像。4.根据权利要求3所述的方法，其特征在于，所述关键帧图像的图像信息还包括：所述第一全局描述子的反向索引；所述计算所述当前图像的第二全局描述子和所述关键帧图像库中的关键帧图像中的所述第一全局描述子之间的相似度，包括：根据所述反向索引从所述关键帧图像库中选择出候选关键帧图像，所述候选关键帧图像的所述第一全局描述子和所述第二全局描述子具有相同的叶子节点；计算所述第二全局描述子和所述候选关键帧图像的第一全局描述子之间的相似度。5.根据权利要求3所述的方法，其特征在于，所述计算所述当前图像的第二全局描述子，包括：提取所述当前图像的m个特征点描述子；将所述m个特征点描述子通过聚类算法聚类至节点树中，所述节点树中的每个父亲节点包括k个孩子节点，每个节点中包括聚类为同一类的特征点描述子；计算所述节点树中每个节点的权重值；根据所述节点树中各个叶节点的权重值集合，得到所述当前图像的第二全局描述子。6.根据权利要求5所述的方法，其特征在于，所述计算所述节点树中每个节点的权重值，包括：根据词频-逆向文件频率TF-IDF算法计算所述节点树中每个节点的权重值。7.根据权利要求1所述的方法，其特征在于，所述关键帧图像的图像信息包括：所述关键帧图像对应的第一姿态参数，所述第一姿态参数用于表征所述相机采集所述关键帧图像时的相机姿态；所述从关键帧图像库中选择出目标关键帧图像，包括：通过惯性测量单元获取所述相机的参考姿态参数，所述参考姿态参数用于表征所述相机采集所述当前图像时的参考相机姿态；计算所述当前图像的参考姿态参数和所述关键帧图像库中的关键帧图像中的所述第一姿态参数之间的相似度；将具有最高相似度的关键帧图像确定为所述目标关键帧图像。8.根据权利要求1至6任一所述...

【专利技术属性】
技术研发人员：林祥凯，凌永根，暴林超，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44