位姿确定方法、装置及存储介质制造方法及图纸

本发明专利技术实施例公开了一种位姿确定方法、装置及存储介质，属于计算机技术领域。方法包括：基于标记图像相对于指定坐标系的单应性矩阵，追踪标记图像的特征点，获取指定图像相对于指定坐标系的单应性矩阵；根据约束条件和深度假设条件对单应性矩阵进行分解，得到指定图像相对于标记图像的旋转位移矩阵；从旋转位移矩阵中获取指定图像相对于标记图像的位姿参数。在分解单应性矩阵时考虑到了特征点的深度对追踪过程的影响，以特征点在指定坐标系的水平面上的深度相同的条件获取指定图像相对于标记图像的位姿参数，从而确定相机的位置和姿态，提高了相机的追踪精度。即使在切换标记图像时也不会引入误差。

【技术实现步骤摘要】
位姿确定方法、装置及存储介质
本专利技术实施例涉及计算机
，特别涉及一种位姿确定方法、装置及存储介质。
技术介绍
AR(AugmentedReality，增强现实)技术是一种实时地追踪相机的位置和姿态，并结合虚拟的图像、视频或者三维模型进行显示的技术，能够将虚拟场景与实际场景结合显示，是目前计算机视觉领域的重要研究方向之一。AR技术中最重要的问题在于如何准确确定相机的位置和姿态。相关技术提出了一种通过追踪模板(marker)图像中的特征点来确定相机位置和姿态的方法，先预先定义好一个模板图像，提取模板图像中的特征点，随着相机的位置或姿态的变化对提取的特征点进行追踪，每当相机当前拍摄到一个图像时，在当前图像中识别模板图像的特征点，从而能够将特征点在当前图像中的位置和姿态与特征点在模板图像中的位置和姿态进行对比，得到特征点的位姿参数，进而得到当前图像相对于模板图像的位姿参数，如旋转参数和位移参数，该位姿参数可以表示相机拍摄当前图像时的位置和姿态。在实现本专利技术实施例的过程中，专利技术人发现上述相关技术至少存在以下问题：相机发生旋转时特征点在图像中的深度会发生变化，对位姿参数造成影响，然而，上述确定位姿参数的方法未考虑特征点在图像中的深度，导致相机的追踪精确度不高。
技术实现思路
本专利技术实施例提供了一种位姿确定方法、装置及存储介质，可以解决相关技术的问题。所述技术方案如下：第一方面，提供了一种位姿确定方法，所述方法包括：基于标记图像相对于指定坐标系的单应性矩阵，在相机拍摄图像的过程中追踪所述标记图像的特征点，获取所述相机拍摄的指定图像相对于所述指定坐标系的单应性矩阵；根据旋转位移矩阵应满足的约束条件和所述特征点的深度应满足的深度假设条件，对所述单应性矩阵进行分解，得到所述指定图像相对于所述标记图像的旋转位移矩阵，所述深度假设条件为所述标记图像的特征点在所述指定坐标系的水平面上的深度相同，所述指定坐标系的水平面根据所述指定坐标系的X轴和Y轴确定；从所述旋转位移矩阵中获取所述指定图像相对于所述标记图像的位姿参数。第二方面，提供了一种位姿确定装置，所述装置包括：第一获取模块，用于基于标记图像相对于指定坐标系的单应性矩阵，在相机拍摄图像的过程中追踪所述标记图像的特征点，获取所述相机拍摄的指定图像相对于所述指定坐标系的单应性矩阵；分解处理模块，用于根据旋转位移矩阵应满足的约束条件和所述特征点的深度应满足的深度假设条件，对所述单应性矩阵进行分解，得到所述指定图像相对于所述标记图像的旋转位移矩阵，所述深度假设条件为所述标记图像的特征点在所述指定坐标系的水平面上的深度相同，所述指定坐标系的水平面根据所述指定坐标系的X轴和Y轴确定；第二获取模块，用于从所述旋转位移矩阵中获取所述指定图像相对于所述标记图像的位姿参数。第三方面，提供了一种位姿确定装置，所述位姿确定装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并具有以实现如第一方面所述的位姿确定方法中所具有的操作。第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并具有以实现如第一方面所述的位姿确定方法中所具有的操作。本专利技术实施例提供的技术方案带来的有益效果至少包括：本专利技术实施例提供的方法、装置及存储介质，通过设置更符合真实情况的深度假设条件：标记图像的特征点在指定坐标系的水平面上的深度相同，在相机拍摄图像的过程中，获取指定图像相对于指定坐标系的单应性矩阵，以指定坐标系作为基准坐标系，根据旋转位移矩阵应满足的约束条件和特征点的深度应满足的深度假设条件，对单应性矩阵进行分解得到指定图像相对于标记图像的旋转位移矩阵，从旋转位移矩阵中获取位姿参数。在分解单应性矩阵时考虑到了特征点的深度对追踪过程的影响，以特征点在指定坐标系的水平面上的深度相同的条件获取指定图像相对于标记图像的位姿参数，从而确定相机的位置和姿态，提高了相机的追踪精度。并且，当拍摄的图像不满足特征点追踪条件时切换标记图像，既能够避免追踪失败，也不会引入误差。并且，通过根据IMU测量的多个旋转参数以及对应的时间戳进行插值得到旋转参数曲线，根据旋转参数曲线可以进行数据对齐，从而根据指定图像的时间戳和旋转参数曲线，获取指定图像的旋转参数，提高了精确度，无需依赖于IMU的参数，避免了IMU的标定问题，并且考虑到了智能设备计算能力低的问题，通过IMU获取旋转参数可以降低计算量，提高计算速度。另外，将噪声项删除，可以提高数据的准确性，进一步提高精确度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的场景界面的显示示意图；图2是本专利技术实施例提供的另一场景界面的显示示意图；图3是本专利技术实施例提供的一种位姿确定方法的流程图；图4是本专利技术实施例提供的一种拍摄图像示意图；图5是本专利技术实施例提供的一种拍摄图像示意图；图6是本专利技术实施例提供的一种位姿确定方法的流程图；图7是本专利技术实施例提供的一种位姿确定装置的结构示意图；图8是本专利技术实施例提供的一种终端的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了一种位姿确定方法，应用于智能设备追踪相机的位置和姿态的场景下，尤其是在AR场景下，智能设备采用AR技术进行显示时，需要追踪相机的位置和姿态，如AR游戏、AR视频等。其中，智能设备配置有相机和显示单元，相机用于拍摄现实场景的图像，显示单元用于显示由现实场景与虚拟场景结合构成的场景界面。智能设备随着相机的运动可以追踪相机的位置和姿态的变化，还可以拍摄现实场景的图像，按照相机的位置和姿态的变化依次显示当前拍摄到的多个图像，从而模拟出显示三维界面的效果。并且，在显示的图像中可以添加虚拟元素，如虚拟图像、虚拟视频或者虚拟三维模型等，随着相机的运动，可以按照相机的位置和姿态的变化，以不同的方位显示虚拟元素，从而模拟出显示三维虚拟元素的效果。现实场景的图像与虚拟元素结合显示，构成了场景界面。例如，参见图1和参见图2，智能设备在拍摄到的包含桌子和茶杯的图像中添加了一个虚拟人物形象，随着相机的运动，拍摄到的图像发生变化，虚拟人物形象的拍摄方位也发生变化，模拟出了虚拟人物形象在图像中相对于桌子和茶杯静止不动，而相机随着位置和姿态的变化同时拍摄桌子、茶杯和虚拟人物形象的效果，为用户呈现了一幅真实立体的画面。图3是本专利技术实施例提供的一种位姿确定方法的流程图，该位姿确定方法的执行主体为智能设备，该智能设备可以为配置有相机的手机、平板电脑等终端或者为配置有相机的AR眼镜、AR头盔等AR设备。参见图3，该本文档来自技高网...

【技术保护点】
1.一种位姿确定方法，其特征在于，所述方法包括：基于标记图像相对于指定坐标系的单应性矩阵，在相机拍摄图像的过程中追踪所述标记图像的特征点，获取所述相机拍摄的指定图像相对于所述指定坐标系的单应性矩阵；根据旋转位移矩阵应满足的约束条件和所述特征点的深度应满足的深度假设条件，对所述单应性矩阵进行分解，得到所述指定图像相对于所述标记图像的旋转位移矩阵，所述深度假设条件为所述标记图像的特征点在所述指定坐标系的水平面上的深度相同，所述指定坐标系的水平面根据所述指定坐标系的X轴和Y轴确定；从所述旋转位移矩阵中获取所述指定图像相对于所述标记图像的位姿参数。

【技术特征摘要】
1.一种位姿确定方法，其特征在于，所述方法包括：基于标记图像相对于指定坐标系的单应性矩阵，在相机拍摄图像的过程中追踪所述标记图像的特征点，获取所述相机拍摄的指定图像相对于所述指定坐标系的单应性矩阵；根据旋转位移矩阵应满足的约束条件和所述特征点的深度应满足的深度假设条件，对所述单应性矩阵进行分解，得到所述指定图像相对于所述标记图像的旋转位移矩阵，所述深度假设条件为所述标记图像的特征点在所述指定坐标系的水平面上的深度相同，所述指定坐标系的水平面根据所述指定坐标系的X轴和Y轴确定；从所述旋转位移矩阵中获取所述指定图像相对于所述标记图像的位姿参数。2.根据权利要求1所述的方法，其特征在于，所述基于标记图像相对于指定坐标系的单应性矩阵，在相机拍摄图像的过程中追踪所述标记图像的特征点，获取所述相机拍摄的指定图像相对于所述指定坐标系的单应性矩阵，包括：获取所述标记图像相对于所述指定坐标系的单应性矩阵；在从所述标记图像的下一个图像至所述指定图像的每个图像中追踪所述标记图像的特征点，获取所述每个图像相对于上一个图像的单应性矩阵；基于所述标记图像相对于所述指定坐标系的单应性矩阵，对所述每个图像相对于上一个图像的单应性矩阵进行迭代处理，得到所述指定图像相对于所述指定坐标系的单应性矩阵。3.根据权利要求2所述的方法，其特征在于，所述获取所述标记图像相对于所述指定坐标系的单应性矩阵，包括：获取所述标记图像相对于所述指定坐标系的旋转参数矩阵；根据所述标记图像相对于所述指定坐标系的旋转参数矩阵，采用以下公式，获取所述标记图像相对于所述指定坐标系的单应性矩阵：Had＝P*Rad*P-1；其中，Had表示所述标记图像相对于所述指定坐标系的单应性矩阵，Rad表示所述标记图像相对于所述指定坐标系的旋转参数矩阵，P表示所述相机的透视投影参数。4.根据权利要求3所述的方法，其特征在于，所述获取所述标记图像相对于所述指定坐标系的旋转参数矩阵，包括：当所述指定坐标系为世界坐标系投影到所述世界坐标系的水平面上形成的虚拟相机坐标系时，在所述相机拍摄所述标记图像时，通过惯性测量单元IMU获取所述标记图像相对于所述世界坐标系的旋转参数矩阵；将所述标记图像相对于所述世界坐标系的旋转参数矩阵作为所述标记图像相对于所述指定坐标系的旋转参数矩阵。5.根据权利要求3所述的方法，其特征在于，所述标记图像为初始标记图像之后切换的其他标记图像，所述获取所述标记图像相对于所述指定坐标系的旋转参数矩阵，包括：当所述指定坐标系为所述相机拍摄所述初始标记图像时的相机坐标系时，在从所述初始标记图像的下一个图像至所述标记图像的每个图像中追踪所述初始标记图像的特征点，获取所述每个图像相对于上一个图像的旋转参数矩阵；基于所述初始标记图像相对于所述指定坐标系的旋转参数矩阵，对所述每个图像相对于上一个图像的旋转参数矩阵进行迭代处理，得到所述标记图像相对于所述指定坐标系的旋转参数矩阵。6.根据权利要求1所述的方法，其特征在于，所述根据旋转位移矩阵应满足的约束条件和所述特征点的深度应满足的深度假设条件，对所述单应性矩阵进行分解，得到所述指定图像相对于所述标记图像的旋转位移矩阵，包括：将所述指定坐标系向Z轴的负方向平移一个单位，得到第一坐标系；根据所述约束条件对所述单应性矩阵进行分解，得到所述指定图像相对于所述第一坐标系中的所述标记图像的旋转位移矩阵；根据所述第一坐标系与所述标记图像的图像坐标系之间的转换关系，对所述指定图像相对于所述第一坐标系中的所述标记图像的旋转位移矩阵进行转换，得到所述指定图像相对于所述标记图像的旋转位移矩阵。7.根据权利要求6所述的方法，其特征在于，所述约束条件包括旋转位移矩阵中旋转参数矩阵的列向量为单位矩阵，且旋转参数矩阵的第一列与第二列的乘积等于第三列；所述根据所述约束条件对所述单应性矩阵进行分解，得到所述指定图像相对于所述第一坐标系中的所述标记图像的旋转位移矩阵，包括：采用以下公式，对所述单应性矩阵进行分解：其中，表示所述单应性矩阵，Rcm表示所述指定图像相对于所述第一坐标系中的所述标记图像的旋转参数矩阵，Tcm表示所述指定图像相对于所述第一坐标系中的所述标记图像的位移参数矩阵，g表示归一化因子，P表示所述相机的透视投影参数；根据所述约束条件，计算出所述指定图像相对于所述第一坐标系中的所述标记图像的旋转参数矩阵Rcm和位移参数矩阵Tcm。8.根据权利要求6所述的方法，其特...

【专利技术属性】
技术研发人员：林祥凯，乔亮，朱峰明，凌永根，暴林超，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44