相机姿态追踪方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种相机姿态追踪方法、装置、设备及系统，属于增强现实领域。所述方法包括：第二设备接收第一设备发送的初始标记图像和初始姿态参数；第二设备获取所述相机采集的当前图像；第二设备获取所述当前图像相对于所述初始标记图像的相机姿态变化量；第二设备根据所述初始姿态参数和所述相机姿态变化量，计算得到所述相机采集所述当前图像时的当前相机姿态参数。本申请使得第二设备将自身采集的图像相对于第一设备的初始标记图像进行相机姿态追踪，保证两者的相机姿态追踪结果是相同的，从而解决了若需要将第一设备上构建的环境地图同步至第二设备上，需要传输大量数据的问题。

Camera attitude tracking method, device, device and storage medium

This application discloses a camera attitude tracking method, device, equipment and system, which belongs to the field of augmented reality. The method includes: the second device receives the initial tag image and initial attitude parameters transmitted by the first device; the second device obtains the current image captured by the camera; the second device obtains the camera attitude variation of the current image relative to the initial tag image; and the second device obtains the camera attitude variation according to the initial attitude parameters and the initial attitude parameters. The camera attitude variation is calculated to obtain the current camera attitude parameters when the camera collects the current image. This application enables the second device to track the camera attitude relative to the initial tag image of the first device, ensuring that the camera attitude tracking results of the two devices are the same, thus solving the problem that a large amount of data needs to be transmitted if the environmental map constructed on the first device is synchronized to the second device.

【技术实现步骤摘要】
相机姿态追踪方法、装置、设备及存储介质
本申请实施例涉及增强现实领域，特别涉及一种相机姿态追踪方法、装置、设备及存储介质。
技术介绍
在AR(AugmentedReality，增强显示)领域，搭载相机的设备需要在没有环境先验信息的情况下，于运动过程中追踪相机在现实环境中的运动姿态。在相机姿态追踪过程中，设备会对现实环境建立三维坐标系。相关技术中针对单个设备的相机姿态追踪已经存在成熟的解决方案。示意性的，设备以初始采集到的第一个图像作为标记图像，对后续图像相对于标记图像进行特征点追踪，根据特征点追踪结果计算后续图像和标记图像之间的单应性矩阵，对单应性矩阵进行分解，从而根据分解结果得到相机在采集后续图像时的相机姿态。在AR应用程序中存在多个设备协同的多人模式，由于每个设备的硬件参数以及相机拍摄角度各不相同，每个设备对现实环境中所建立的三维坐标系是不同的，从而导致每个设备追踪到的相机姿态是不同的。若需要两个设备基于相同的基准进行相机姿态追踪，则需要将第一设备上构建的环境地图(包含大量图像帧和三维点)同步至第二设备上，同步过程需要传输大量的数据量，不利于采用移动网络的电子设备上的实施。专利技本文档来自技高网...

【技术保护点】
1.一种相机姿态追踪方法，其特征在于，应用于设置有相机的第二设备中，所述方法包括：接收第一设备发送的初始标记图像和初始姿态参数；获取所述相机采集的当前图像；获取所述当前图像相对于所述初始标记图像的相机姿态变化量；根据所述初始姿态参数和所述相机姿态变化量，计算得到所述相机采集所述当前图像时的当前相机姿态参数。

【技术特征摘要】
1.一种相机姿态追踪方法，其特征在于，应用于设置有相机的第二设备中，所述方法包括：接收第一设备发送的初始标记图像和初始姿态参数；获取所述相机采集的当前图像；获取所述当前图像相对于所述初始标记图像的相机姿态变化量；根据所述初始姿态参数和所述相机姿态变化量，计算得到所述相机采集所述当前图像时的当前相机姿态参数。2.根据权利要求1所述的方法，其特征在于，所述获取所述当前图像相对于所述初始标记图像的相机姿态变化量，包括：将所述当前图像相对于所述初始标记图像进行重定位，得到所述相机姿态变化量；和/或，获取第i个标记图像相对于所述初始标记图像的第一姿态变化量，i＞1；将所述当前图像相对于所述第i个标记图像进行特征点追踪，得到第二姿态变化量；根据所述第一姿态变化量和所述第二姿态变化量，计算得到所述相机姿态变化量。3.根据权利要求2所述的方法，其特征在于，所述将所述当前图像相对于所述初始标记图像进行重定位，得到所述相机姿态变化量，包括：获取所述初始标记图像的初始特征点；将所述当前图像相对于所述初始标记图像进行特征点追踪，得到与所述初始特征点匹配的目标特征点；根据所述初始特征点和所述目标特征点，计算所述初始标记图像和所述当前图像之间的单应性矩阵；分解所述单应性矩阵得到所述相机姿态变化量。4.根据权利要求2所述的方法，其特征在于，所述根据所述第一姿态变化量和所述第二姿态变化量，计算得到所述相机姿态变化量，包括：设所述第一姿态变化量包括第一旋转矩阵Rmf和第一位移向量Tmf，所述第二姿态变化量包括第二旋转矩阵Rcm和第二位移向量Tcm，按照如下公式计算得到所述相机姿态变化量Rcf和Tcf：其中，Smf是所述第i个标记图像的尺度。5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述初始姿态参数和所述相机姿态变化量，计算得到所述相机采集所述当前图像时的相机姿态参数，包括：按照如下公式计算得到所述相机姿态参数R和T：其中，Rcf是所述相机姿态变化量中的旋转矩阵，Tcf是所述相机姿态变化量中的位移向量，Rborn是所述初始姿态参数中的旋转矩阵，Tborn是所述初始姿态参数中的位移向量。6.根据权利要求1至4任一所述的方法，其特征在于，所述接收第一设备发送的初始标记图像和初始姿态参数，包括：接收所述第一设备通过目标数据通道发送的所述初始标记图像和所述初始姿态参数，所述目标数据通道包括：无线保真网络、蓝牙、有线网络、数据线中的至少一种；和/或，接收服务器发送的所述初始标记图像和所述初始姿态参数，所述初始标记图像和所述初始姿态参数是所述第一设备发送给所述服务器的。7.一种相机姿态追踪装置，其特征在于，应用于设置有相机的第二设备中，所述装置包括：接收模块，用...

【专利技术属性】
技术研发人员：林祥凯，凌永根，暴林超，朱晓龙，乔亮，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44