增强现实显示的方法、姿态信息的确定方法及装置制造方法及图纸

本发明专利技术实施例公开了一种图像采集设备姿态信息确定的方法，包括：获取目标对象的第一图像；从第一图像中提取目标对象所对应的第一2D关键点的坐标信息；获取所述目标对象的第二图像；根据第一2D关键点的坐标信息获取第二图像的第二2D关键点的坐标信息；获取目标对象所对应的3D关键点的坐标信息；根据第一2D关键点的坐标信息、第二2D关键点的坐标信息以及3D关键点的坐标信息，确定第二图像的相机姿态信息。本发明专利技术还提供一种增强现实显示的方法以及图像采集设备。本发明专利技术实施例能够在估计相机姿态信息时得到更多的关键点，减小相机姿态信息的误差，也可以避免由于跟踪的关键点数量太少而导致跟踪丢失的情况。

【技术实现步骤摘要】
增强现实显示的方法、姿态信息的确定方法及装置
本专利技术涉及即时定位与地图构建领域，尤其涉及一种图像采集设备信息确定的方法以及相关装置。
技术介绍
即时定位与地图构建领域(SimultaneousLocalizationandMapping，SLAM)指的是，当某种设备(如机器人或虚拟现实设备等)来到一个陌生环境时，它需要精准地建立时间和空间的对应关系。目前，在SLAM系统中进行相机跟踪时，一般是将已经计算出的三维(threedimensional，3D)点投影到新的一帧二维(twodimensional，2D)图像中，并对相机的相机姿态信息进行估计，也就是使用的是3D对应2D(3D-2Dcorrespondences)的方式进行跟踪。请参阅图1，图1为现有技术中基于3D-2Dcorrespondences获取3D点的示意图，如图所示，在估计t帧图像的相机姿态信息时，需要通过t-1帧图像和t-2帧图像对关键点进行三角化，并得到关键点的3D位置(图1中的空心星)，然后利用关键点的3D位置估计t帧图像的相机姿态信息。若从t-2帧图像快速移动到t帧图像，则空心星只占据t帧图像的一小部分，利用这种这一小部分的关键点去估计整个t帧图像的相机姿态信息会造成较大的误差，而且很容易会由于跟踪的关键点数量太少而导致跟踪丢失。
技术实现思路
本专利技术实施例提供了一种增强现实显示的方法、姿态信息的确定方法及装置，能够在估计第二图像的相机姿态信息时得到更多的关键点，一方面减小相机姿态信息的误差，另一方面，也可以避免由于跟踪的关键点数量太少而导致跟踪丢失的情况。有鉴于此，本专利技术第一方面提供了一种增强现实显示的方法，包括：获取目标对象的第一图像；从第一图像中提取所述目标对象所对应的第一2D关键点的坐标信息；获取所述目标对象的第二图像；根据所述第一2D关键点的坐标信息获取所述第二图像的第二2D关键点的坐标信息，其中，所述第一2D关键点与所述第二2D关键点是所述目标对象中的同一个关键点；获取所述目标对象所对应的3D关键点的坐标信息，其中，所述3D关键点为经过三角化处理的关键点；根据所述第一2D关键点的坐标信息、所述第二2D关键点的坐标信息以及所述3D关键点的坐标信息，确定所述第二图像的相机姿态信息，其中，所述相机姿态信息用于确定所述目标对象在所述第二图像中的位置；获取附加图像信息；根据所述第二图像、所述第二图像的相机姿态信息以及所述附加图像信息，生成增强图像。本专利技术第二方面提供了一种图像采集设备信息确定的方法，包括：获取目标对象的第一图像；从所述第一图像中提取所述目标对象所对应的第一2D关键点的坐标信息；获取所述目标对象的第二图像；根据所述第一2D关键点的坐标信息获取所述第二图像的第二2D关键点的坐标信息，其中，所述第一2D关键点与所述第二2D关键点是所述目标对象中的同一个关键点；获取所述目标对象所对应的3D关键点的坐标信息，其中，所述3D关键点为经过三角化处理的关键点；根据所述第一2D关键点的坐标信息、所述第二2D关键点的坐标信息以及所述3D关键点的坐标信息，确定所述第二图像的相机姿态信息，其中，所述相机姿态信息用于确定目标对象在所述第二图像中的位置。本专利技术第三方面提供了一种图像采集设备，包括：获取模块，用于获取目标对象的第一图像；所述获取模块，还用于根据所述第一2D关键点的坐标信息获取第二图像的第二2D关键点的坐标信息，其中，所述第一2D关键点与所述第二2D关键点是位于不同图像中的同一个关键点，所述第一图像为所述第二图像之前的任意一帧图像；所述获取模块，还用于获取所述目标对象的第二图像；所述确定模块，还用于根据所述获取模块获取的所述第一2D关键点的坐标信息、所述第二2D关键点的坐标信息以及所述3D关键点的坐标信息，确定所述第二图像的相机姿态信息，其中，所述相机姿态信息用于确定目标对象在所述第二图像中的位置。本专利技术第四方面提供了一种图像采集设备，包括：存储器、处理器以及总线系统；其中，所述存储器用于存储程序；所述处理器用于执行所述存储器中的程序，具体包括如下步骤：获取目标对象的第一图像；从所述第一图像中提取所述目标对象所对应的第一2D关键点的坐标信息；获取所述目标对象的第二图像；根据所述第一2D关键点的坐标信息获取所述第二图像的第二2D关键点的坐标信息，其中，所述第一2D关键点与所述第二2D关键点是所述目标对象中的同一个关键点；获取所述目标对象所对应的3D关键点的坐标信息，其中，所述3D关键点为经过三角化处理的关键点；根据所述第一2D关键点的坐标信息、所述第二2D关键点的坐标信息以及所述3D关键点的坐标信息，确定所述第二图像的相机姿态信息，其中，所述相机姿态信息用于确定目标对象在所述第二图像中的位置；所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。本专利技术的第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术实施例中，提供了一种图像采集设备信息确定的方法，首先获取第一图像中的第一2D关键点的坐标信息，然后可以根据第一2D关键点的坐标信息获取第二图像的第二2D关键点的坐标信息，其中，第一2D关键点与第二2D关键点是位于不同图像中的同一个关键点，第一图像为第二图像之前的任意一帧图像，再获取3D关键点的坐标信息，最后根据第一2D关键点的坐标信息、第二2D关键点的坐标信息以及3D关键点的坐标信息，确定第二图像的相机姿态信息，相机姿态信息用于确定目标对象在第二图像中的位置。通过上述方式，不但考虑到了3D关键点的坐标信息与第二2D关键点坐标信息对相机姿态信息的影响，同时也考虑到了第一2D关键点的坐标信息，换言之，本方案结合了3D-2Dcorrespondences和2D-2Dcorrespondences，能够在估计第二图像的相机姿态信息时得到更多的关键点，一方面可以减小相机姿态信息的误差，另一方面，也可以避免由于跟踪的关键点数量太少而导致跟踪丢失的情况。附图说明图1为现有技术中基于3D-2Dcorrespondences获取3D点的示意图；图2为本专利技术实施例中基于3D-2Dcorrespondences获取3D点的示意图；图3为本专利技术实施例中根据相机姿态信息展示目标对象的界面示意图；图4为本专利技术实施例中图像采集设备信息确定的方法一个实施例示意图；图5为本专利技术实施例中确定观测角的一个示意图；图6为本专利技术实施例中生成跟踪记录的一个示意图；图7为本专利技术应用场景中确定相机姿态信息的一个流程示意图；图8为本专利技术实施例中图像采集设备一个实施例示意图；图9为本专利技术实施例中图像采集设备另一个实施例示意图；图10为本专利技术实施例中图像采集设备另一个实施例示意图；图11为本专利技术实施例中图像采集设备一个结构示意图。具体实施方式本专利技术实施例提供了一种增强现实显示的方法、姿态信息的确定方法及装置，能够在估计第二图像的相机姿态信息时得到更多的关键点，一方面减小相机姿态信息的误差，另一方面，也可以避免由于跟踪的关键点数量太少而导致跟踪丢失的情况。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“本文档来自技高网...

【技术保护点】
1.一种增强现实显示的方法，其特征在于，包括：获取目标对象的第一图像；从第一图像中提取所述目标对象所对应的第一2D关键点的坐标信息；获取所述目标对象的第二图像；根据所述第一2D关键点的坐标信息获取所述第二图像的第二2D关键点的坐标信息，其中，所述第一2D关键点与所述第二2D关键点是所述目标对象中的同一个关键点；获取所述目标对象所对应的3D关键点的坐标信息，其中，所述3D关键点为经过三角化处理的关键点；根据所述第一2D关键点的坐标信息、所述第二2D关键点的坐标信息以及所述3D关键点的坐标信息，确定所述第二图像的相机姿态信息，其中，所述相机姿态信息用于确定所述目标对象在所述第二图像中的位置；获取附加图像信息；根据所述第二图像、所述第二图像的相机姿态信息以及所述附加图像信息，生成增强图像。

【技术特征摘要】
1.一种增强现实显示的方法，其特征在于，包括：获取目标对象的第一图像；从第一图像中提取所述目标对象所对应的第一2D关键点的坐标信息；获取所述目标对象的第二图像；根据所述第一2D关键点的坐标信息获取所述第二图像的第二2D关键点的坐标信息，其中，所述第一2D关键点与所述第二2D关键点是所述目标对象中的同一个关键点；获取所述目标对象所对应的3D关键点的坐标信息，其中，所述3D关键点为经过三角化处理的关键点；根据所述第一2D关键点的坐标信息、所述第二2D关键点的坐标信息以及所述3D关键点的坐标信息，确定所述第二图像的相机姿态信息，其中，所述相机姿态信息用于确定所述目标对象在所述第二图像中的位置；获取附加图像信息；根据所述第二图像、所述第二图像的相机姿态信息以及所述附加图像信息，生成增强图像。2.一种图像采集设备姿态信息确定的方法，其特征在于，包括：获取目标对象的第一图像；从所述第一图像中提取所述目标对象所对应的第一2D关键点的坐标信息；获取所述目标对象的第二图像；根据所述第一2D关键点的坐标信息获取所述第二图像的第二2D关键点的坐标信息，其中，所述第一2D关键点与所述第二2D关键点是所述目标对象中的同一个关键点；获取所述目标对象所对应的3D关键点的坐标信息，其中，所述3D关键点为经过三角化处理的关键点；根据所述第一2D关键点的坐标信息、所述第二2D关键点的坐标信息以及所述3D关键点的坐标信息，确定所述第二图像的相机姿态信息，其中，所述相机姿态信息用于确定目标对象在所述第二图像中的位置。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一2D关键点的坐标信息获取所述第二图像的第二2D关键点的坐标信息之前，所述方法还包括：判断在所述第二图像中的所述第二2D关键点的个数是否达到阈值门限；若所述第二2D关键点的个数达到阈值门限，则触发所述根据所述第一2D关键点的坐标信息获取第二图像的第二2D关键点的坐标信息的步骤。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一2D关键点的坐标信息获取所述第二图像的第二2D关键点的坐标信息，包括：从所述第一图像中确定所述第一2D关键点；从所述第一图像中确定与所述第一2D关键点对应的第二2D关键点；根据所述第一2D关键点的坐标信息与位移信息，确定所述第二2D关键点的坐标信息，其中，所述位移信息为从所述第一2D关键点移动到所述第二2D关键点的距离。5.根据权利要求3所述的方法，其特征在于，所述判断在所述第二图像中的所述第二2D关键点的个数是否达到阈值门限之后，所述方法还包括：若所述第二2D关键点的个数未达到阈值门限，则从所述第一图像中获取n个关键点，以使所述第二2D关键点与所述n个关键点的个数之和达到所述阈值门限，其中，n为正整数，所述n个关键点是从所述第一图像所对应的目标小区中获取到的，所述第一图像包含多个均分的小区，目标小区中的关键点个数小于预设关键点门限；根据所述第一2D关键点的坐标信息以及所述n个关键点的坐标信息，获取所述第二图像中的所述n个关键点的坐标信息和所述第二2D关键点的坐标信息。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一2D关键点的坐标信息以及所述n个关键点的坐标信息，获取所述第二图像中的所述第二2D关键点的坐标信息，包括：从所述第一图像中确定所述第一2D关键点以及所述n个关键点；从所述第一图像中确定与所述第一2D关键点和所述n个关键点对应的第二2D关键点；根据所述第一2D关键点的坐标信息、所述n个关键点的坐标信息以及位移信息，确定所述第二图像中的所述n个关键点的坐标信息和所述第二2D关键点的坐标信息，其中，所述位移信息包括从所述第一2D关键点移动到所述第二2D关键点的距离，以及从所述n个关键点移动到所述第二2D关键点的距离。7.根据权利要求2所述的方法，其特征在于，所述确定所述第二图像的相机姿态信息之后，所述方法还包括：对所述第一2D关键点的坐标信息、所述第二2D关键点的坐标信息、所述第一图像的相机姿态信息和所述第二图像的相机姿态信息进行三角化处理，并得到待选择3D关键点以及所述待选择3D关键点的坐标信息；根据所述待选择3D关键点确定观测角，其中，所述观测角为所述第一图像中心点到所述待选择3D关键点的连线，与所述第二图像中心点到所述待选择3D关键点的连线之间的夹角；若所述观测角大于预设角度，则将所述待选择3D关键点的坐标信息确定为目标3D关键点的坐标信息。8.根据权利要求2所述的方法，其特征在于，所述根据所述第一2D关键点的坐标信息获取所述第二图像的第二2D关键点的坐标信息之后，所述方法还包括：生成跟踪记录，其中，所述跟踪记录用于记录多个图像中2D关键点的坐标信息，所述跟踪记录中的第一个图像为所述第一图像，所述跟踪记录中的最后一个图像为所述第二图像，且所述第一图像与所述第二图像之间包含至少一个图像。9.根据权利要求8所述的方法，其特征在于，所述获取所述目标对象所对应的3D关键点的坐标信息，包括：根据所述跟踪记录获取所述目标对象的第三2D关键点的坐标信息以及所述目标对象的第四2D关键点的坐标信息，其中，所述第三2D关键点属于第三图像，所述第四2D关键点属于第四图像，所述第三图像和所述第四图像均位于所述第一图像和所述第二图像之间；对所述第一2D关键点的坐标信息和所述第三2D关键点的坐标信息进行三角化处理，并得到第一3D关键点的...

【专利技术属性】
技术研发人员：暴林超，刘威，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东,44