一种与现实场景融合的虚拟目标投射方法和系统技术方案

本发明专利技术实施例提供了一种与现实场景融合的虚拟目标投射方法和系统，该方法和系统应用于增强现实系统，具体为计算相机相对于平面上一个marker板的相对位姿；提取现实场景中的平面和平面边界；根据相对位姿、平面和平面边界将虚拟目标渲染到现实场景的图像上。通过对相机位姿的计算，并进一步通过对平面的提取，确定了平面相对于相机的精确位置，从而可以使虚拟物体精确地放置在相应平面上。

A Virtual Target Projection Method and System Fused with Real Scene

The embodiment of the present invention provides a virtual target projection method and system integrated with real scene. The method and system are applied to augmented reality system, specifically to calculate the relative pose of camera relative to a marker plate on the plane, extract the plane and plane boundary in real scene, and according to the relative pose, plane and plane. The boundary renders the virtual object onto the image of the real scene. By calculating the pose of the camera and further extracting the plane, the exact position of the plane relative to the camera is determined, so that the virtual object can be accurately placed on the corresponding plane.

【技术实现步骤摘要】
一种与现实场景融合的虚拟目标投射方法和系统
本专利技术涉及增强现实
，特别是涉及一种与现实场景融合的虚拟目标投射方法和系统。
技术介绍
增强现实技术(AugmentedReality，简称AR)，是一种实时地计算摄影机影像的位置及角度并叠加相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。目前业界领先的苹果ARKit和GoogleARCore都已经实现了较准确的运动追踪(Motiontracking)，它基于手机的摄像头来估算手机的相对位置，使用时可以将虚拟对象固定在一个位置，并围绕它移动。但是即使这两者在环境识别(Environmentalunderstanding)方面做得也并不够理想。以ARCore为例，其只能估计出一个大致的平面，然后在平面上绘制虚拟物体，如图1所示。本专利技术的申请人在实施上述技术方案的时候发现，如果想要达到虚拟物体与现实世界的完美融合，这样的效果是不够的，必须要检测到平面(比如桌面、地板或天花板)，从而使系统可以将虚拟物体精准的“放置”在相应平面上。
技术实现思路
有鉴于此，本专利技术提供了一种与现实场景融合的虚拟目标投射方法及系统，以解决增强现实技术无法将虚拟物体精确放置在相应平面的问题。为了解决上述问题，本专利技术公开了一种与现实场景融合的虚拟目标投射方法，应用于增强现实系统，可选的，所述虚拟目标交互方法包括步骤：计算相机相对于平面上一个marker板的相对位姿；提取现实场景中的平面和所述平面的平面边界；根据所述相对位姿、所述平面和所述平面边界将虚拟目标渲染到所述现实场景的图像上。可选的，所述计算相机相对于平面上一个marker板的相对位姿，包括：获取所述相机摄取的所述marker板的图像；利用所述图像检测所述marker板的四个角点的坐标；根据所述四个角点的坐标计算所述相对位姿；可选的，所述根据所述四个角点的坐标计算所述相对位姿，包括：根据所述四个角点的坐标求解PNP问题，得到所述相对位姿。可选的，所述提取现实场景的平面和平面边界，包括：基于深度学习的语义分割方法提取所述现实场景的所述平面和所述平面边界；或者，提取现实场景中marker板所在的所述平面，并分割出所述平面边界。相应的，为了保证上述方法的实施，本专利技术还提供了一种与现实场景融合的虚拟目标投射系统，应用于增强现实系统，所述虚拟目标交互系统包括：位姿计算模块，用于计算相机相对于平面上一个marker板的相对位姿；平面提取模块，用于提取现实场景中的平面和所述平面的平面边界；图像渲染模块，用于根据所述相对位姿、所述平面和所述平面边界将虚拟目标渲染到所述现实场景的图像上。可选的，所述位姿计算模块包括：图像获取单元，用于获取所述相机摄取的所述marker板的图像；marker板检测单元，用于利用所述图像检测所述marker板的四个角点的坐标；位姿计算单元，用于根据所述四个角点的坐标计算所述相对位姿；可选的，所述位姿计算单元具体用于根据所述四个角点的坐标求解PNP问题，得到所述相对位姿。可选的，所述平面提取模块包括：第一提取单元基于深度学习的语义分割方法提取所述现实场景的所述平面和所述平面边界；第二提取单元，用于提取现实场景中marker板所在的所述平面，并分割出所述平面边界。从上述技术方案可以看出，本专利技术提供了一种与现实场景融合的虚拟目标投射方法和系统，该方法和系统应用于增强现实系统，具体为计算相机相对于平面上一个marker板的相对位姿；提取现实场景中的平面和平面边界；根据相对位姿、平面和平面边界将虚拟目标渲染到现实场景的图像上。通过对相机位姿的计算，并进一步通过对平面的提取，确定了平面相对于相机的精确位置，从而可以使虚拟物体精确地放置在相应平面上。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的一种在平面上绘制虚拟物体的示意图；图2为本专利技术实施例提供的一种与现实场景融合的虚拟目标投射方法的步骤流程图；图3为本专利技术实施例提供的一种相机与marker板的相对位置的计算示意图；图4为本专利技术实施例提供的一种平面提取的示意图；图5为本专利技术实施例提供的另一种平面提取的示意图；图6为本专利技术实施例提供的一种增强现实游戏的游戏示意图；图7为本专利技术实施例提供的一种与现实场景融合的虚拟目标投射系统的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一图2为本专利技术实施例提供的一种与现实场景融合的虚拟目标投射方法的步骤流程图。参照图2所示，本实施例提供的虚拟目标交互方法应用于增强现实系统，该投射方法具体包括如下步骤：S101：计算相机相对于平面上一个marker板的相对位姿。这里的相机是指为了实现增强现实目的，用于获取当前的现实场景的图像的照相或摄像设备。该marker板置于相应的平面，如桌面或地面，这里通过对相机获取的marker板的图像计算该相机相对于marker板的相对位姿。具体过程为：首先，获取该相机所获取的marker板的图像；然后，检测marker板四个角点的坐标；最后，根据该四个角点的坐标计算该相机相对于marker板的相对位姿。具体来说，在计算该相对位姿时，可以根据上述四个角点的相对坐标求解PNP问题，从而得到该相机的相对位姿，即该相机相对于世界坐标系下的marker板的平移量和旋转量。另外，也可以利用slam算法和imu结合的方法来进行位姿计算。在三维空间中，可通过标记角点的精确位置来估计摄像机与标记之间的变换。此操作称为二维到三维的姿态估计。该估计过程会在物体与摄像机之间找到一个欧氏空间的变换(该变换仅由旋转和坐标平移构成)。如图3所示，图中的C表示相机的中心，点P1-P4是世界坐标系中的三维点，而p1-p4是将点P1-P4投影到摄像机的图像平面上的投影点。其中P1为(0.5；-0.5；0.0)，P2为(0.5；0.5；0.0)，P3为(-0.5；0.5；0.0)，P1为(-0.5；-0.5；0.0)。标记位置估计的目的就是在已知三维世界的标记位置(P1-P4)、有内部参数矩阵的相机C以及已知图像平面的投影点(p1-p4)的情况下，找到标记位置与相机之间相对变换关系，即可算出相机相对于marker的位姿。具体来说就是根据标记位置(P1-P4)、相机的内部参数矩阵和投影点(p1-p4)求解PNP问题，这里实际是指P4P问题，从而得到标记位置与投影点之间的变换关系，进而根据变换关系得到相机相对于世界坐标系的平移量和旋转量，即得到相机的相对位姿，或者说是相机的相对位姿变化。S102：提取现实场景的平面和平面边界。同样，在相应的平面中可以设置有marker板，提取出marker板所在的平面，然后分割出该平面的平面边界，参照图4本文档来自技高网...

【技术保护点】
1.一种与现实场景融合的虚拟目标投射方法，应用于增强现实系统，其特征在于，所述虚拟目标交互方法包括步骤：计算相机相对于平面上一个marker板的相对位姿；提取现实场景中的平面和所述平面的平面边界；根据所述相对位姿、所述平面和所述平面边界将虚拟目标渲染到所述现实场景的图像上。

【技术特征摘要】
1.一种与现实场景融合的虚拟目标投射方法，应用于增强现实系统，其特征在于，所述虚拟目标交互方法包括步骤：计算相机相对于平面上一个marker板的相对位姿；提取现实场景中的平面和所述平面的平面边界；根据所述相对位姿、所述平面和所述平面边界将虚拟目标渲染到所述现实场景的图像上。2.如权利要求1所述的虚拟目标投射方法，其特征在于，所述计算相机相对于平面上一个marker板的相对位姿，包括：获取所述相机摄取的所述marker板的图像；利用所述图像检测所述marker板的四个角点的坐标；根据所述四个角点的坐标计算所述相对位姿。3.如权利要求2所述的虚拟目标投射方法，其特征在于，所述根据所述四个角点的坐标计算所述相对位姿，包括：根据所述四个角点的坐标求解PNP问题，得到所述相对位姿。4.如权利要求1所述的虚拟目标投射方法，其特征在于，所述提取现实场景的平面和平面边界，包括：基于深度学习的语义分割方法提取所述现实场景的所述平面和所述平面边界；或者，提取现实场景中marker板所在的所述平面，并分割出所述平面边界。5.一种与现实场景融合的虚拟目...

【专利技术属性】
技术研发人员：林鸿运，叶祖霈，
申请(专利权)人：重庆爱奇艺智能科技有限公司，
类型：发明
国别省市：重庆,50