混合现实虚拟呈现方法及装置制造方法及图纸

本发明专利技术实施例公开了一种混合现实虚拟呈现方法及装置，所述方法包括：通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像；根据至少两张平面确定图像，绘制用户视野中包括的空间网格平面；根据空间网格平面，确定与待显示3D物体对应的虚拟场景；将虚拟场景输出至混合现实眼镜，以使用户观测到由虚拟场景以及混合现实眼镜获取的真实场景融合后的混合现实场景。本发明专利技术实施例通过摄像机采集的图像确定现实场景对应的空间平面，并将3D物体与空间平面相融合形成虚拟影像，这样形成的虚拟影像真实感强，一定程度上达到了欺骗人大脑的目的，让人不易分辨现实场景和虚拟场景，并且能够降低实现成本。

Hybrid reality virtual presentation method and device

The embodiment of the invention discloses a method and a device for presenting mixed virtual reality, the method includes mobile shooting through the camera, get at least two of a match with the user's vision of image plane is determined; according to at least two plane image rendering, space grid plane including the user view; according to the space plane. Determination and 3D virtual scene objects corresponding to the virtual scene display; output to the mixed reality glasses, mixed reality scene real scene in which users observed acquired by virtual scene and mixed reality glasses after fusion. Determine the spatial plane real scene images corresponding to the embodiment of the invention through the camera, and the 3D object and space plane is formed by the fusion of virtual image, virtual image formation of such a strong sense of reality, to a certain extent to deceive the brain, people are not easy to distinguish the real scene and virtual scene, and can reduce the cost.

【技术实现步骤摘要】
混合现实虚拟呈现方法及装置
本专利技术实施例涉及混合现实
，尤其涉及一种混合现实虚拟呈现方法及装置。
技术介绍
MR(MixedReality，混合现实技术)，是一种将真实世界信息和虚拟世界信息混合叠加呈现的技术，涉及多媒体处理、三维建模、实时视频显示及控制、实时跟踪以及场景融合等新技术与新手段。MR系统具有三个突出的特点：①真实世界和虚拟世界的信息集成；②具有实时交互性；③是在三维尺度空间中增添定位虚拟物体。MR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。为了实现混合现实效果，目前通常的呈现方式，比如谷歌眼镜、微软hololens等都是将虚拟构建的显示图像直接叠加到现实图像中进行混合显示，但是，显示图像中往往内容复杂，需要复杂的算法计算虚拟图像与现实图像的叠加位置以及虚拟图像需要进行的缩放、旋转等处理，才能最大程度的使得叠加后的混合图像真实感强。因此，现有技术的缺陷在于MR系统实现技术复杂，成本高，真实感不佳。
技术实现思路
本专利技术实施例提供一种混合现实虚拟呈现方法及装置，能够在降低实现成本的基础上，高真实度的实现混合现实的虚拟呈现。第一方面，本专利技术实施例提供了一种混合现实虚拟呈现方法，包括：通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上；根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面；根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。第二方面，本专利技术实施例还提供了一种混合现实虚拟呈现装置，包括：平面确定图像获取模块，用于通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上；空间网格平面绘制模块，用于根据所述至少两张平面确定图像，绘制用户视野中包括的空间网格平面；虚拟场景确定模块，用于根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；虚拟场景输出模块，用于将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。本专利技术实施例通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像；根据所述至少两张平面确定图像，绘制用户视野中包括的空间网格平面；根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；将所述虚拟场景输出至所述混合现实眼镜，以实现所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景的效果，这样形成的虚拟影像真实感强，一定程度上达到了欺骗人大脑的目的，让人不易分辨真实场景和虚拟场景，与现有的谷歌眼镜、微软hololens相比，实现成本低。附图说明图1是本专利技术实施例一提供的一种混合现实虚拟呈现方法的流程图；图2a是本专利技术实施例二提供的一种混合现实虚拟呈现方法的流程图；图2b是本专利技术实施例二提供的混合现实虚拟呈现方法中t-1时刻的特征点位置分布示意图；图2c是本专利技术实施例二提供的一种混合现实虚拟呈现方法中的t时刻的特征点位置分布示意图；图2d是本专利技术实施例二提供的一种混合现实虚拟呈现方法中提取的图像特征点分布示意图；图2e是本专利技术实施例二提供的一种混合现实虚拟呈现方法中确定的空间网格平面示意图；图2f是本专利技术实施例二提供的一种混合现实虚拟呈现方法中确定的空间网格平面示意图；图3a是本专利技术实施例三提供的一种混合现实虚拟呈现方法的流程图；图3b是本专利技术实施例三提供的一种待显示3D物体叠加于空间网格平面后的示意图；图3c是本专利技术实施例三提供的一种混合现实虚拟呈现方法中的通过两个通道将虚拟场景输出至所述混合现实眼镜的不同镜片中的示意图；图4是本专利技术实施例四提供的一种混合现实虚拟呈现装置的结构图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。首先，为了后文便于说明，首先将本专利技术的专利技术构思进行简单说明。在本专利技术各实施例中，使用了混合现实眼镜，该混合现实眼镜，通过光反射投影到半透明眼镜片上，能够实现宽角度的获取几乎和真实场景一样的场景。该混合现实眼镜上包括有摄像头，用于模拟人眼获取周围环境中的景物，该摄像头拍摄的景物并不是用于生成虚拟场景或者现实场景，而是仅仅用于确定佩戴该混合现实眼镜的用户的视野中包括的空间网格平面。在确定该空间网格平面后，进而可以将待显示的3D物体叠加于所述空间网格平面之上，生成虚拟场景。最后可以将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。实施例一图1为本专利技术实施例一提供的一种混合现实虚拟呈现方法的流程图，本实施例适用于融合现实场景和虚拟场景的情况。该方法可以由本专利技术实施例提供的混合现实虚拟呈现装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成于用于显示混合现实场景的混合现实眼镜中。如图1所示，本实施例的方法具体包括：S110、通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像。在本实施例中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上，用于模拟所述用户的眼睛来获取周围环境中的景物，进而可以较准确的确定用户视野中包括的空间网格平面。其中，所述平面确定图像是指所述摄像头拍摄的，用于确定用户视野中包括的空间网格平面的图像。所述至少两张平面确定图像为摄像头对于同一场景进行连续拍摄，且拍摄过程中经过摄像头的短距离移动而位于不同位置处，从而拍摄的有部分场景重叠的多张图像，也即：不同的平面确定图像中包括有一个或者多个相同的景物。S120、根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面。在本实施例中，在获取至少两张平面确定图像后，可以首先提取各所述平面确定图像中的特征点。所谓特征点，是指图像中体现景物特征的点，这些特征点不受景物的大小和旋转的影响，对于光线、噪声、微视角改变的容忍度也相当高，很容易辨识景物而且鲜有误认的点。在提取不同平面确定图像中的特征点后，通过特征点匹配的方式，获取不同平面确定图像中包括的相同特征点，之后可以根据该相同特征点在不同平面确定图像中的运动轨迹，得到对应的空间网格属性结构，进而可以根据该空间网格属性结构，绘制相应的空间网格平面。空间网格平面用于表征该空间中的至少一个平面，且能够以网格相连的形式来表示各平面。典型的，可以通过SIFT(Scale-invariantfeaturetransform，尺度不变特征变化)算法获取平面中包括的特征点。S130、根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景。其中，所述待显示3D物体具体是指需要与混合现实眼镜获取的真实场景进行融合并显示的虚拟3D物体。其中，专利技术人发现如果不考虑用户当前视野中的能够观测的内容直接虚拟显示该3D物体，该混合现实场景的真实度低，用户体验差。相应的，在本实施例中，首先本文档来自技高网...

【技术保护点】
一种混合现实虚拟呈现方法，其特征在于，包括：通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上；根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面；根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。

【技术特征摘要】
1.一种混合现实虚拟呈现方法，其特征在于，包括：通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上；根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面；根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。2.根据权利要求1所述的方法，其特征在于，根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面，包括：分别在所述至少两张平面确定图像中提取特征点，并在所述至少两张平面确定图像中，标记相同特征点的位置；根据所述相同特征点在不同平面确定图像中的位置，获取所述相同特征点的运动特征参数；根据所述运动特征参数，绘制所述用户视野中包括的空间网格平面。3.根据权利要求2所述的方法，其特征在于，在所述平面确定图像中提取特征点，具体包括：根据与所述平面确定图像对应的至少两个尺度空间图像，生成高斯差分图像，并在所述高斯差分图像中检测极值点作为特征点；确定与各所述特征点对应的方向参数，并根据所述方向参数，确定与各所述特征点对应的特征描述子。4.根据权利要求3所述的方法，其特征在于，根据与所述平面确定图像对应的至少两个尺度空间图像，生成高斯差分图像，并在所述高斯差分图像中检测极值点作为特征点，包括：根据公式：L(x,y,σ)＝G(x,y,σ)*I(x,y)；以及对所述平面确定图像I(x,y)进行多尺度空间变换，生成至少两个尺度空间图像L(x,y,σ)；其中，(x，y)为图像中像素点的二维坐标，σ为尺度空间因子，不同σ的高斯函数G(x,y,σ)生成不同的尺度空间图像；将相邻尺度空间图像的相减结果，作为高斯差分图像D(x，y)，不同的高斯差分图像对应不同层的高斯差分金字塔；根据公式对生成的所述高斯差分图像进行求导，并将导数等于0时的极值点作为备选特征点，其中，Dl(x,y)表示高斯差分金字塔中第l层的高斯差分图像；计算如果计算得到的则将相应的备选特征点保留作为所述特征点；表示在特征点处的高斯差分图像；表示高斯差分金字塔中第l层在特征点处的高斯差分图像；表示高斯差分金字塔中第l-1层在特征点处的高斯差分图像。5.根据权利要求3或4所述的方法，其特征在于，确定与各所述特征点对应的方向参数，并根据所述方向参数，确定与各所述特征点对应的特征描述子，包括：以特征点为中心取16×16的窗口，将所述窗口内包括的各像素点作为与所述特征点关联的关键点；根据公式：以及θ(x,y)＝tan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))，计算各关键点(x，y)处梯度的模值m(x,y)以及梯度的方向θ(x,y)，L为与所述关键点(x，y)对应的尺度空间图像；以顺时针方向，45度角为跨度，选取8个方向值，根据计算得到的各所述关键点处梯度的模值以及梯度的方向，构造直方图，并将所述直方图的峰值对应的梯度的方...

【专利技术属性】
技术研发人员：吴金勇，
申请(专利权)人：深圳市云宙多媒体技术有限公司，
类型：发明
国别省市：广东,44