一种虚实重合的增强现实显示方法和装置制造方法及图纸

技术编号:15522458 阅读:197 留言:0更新日期:2017-06-04 11:28
本发明专利技术公开一种虚实重合的增强现实显示方法和装置,其中,所述方法包括:采集真实世界中目标物体图像,并获取摄像头位姿;根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标;获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系;将所述目标物体图像与增强现实信息叠加生成叠加图像,根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕。本发明专利技术解决了视频穿透式AR设备虚实不重合的显示方式对用户造成的视觉干扰、视觉疲劳、视力伤害等问题,能够改善用户体验,且实现过程方便、通用性强。

Augmented reality display method and device for superposition of virtual and true

Augmented reality display method and device, the invention discloses a virtual coincidence wherein the method comprises the following steps: collecting the object images in the real world, and get the camera pose; according to the camera pose of target objects in the AR device on the screen projection coordinates; acquiring the target object and the information previously determined in augmented reality the AR device on the screen display coordinates, according to the object coordinates and the coordinates of the object perspective projection display coordinates to transform projection coordinates; the object image and the augmented reality information superimposed superimposed image, based on the transformation between the coordinates the superimposed image and displayed on the screen of AR equipment. The invention solves the problem of video display equipment and penetration type AR do not coincide to the user caused by visual disturbance, visual fatigue, visual damage and other problems, can improve the user experience, and the implementation process is convenient and universal.

【技术实现步骤摘要】
一种虚实重合的增强现实显示方法和装置
本专利技术涉及增强现实
,具体是一种虚实重合的增强现实显示方法和装置。
技术介绍
目前,头戴式AR设备主要有两种显示方式:视频透视式(VideoSee-Through)和光学透视式(OpticalSee-Through)。透视式指AR设备使用半透明镜片,人眼可直接透过镜片看到外部的现实景象。视频透视式指将摄像头采集到的图像与叠加的信息叠加后以视频或图像流的方式在虚像屏幕上显示,虚像屏幕显示图像与人眼直接看到的现实画面不重合,即虚实不重合。光学透视式指通过光学原理和设备将增强的信息直接叠加在人眼透过镜片看到的现实画面中的相应位置上,屏幕上只显示增强的信息。后者不存在虚实不重合的问题,但对硬件设备及软件技术的要求非常高。因此,目前市面上大多数头戴式AR设备均采用视频透视式显示方式,如EpsonBT200等。对于视频透视式AR设备而言,由于虚实不重合产生的重影会对用户造成视觉干扰。此外,传统的视频透视式显示方式中,通过AR设备看到的虚像与人眼距离是固定的(如:2米),而现实场景的画面与人眼距离是变化的(如:0.5-5米)。屏幕画面与现实场景的画面不在一个平面,即虚实不贴合。然而,在任一时刻,人眼只可聚焦到一个平面。因此,在使用过程中,用户需要不断在屏幕与现实场景中切换聚焦点,影响用户体验。长时间佩戴,容易造成视觉疲劳,并对视力造成伤害。在工业、医疗、军事等作业环境下,以上这些问题的存在容易导致生产、医疗等事故的发生。
技术实现思路
本专利技术为了克服现有技术的不足,提出一种虚实重合的增强现实显示方法和装置,旨在解决视频穿透式AR设备虚实不重合、不贴合的显示方式对用户造成的视觉干扰、视觉疲劳、视力伤害等问题,能够改善用户体验,且实现过程方便、通用性强。为了解决上述的技术问题,本专利技术提出的基本技术方案为:采集真实世界中目标物体图像,并获取摄像头位姿;根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标;获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系;将所述目标物体图像与增强现实信息叠加生成叠加图像,根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕;或根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换,然后叠加生成叠加图像显示于AR设备的屏幕。其中,采集真实世界中目标物体图像,并获取摄像头位姿进一步包括:建立目标物体的模型;利用AR设备的摄像头实时采集真实世界中目标物体图像并与所述模型进行匹配,得到摄像头位姿。其中,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系进一步包括:获取真实世界中目标物体图像上一点P在世界坐标系中的坐标及其在屏幕平面的透视投影坐标,得到两者的变换关系f1;获取P点在相机坐标系中的坐标及其在屏幕平面的显示坐标,得到两者的变换关系f2;根据f1、f2及预先确定的世界坐标系到相机坐标系的坐标变换f3得到P点的显示坐标到透视投影坐标之间的变换关系F1。其中,所述AR设备为双目镜时,分别求出两个屏幕上目标物体的显示坐标到透视投影坐标的变换关系,根据不同的变换关系分别对显示坐标进行坐标变换。此外,本专利技术还提供一种虚实重合的增强现实显示装置,其包括:采集模块,用于采集真实世界中目标物体图像,并获取摄像头位姿;透视投影坐标获取模块,用于根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标;显示坐标获取模块,用于获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系;叠加及显示模块,用于将所述目标物体图像与增强现实信息叠加生成叠加图像,根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕;或用于根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换,然后叠加生成叠加图像显示于AR设备的屏幕。本专利技术的有益效果是:本专利技术提供的虚实重合的增强现实显示方法和装置,通过获得显示坐标与透视投影坐标的变换关系并根据该坐标变换关系对图像进行坐标变换,最后显示于AR设备的屏幕上,经过坐标变换后的图像与真实世界图像近似重合,使得人眼的视觉效果得到明显改善,且其实现过程方便、通用性强。附图说明图1为本专利技术一实施例提供的虚实重合的增强现实显示方法流程图。图2为本专利技术另一实施例提供的虚实重合的增强现实显示方法流程图。图3a为现有技术中人眼透过镜片在AR设备的屏幕上看到的画面。图3b为本专利技术实施例中人眼透过镜片在AR设备的屏幕上看到的画面。图4为本专利技术实施例提供的虚实重合的增强现实显示装置结构示意图。具体实施方式以下将结合附图1至4和实施例对本专利技术做进一步的说明,但不应以此来限制本专利技术的保护范围。如图1所示,为本专利技术一实施例提供的虚实重合的增强现实显示方法流程图,其包括以下步骤:步骤S101:采集真实世界中目标物体图像,并获取摄像头位姿。步骤S102:根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标。步骤S103:获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系。步骤S104:将所述目标物体图像与增强现实信息叠加生成叠加图像,根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕。如图2所示,为本专利技术另一实施例提供的虚实重合的增强现实显示方法流程图,其包括以下步骤:步骤S201:采集真实世界中目标物体图像,并获取摄像头位姿。步骤S202:根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标。步骤S203:获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系。步骤S204:根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换,然后叠加生成叠加图像显示于AR设备的屏幕。具体的,在本专利技术一些优选实施例中,采集真实世界中目标物体图像,并获取摄像头位姿进一步包括:建立目标物体的模型;利用AR设备的摄像头实时采集真实世界图像并与所述模型进行匹配,得到摄像头位姿以及摄像头采集的图像中目标物体的位置。值得说明的是,在本专利技术的一些实施例中,所建立的模型可以是二维模型或三维模型。具体的,在本专利技术的一些优选实施例中,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系进一步包括:假设目标物体图像中任意一点P在世界坐标系中的坐标为P(x,y,z),点P在屏幕平面的透视投影坐标为Ps(xs,ys),屏幕到世界坐标系原点O距离为d,则有:假设摄像头与屏幕成像的有效部分长宽比例相同且其长度比值为k1,相机坐标系中点P的对应点为Pci(xci,yci),P点在屏幕平面的显示坐标为Pcs(xcs,ycs),则有:k1(xci,yci)=(xcs,ycs)②点P由世界坐标系到相机坐标系的坐标变换如下:其中,zc为P在相机坐标系下Z轴坐标,F为相机焦距,t1、t2、t3分别为世界坐标系变换到相机坐标系在X、Y、Z轴的平移分量。由①②③式可得本文档来自技高网...
一种虚实重合的增强现实显示方法和装置

【技术保护点】
一种虚实重合的增强现实显示方法,其特征在于,包括:采集真实世界中目标物体图像,并获取摄像头位姿;根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标;获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系;将所述目标物体图像与增强现实信息叠加生成叠加图像,根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕;或根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换,然后叠加生成叠加图像显示于AR设备的屏幕。

【技术特征摘要】
1.一种虚实重合的增强现实显示方法,其特征在于,包括:采集真实世界中目标物体图像,并获取摄像头位姿;根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标;获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标,根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系;将所述目标物体图像与增强现实信息叠加生成叠加图像,根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕;或根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换,然后叠加生成叠加图像显示于AR设备的屏幕。2.如权利要求1所述的虚实重合的增强现实显示方法,其特征在于:采集真实世界中目标物体图像,并获取摄像头位姿进一步包括:建立目标物体的模型;利用AR设备的摄像头实时采集真实世界中目标物体图像并与所述模型进行匹配,得到摄像头位姿。3.如权利要求1所述的虚实重合的增强现实显示方法,其特征在于:根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系进一步包括:获取真实世界中目标物体上一点P在世界坐标系中的坐标及其在屏幕平面的透视投影坐标,得到两者的变换关系f1;获取P点在相机坐标...

【专利技术属性】
技术研发人员:季玮徐泽明苏波
申请(专利权)人:深圳增强现实技术有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1