移动设备上光场增强现实/虚拟现实的方法和系统技术方案

技术编号:17963764 阅读:58 留言:0更新日期:2018-05-16 07:12
本发明专利技术描述的是基于光场的增强或虚拟现实的方法和装置。移动设备如智能手机的几何代理用于将来光场的虚拟对象插入所获取的现实世界图像的过程中。例如,一种移动设备,包括处理器和耦合至所述处理器的相机。所述处理器用于界定视图相关的几何代理;通过所述相机记录图像,生成记录帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象渲染所述记录帧。

Method and system for mobile device augmented reality / virtual reality

The present invention is a method and device based on optical field for augmented or virtual reality. Mobile devices, such as the geometric agents of smart phones, are used in the process of inserting the virtual objects into the real world images in the future. For example, a mobile device, including a processor and a camera coupled to the processor. The processor is used to define the geometric agent related to the view; record the image through the camera, generate the recording frame, and render the recorded frame by the inserted light field virtual object, as well as the geometric agent based on the view related.

【技术实现步骤摘要】
【国外来华专利技术】移动设备上光场增强现实/虚拟现实的方法和系统相关申请案交叉申请本申请案主张2015年9月9日递交的专利技术名称为“移动设备上光场增强现实/虚拟现实的方法和系统”的第14/848,759号美国申请案的优先权,该申请案的内容以全部复制的方式并入本文中。关于由联邦政府赞助研究或开发的声明不适用参考缩微胶片附录不适用

技术介绍
增强现实(augmentedreality,AR)是一种在用户看到的现实世界的视图上叠加计算机生成图像从而得到复合视图的技术。虚拟现实(virtualreality,VR)是一种用户交互式地探索计算机生成环境的技术,此技术通常使用护目镜实现。部分AR和VR系统要求将计算机生成的(computer-generated,CG)或扫描的三维(threedimensional,3D)对象插入视频序列中。计算机生成的或扫描的三维对象的真实性通常是极其有限的。此外,计算机生成的三维内容的设计和制作是劳动密集型的。另一个缺点在于捕捉全景视频只准许用户转动头部,却不能在房间里自由移动。
技术实现思路
本专利技术描述的是基于光场的增强或虚拟现实的方法和装置。如智能手机等移动设备的视图相关的几何代理用于将所述光场的虚拟对象插入所获取的现实世界图像的过程中。例如,一种移动设备,包括处理器和耦合至所述处理器的相机。所述处理器用于:界定视图相关的几何代理;通过所述相机记录图像,生成记录帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象渲染所述记录帧。在另一实施例中,一种包括指令的非暂时性存储设备,当所述指令由处理器执行时,使所述处理器执行以下步骤:当移动设备在三维(threedimensional,3D)空间移动时,确定所述移动设备的视图相关的几何代理;接收相机记录的视频帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象在显示器上渲染所述记录帧。在又一实施例中,一种增强或虚拟现实的方法,包括:通过用户界面接收在移动相机捕捉的图像中插入光场对象的位置;以及通过所述移动相机记录视频,生成记录视频帧。所述方法还包括:基于针对所述移动相机界定的视图相关的几何代理,通过插入的光场虚拟对象渲染所述记录视频帧。以下将结合附图以及权利要求进行的详细描述,将更清楚地理解这些特征以及其它特征。附图说明为了更透彻地理解本专利技术,现参阅结合附图和具体实施方式描述的以下简要说明,其中附图标记表示相同部件。图1示出了根据各实施例的增强现实视频帧图像的实例;图2示出了根据各实施例的通过光场相机的圆形阵生成光场的实例;图3示出了根据各实施例的通过光场相机的二维阵列生成光场的实例;图4示出了根据各实施例的移动相机相对于光场生成相机的移动;图5示出了根据各实施例的基于移动相机的几何代理表示,通过插入的光场对象渲染视频帧的方法;图6示出了根据各实施例的部分地基于移动相机的几何代理变换邻近光场图像视图的方法的一实例;以及图7示出了根据各种实施例的基于移动设备的几何代理,可通过插入的光场对象渲染视频的移动设备的方块图。具体实施方式首先应理解,尽管下文提供一个或多个实施例的说明性实施方案,但所公开的系统和/或方法可使用任何数目的技术来实施,无论该技术是当前已知还是现有的。本专利技术决不应限于下文所说明的说明性实施方案、附图和技术,包括本文所说明并描述的示例性设计和实施方案,而是可在所附权利要求书的范围以及其等效物的完整范围内修改。本文所公开的是生成增强现实(augmentedreality,AR)或虚拟现实(virtualreality,VR)图像的各种实施例,所述图像包括静态照片和视频。所公开实施例包括利用光场渲染AR或VR图像。通过使用例如智能手机等移动相机,用户可以轻易将一个或多个光场对象插入所述移动相机当前捕捉的视频图像中的任何位置。此外,用户可以带着移动相机自由地在空间内移动,从不同位置和角度感知在移动相机中AR或VR图像中渲染的光场视频内容。因此,可以通过如图1所示的移动相机捕捉现实世界图像。所述现实世界图像是所述相机捕捉的实际图像,光场对象叠加在所述现实世界图像上,由此产生AR或VR效果。图1示出了通过移动设备的相机捕捉的现实世界图像50的一实例。光场对象60分别是由同一个移动相机或其它相机以前获取的,并且渲染为如所述移动相机自身显示器或单独的显示器上显示的现实世界图像。所述用于捕捉现实世界图像和嵌入光场对象的移动相机可以包括如上所述的智能手机,也可以包括平板电脑、计算机眼镜、护目镜、笔记本电脑和数码相机等。此外,所述移动相机可以是任何具备与处理器通信的相机的便携电子设备的一部分。此类设备通常包括图像捕捉设备(例如,相机)、处理器、存储器、显示器(例如,触控显示器)和其它组件。利用光场渲染AR或VR图像可以由所述设备的处理器执行软件执行。在各实施例中,利用光场渲染AR或VR图像可以由软件、固件、硬件或其任何组合执行。为便于说明,以下从渲染增强现实视频方面进行说明。但是,实施例包括渲染虚拟现实视频以及AR或VR静态图像。光场是在3D场景中从不同视角捕捉对象的图像的集合。例如,图2示出了光场相机70(70a、70b、70c、70d、70e、70f和70g)的圆形阵。每个相机70示意性地表示为三角形。每个光场相机70朝内指向所述圆形阵的中心75。物理对象可放置在中心点75,以便每个相机70可以从不同位置和角度捕捉所述对象的静态或视频图像。每个相机的位置指定为“T”,并且可以得出相对于原点(例如,点75)的x、y和z坐标。例如,相机70a位于位置T1,相机70b位于位置T2。每个相机通常指向位于中心点75的对象。因为每个相机70处于不同的位置T,所以每个相机的定向角不同。定向角在此指定为“R”,并且可以根据例如俯仰角,倾斜角和偏转角得出。相机70a具有定向角R1,相机70b具有定向角R2。图2的实例示出了7个光场相机。但是一般而言,有i(优选地,i大于1)个光场相机,并且每个相机具有位置Ti和定向角Ri。在一些实施例中,每个光场相机70的光场图像可以是视频或静态照片,但在其它实施例中,光场图像是视频序列。图3示出了用于生成光场的二维(two-dimensional,2D)相机阵列80。如图2中的圆形阵,阵列80中的相机82可以是相同或类似的相机,但被布置为2D阵列。在图2的实例中,每个相机具有位置Ti和定向角Ri。在另一实例中,用户可通过单个相机在一个位置从所述相机获取图像,然后移动所述相机到另一个位置并获取新图像等,生成光场图像。用于生成光场图像的光场相机70和82可以是上文提到的与用于捕捉现实世界图像的移动相机同种类型的相机,即智能手机、平板电脑、计算机眼镜、护目镜、笔记本电脑和数码相机等。在用单一相机来捕捉光场(通过将相机在不同位置间移动)的实施例中,相同的相机(例如,相同的智能手机)可以用于捕捉光场图像和现实世界图像,其中光场图像中显示的光场对象被渲染为所述现实世界图像。用户可以获取多个光场对象集合并将其存储在用于捕捉现实世界图像的移动相机的存储器。或者,用户可以捕捉光场对象,将光场对象上传存储到在线存储服务,随后下载到移动设备来生成AR或VR图像。在其它实施例中,用于生成AR或VR图像的移动设备的用户不会生成其自身的光场图像本文档来自技高网...
移动设备上光场增强现实/虚拟现实的方法和系统

【技术保护点】
一种移动设备,其特征在于,包含:处理器;以及耦合至所述处理器的相机;其中,所述处理器用于:界定视图相关的几何代理;通过所述相机记录图像,生成记录帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象渲染所述记录帧。

【技术特征摘要】
【国外来华专利技术】2015.09.09 US 14/848,7591.一种移动设备,其特征在于,包含:处理器;以及耦合至所述处理器的相机;其中,所述处理器用于:界定视图相关的几何代理;通过所述相机记录图像,生成记录帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象渲染所述记录帧。2.根据权利要求1所述的移动设备,其特征在于,还包含用于存储物理对象的多个光场视图的存储设备,其中所述处理器用于基于距离测定选择所述多个光场视图的子集。3.根据权利要求2所述的移动设备,其特征在于,所述处理器还用于:基于所述视图相关的几何代理,变换所述多个光场视图的所选子集,生成变换光场视图;内插所述变换光场视图生成内插光场虚拟对象;以及通过所述内插光场虚拟对象渲染所述记录帧。4.根据权利要求3所述的移动设备,其特征在于,在三维(three-dimensional,3D)空间里,基于所述移动设备的移动,所述处理器确定要选择的光场视图的新子集。5.根据权利要求3所述的移动设备,其特征在于,所述处理器还用于:基于针对所述移动设备界定的内部相机矩阵、与每个光场视图相关联的3D定向角、与每个光场视图相关联的3D位置、所述移动设备的3D定向角、所述移动设备的3D位置以及所述几何代理的位置和定向,变换所述光场视图的所选子集中每个子集的每个光场图像。6.根据权利要求3所述的移动设备,其特征在于,所述处理器还用于:基于所述视图相关的几何代理,变换所述光场视图的所选子集中每个子集的映射函数,生成变换映射函数;内插所述变换映射函数生成内插映射函数;以及通过使用所述内插映射函数的所述内插光场虚拟对象渲染所述记录帧。7.根据权利要求1至6中任一权利要求所述的移动设备,其特征在于,还包含惯性测量单元(inertialmeasurementunit,IMU),其中所述处理器部分地基于所述IMU的传感器信号确定所述视图相关的几何代理。8.根据权利要求1至6中任一权利要求所述的移动设备,其特征在于,还包含触敏显示器,其中所述处理器接收来自所述触敏显示器的指示从所述移动设备到某个位置的距离的信号,所述位置为所述光场虚拟对象看起来位于其插入到所述移动设备捕捉的所述记录帧中的位置。9.根据权利要求1至8中任一权利要求所述的移动设备,其特征在于,所述移动设备是手机或平板设备。10.一种包括指令的非暂时性存储设备,其特征在于,当所述指令由处理器执行时,使所述处理器执行以下步骤:当移动设备在三维(3D)空间中移动时,确定所述移动设备的视图相关的几何代理;接收相机记录的视频帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象在显示器上渲染所述视频帧。11.根据权利要求10所述的非暂时性存储设备,其特征在于,当所述指令由所述处理器执行时,使所述处理器...

【专利技术属性】
技术研发人员:顾金伟贝内特·威尔伯恩蒋伟
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1