The present invention is a method and device based on optical field for augmented or virtual reality. Mobile devices, such as the geometric agents of smart phones, are used in the process of inserting the virtual objects into the real world images in the future. For example, a mobile device, including a processor and a camera coupled to the processor. The processor is used to define the geometric agent related to the view; record the image through the camera, generate the recording frame, and render the recorded frame by the inserted light field virtual object, as well as the geometric agent based on the view related.
【技术实现步骤摘要】
【国外来华专利技术】移动设备上光场增强现实/虚拟现实的方法和系统相关申请案交叉申请本申请案主张2015年9月9日递交的专利技术名称为“移动设备上光场增强现实/虚拟现实的方法和系统”的第14/848,759号美国申请案的优先权,该申请案的内容以全部复制的方式并入本文中。关于由联邦政府赞助研究或开发的声明不适用参考缩微胶片附录不适用
技术介绍
增强现实(augmentedreality,AR)是一种在用户看到的现实世界的视图上叠加计算机生成图像从而得到复合视图的技术。虚拟现实(virtualreality,VR)是一种用户交互式地探索计算机生成环境的技术,此技术通常使用护目镜实现。部分AR和VR系统要求将计算机生成的(computer-generated,CG)或扫描的三维(threedimensional,3D)对象插入视频序列中。计算机生成的或扫描的三维对象的真实性通常是极其有限的。此外,计算机生成的三维内容的设计和制作是劳动密集型的。另一个缺点在于捕捉全景视频只准许用户转动头部,却不能在房间里自由移动。
技术实现思路
本专利技术描述的是基于光场的增强或虚拟现实的方法和装置。如智能手机等移动设备的视图相关的几何代理用于将所述光场的虚拟对象插入所获取的现实世界图像的过程中。例如,一种移动设备,包括处理器和耦合至所述处理器的相机。所述处理器用于:界定视图相关的几何代理;通过所述相机记录图像,生成记录帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象渲染所述记录帧。在另一实施例中,一种包括指令的非暂时性存储设备,当所述指令由处理器执行时,使所述处理器执行以下步骤:当移动设备在 ...
【技术保护点】
一种移动设备,其特征在于,包含:处理器;以及耦合至所述处理器的相机;其中,所述处理器用于:界定视图相关的几何代理;通过所述相机记录图像,生成记录帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象渲染所述记录帧。
【技术特征摘要】
【国外来华专利技术】2015.09.09 US 14/848,7591.一种移动设备,其特征在于,包含:处理器;以及耦合至所述处理器的相机;其中,所述处理器用于:界定视图相关的几何代理;通过所述相机记录图像,生成记录帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象渲染所述记录帧。2.根据权利要求1所述的移动设备,其特征在于,还包含用于存储物理对象的多个光场视图的存储设备,其中所述处理器用于基于距离测定选择所述多个光场视图的子集。3.根据权利要求2所述的移动设备,其特征在于,所述处理器还用于:基于所述视图相关的几何代理,变换所述多个光场视图的所选子集,生成变换光场视图;内插所述变换光场视图生成内插光场虚拟对象;以及通过所述内插光场虚拟对象渲染所述记录帧。4.根据权利要求3所述的移动设备,其特征在于,在三维(three-dimensional,3D)空间里,基于所述移动设备的移动,所述处理器确定要选择的光场视图的新子集。5.根据权利要求3所述的移动设备,其特征在于,所述处理器还用于:基于针对所述移动设备界定的内部相机矩阵、与每个光场视图相关联的3D定向角、与每个光场视图相关联的3D位置、所述移动设备的3D定向角、所述移动设备的3D位置以及所述几何代理的位置和定向,变换所述光场视图的所选子集中每个子集的每个光场图像。6.根据权利要求3所述的移动设备,其特征在于,所述处理器还用于:基于所述视图相关的几何代理,变换所述光场视图的所选子集中每个子集的映射函数,生成变换映射函数;内插所述变换映射函数生成内插映射函数;以及通过使用所述内插映射函数的所述内插光场虚拟对象渲染所述记录帧。7.根据权利要求1至6中任一权利要求所述的移动设备,其特征在于,还包含惯性测量单元(inertialmeasurementunit,IMU),其中所述处理器部分地基于所述IMU的传感器信号确定所述视图相关的几何代理。8.根据权利要求1至6中任一权利要求所述的移动设备,其特征在于,还包含触敏显示器,其中所述处理器接收来自所述触敏显示器的指示从所述移动设备到某个位置的距离的信号,所述位置为所述光场虚拟对象看起来位于其插入到所述移动设备捕捉的所述记录帧中的位置。9.根据权利要求1至8中任一权利要求所述的移动设备,其特征在于,所述移动设备是手机或平板设备。10.一种包括指令的非暂时性存储设备,其特征在于,当所述指令由处理器执行时,使所述处理器执行以下步骤:当移动设备在三维(3D)空间中移动时,确定所述移动设备的视图相关的几何代理;接收相机记录的视频帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象在显示器上渲染所述视频帧。11.根据权利要求10所述的非暂时性存储设备,其特征在于,当所述指令由所述处理器执行时,使所述处理器...
【专利技术属性】
技术研发人员:顾金伟,贝内特·威尔伯恩,蒋伟,
申请(专利权)人:华为技术有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。