用于增强现实应用的遮挡和碰撞检测制造技术

描述了一种用于AR情景中的遮挡和碰撞检测的技术。例如，深度传感器被用于生成深度图像。通过至少将深度图像划分为多个深度层并在这些层之间移动深度像素来减少或消除深度图像中的失真。从更新后的深度图像和与深度图像基本同时生成的RGB图像生成RGBD图像。基于RGBD图像来检测虚拟对象的遮挡。另外，真实世界环境的3D模型从更新后的深度图像生成并且包括多级体素。基于多级体素来检测与虚拟对象的碰撞。在AR情景中虚拟对象的渲染基于遮挡和碰撞检测。碰撞检测。碰撞检测。

【技术实现步骤摘要】
【国外来华专利技术】用于增强现实应用的遮挡和碰撞检测

技术介绍

[0001]增强现实(Augmented Reality，AR)将虚拟内容叠加在用户对真实世界的视图的之上。随着AR软件开发包(software development kits，SDK)的发展，移动行业已经将智能手机AR带入主流。AR SDK通常提供六自由度(six degrees
‑
of
‑
freedom，6DoF)追踪能力。用户可以使用智能电话的相机来扫描环境，并且智能手机会实时执行视觉惯性测距(visual inertial odometry，VIO)。一旦连续追踪相机姿势，就可以将虚拟对象放置到AR场景中以创建真实对象和虚拟对象融合在一起的幻觉。IO系统仅创建真实世界的稀疏表示。
[0002]当将虚拟对象放置到AR场景中时，重要的是，放置是准确的并且实时执行。否则，虚拟对象的呈现质量会很低。

技术实现思路

[0003]本专利技术一般涉及与增强现实应用相关的方法和系统。更具体地，本专利技术的实施方式提供了用于在AR环境中执行遮挡和碰撞检测的方法和系统。本可应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由计算机系统实施的方法，所述方法包括：在增强现实(AR)情景中，通过所述计算机系统的深度传感器来生成深度图像；将所述深度图像划分为多个深度层，每个深度层对应于深度范围并且包括具有在所述深度范围内的深度值的像素；从所述多个深度层中选择具有第一层编号的第一深度层和具有第二层编号的第二深度层；基于所述第一层编号、所述第一深度层中的第一像素、所述第二层编号和所述第二深度层中的第二像素来调整所述第一深度层，其中，所述调整包括将像素从所述第二深度层移动到所述第一深度层；基于所述调整来更新所述深度图像；以及将更新后的所述深度图像输出到与所述AR情景相关联的至少一个AR应用。2.根据权利要求1所述的方法，其中，所述深度层的总数基于所述深度传感器的最大深度。3.根据权利要求1所述的方法，其中，两个连续深度层的深度范围之间的差值在0.4米与0.6米之间。4.根据权利要求1所述的方法，其中，基于所述第一层编号与所述第二层编号之间的差值等于或大于2，来选择所述第一深度层和所述第二深度层。5.根据权利要求4所述的方法，其中，还基于所述第一像素的总数和所述第二像素的总数均等于或大于预定义的阈值，来选择所述第一深度层和所述第二深度层。6.根据权利要求1所述的方法，其中，所述第一层编号大于所述第二层编号，并且调整所述第一深度层包括执行从所述第一深度层到所述第二深度层的形态学膨胀。7.根据权利要求6所述的方法，其中，所述形态学膨胀的内核的大小基于所述第一层编号与所述第二层编号之间的差值。8.根据权利要求6所述的方法，其中，将所述形态学膨胀以迭代的方式重复多次迭代，并且所述迭代的次数基于所述第一层编号与所述第二层编号之间的差值。9.根据权利要求1所述的方法，还包括：在所述AR情景中，通过所述计算机系统的红绿蓝(RGB)光学传感器来生成RGB图像；基于所述更新后的深度图像和所述RGB图像，生成RGB深度(RGBD)图像；基于所述更新后的深度图像，在所述AR情景的坐标系中生成三维(3D)点的集合；基于所述深度图像来生成包括多个多级体素的3D模型，其中，所述多个多级体素中的一个多级体素与来自所述集合的一个3D点相关联；确定虚拟对象与所述多级体素之间的碰撞；以及在所述AR情景中，基于所述虚拟对象的深度和所述RGBD图像并且基于碰撞来渲染所述虚拟对象。10.一种计算机系统，包括：深度传感器，被配置为在增强现实(AR)情景中生成深度图像；红绿蓝(RGB)光学传感器，被配置为在所述AR情景中生成RGB图像；一个或多个处理器；以及存储计算机可读指令的一个或多个存储器，所述计算机可读指令在由所述一个或多个
处理器执行时将所述计算机系统配置为：通过至少将所述深度图像划分为多个深度层并且将像素从所述多个深度层的第一深度层移动到第二深度层来更新所述深度图像；基于所述更新后的深度图像和所述RGB图像来生成RGB深度(RGBD)图像；基于所述更新后的深度图像，在所述AR情景的坐标系中生成三维(3D)点的集合；生成包括多个多级体素的3D模型，其中，所述多个多级体素中的一个多级体素与来自所述集合的一个3D点相关联；确定虚拟对象与所述多级体素之间的碰撞；以及在所述AR情景中，基于所述虚拟对象的深度和所述RGBD图像并且基于碰撞来渲染所述虚拟对象。11.根据权利要求10所述的计算机系统，其中，每个深度层对应于深度范围并且包括具有在所述深度范围内的深度值的像素，并且更新所述深度图像还包括：基于所述第一深度层的第一层编号并且基于所述第二深度层的第二层编号，从所述深度层中选择所述第一深度层和所述第二深度层；以及基于所述第一层编号、所述第一深度层中的第一像素、所述第二层编号和所述第二深度层中的第二像素来调整所述第二深度层，其中，所述调整包括将所述像素从所述第一深度层移动到所述第二深度层。12.根据权利要求10所述的计算机系统，其中，生成所述RGBD图像包括：基于所述深度图像的图像分辨率、所述RGB图像的图像分辨率和所述深度传感器与所述RGB光学传感器之间的转换来将所述深度图像与所述RGB图像配准；对所述深度图像执行深度致密化，所述深度致密化包括对所述深度图像的多个形态学膨胀；在所述深度致密化之后，基于中值滤波对所述深度图像进行滤波；以及基于所述配准，将滤波后的深度图像上采样到所述RGB图像的图像分辨率，其中，所述RGBD图像中的像素对应于所述RGB图像中的像素和上采样后的所述深度图像中的像素。13.根据权利要求10所述的...

【专利技术属性】
技术研发人员：田原，徐毅，马雨欣，全书学，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：