三维环境内的图像显示制造技术

本文所公开的各种具体实施包括提供三维(3D)环境的视图的设备、系统和方法，该3D环境包括3D图像诸如多向立体图像或视频内容的投影。例如，示例性过程可包括：获得包括立体图像对的三维(3D)图像，该立体图像对包括对应于左眼视点的左眼内容和对应于右眼视点的右眼内容；通过投影该3D图像的部分以在3D环境内形成形状来生成该3D图像在该3D环境内的投影，该形状基于该3D图像的视图角度，其中该3D环境包括与该3D图像分离的附加内容；以及提供包括该3D图像的该投影的该3D环境的视图。图像的该投影的该3D环境的视图。图像的该投影的该3D环境的视图。

【技术实现步骤摘要】
【国外来华专利技术】三维环境内的图像显示


[0001]本公开整体涉及用于利用电子设备提供内容的技术，并且具体地涉及用于在三维(3D)环境的视图中提供视觉内容的系统、方法和设备。

技术介绍

[0002]在摄影中，“视图角度”是指由相机成像的给定场景的角度范围。例如，具有标准80mm镜头的数码相机可提供40
°
视图角度，而具有广角镜头的数码相机可提供64
°
至84
°
视图角度。标准和广角镜头图像内容通常被展平到矩形图像上，然后以这种平面格式观看。相机还可用于捕获球形图像(例如，180
°
图像、360
°
图像等)，该球形图像在本文中被称为“基于球体的图像”，其表示从物理环境从相对于捕获视点的不同角度方向接收(例如，反射)的光。此类基于球体的图像的视图角度通常是180
°
或360
°
，尽管其他视图角度也是可能的。虽然这样的内容可以平面格式存储(例如，使用等矩形投影)，但是此类平面格式通常不提供期望的观看体验，因为变平引入失真的外观和/或降低真实感。相反，一些设备使得此类基于球体的图像能够在完全沉浸式体验中被观看，例如，其中设备专门地以实际尺寸显示基于球体的图像的内容，好像图像内容在观看者周围那样。然而，可能期望提供附加的和/或另选的观看体验。

技术实现思路

[0003]期望实现改善的用户内容体验。本文所公开的各种具体实施包括提供三维(3D)环境的视图的设备、系统和方法，该3D环境包括基于球体的图像(或视频)内容的入口(例如，“气泡视图”、“雪球视图”等)。例如，可投影180
°
图像/视频以形成被显示在3D空间中的形状(例如，空的半球体的内部)。3D图像/视频不是提供图像的完全沉浸式视图，而是被显示在较大的3D环境内的固定位置处的相对较小的观看入口处。在固定位置处提供较小(非沉浸式)视图使得能够进行大量体验并且可增强用户的舒适度。入口的形状可以是非平面的，例如，它可弯曲以对应于图像内容的视图角度。例如，3D图像内容可像空的半球体的内部那样弯曲以对应于图像的视图角度。3D图像可以是任何立体图像对，例如使得右眼视图与左眼视图之间的差异使得观看者能够感知在入口处描绘的图像内容内的深度。例如，3D图像可以是任何类型的立体图像对，诸如180
°
半球体、直线90
°
、等矩形投影等，使得具有已知投影的任何图像内容将起作用，只要该内容包括立体对。
[0004]在一些具体实施中，提供增强用户舒适度并使得能够改变图像体验的沉浸的附加特征。这些附加特征可基于控制立体投影的视差、用户或设备相对于投影的位置、用户的注视方向等。例如，设备(例如，手持式设备、膝上型电脑、台式计算机或头戴式设备(HMD))向用户提供3D环境的视图(例如，视觉体验和/或听觉体验)并利用传感器获得与用户的响应相关联的生理数据(例如，注视特性)和运动数据(例如，控制器移动化身、头部移动等)。基于所获得的生理数据，本文所述的技术可通过跟踪用户的注视特性和其他交互(例如，物理环境中的用户移动)来确定用户在观看3D环境(例如，XR环境)期间的前庭提示。基于前庭提
示，这些技术可检测用户的位置和/或与3D图像的投影的交互并且提供一组不同的视图(例如，对入口的完全沉浸式体验)以在观看3D环境时改善用户体验。
[0005]在一些具体实施中，当用户在3D环境周围移动时，入口可改变取向以朝向该用户取向。例如，当用户在3D环境周围走动时，入口可改变外观(例如，大小、形状等)和/或随着用户在物理环境周围移动而与用户一起移动。3D环境可以是XR环境，并且因此可基于围绕用户的物理环境、虚拟环境或者真实环境和虚拟环境的组合。
[0006]在一些具体实施中，图像沉浸水平可例如基于用户与3D环境内的入口有多近来改变。例如，当用户更靠近入口时，入口的大小可增加。另外，如果用户走进入口的位置，则用户可完全沉浸在立体照片/视频内容内。
[0007]在一些具体实施中，可基于头部移动来在立体图像或视频内容内提供视觉效果以进一步减少晕动症(例如，基于对头部移动的对应性来针对3D照片创建伪视差，例如创建错觉)。例如，被投影在形状内的3D照片(“气泡视图”/“雪球视图”)可具有该形状的视场之外的附加内容。基于检测头部运动(例如，水平、垂直等)，可改变3D照片的视角和视场(例如，以观看当前不在视图中的3D照片中的附加内容)。另外，基于这些检测到的头部运动，可包括不同的视觉效果。例如，基于这些头部运动，可基于这些移动来改变3D照片的整个纹理。这些改变可被映射到纹理动画、到纹理的平移和/或旋转扭曲(例如，纹理空间中的旋转)。另外，视觉效果可基于将固定深度应用于运动(例如，平面单应性)以用于图像到图像操作。在一些具体实施中，视觉效果可基于头部移动的速度。例如，基于移动阈值，如果头部因为用户想要从3D照片的视图(例如，在雪球视图内)移开视线而移动得太快的话。在一些具体实施中，视觉效果可包括使其模糊、淡出、淡化为灰度或从立体视图变为单视场视图。
[0008]一般来讲，本说明书中所描述的主题的一个创新方面可体现在包括以下动作的方法中，这些动作为：获得三维(3D)图像；通过投影3D图像的部分以在3D环境内形成具有非平面(例如，弯曲、半球形等)表面的形状来生成3D图像在3D环境内的投影，其中3D环境包括与3D图像分离的附加内容；以及提供包括3D图像的投影的3D环境的视图。
[0009]这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。
[0010]在一些方面中，3D图像包括立体图像对，该立体图像对包括对应于左眼视点的左眼内容和对应于右眼视点的右眼内容。在一些方面中，3D图像包括被存储为等矩形投影的立体视频内容。在一些方面中，3D图像包括立体照片、立体图、3D视频、闪烁立体图像、随机点立体图、立体动画或柱状透镜图像。在一些方面中，这些动作还包括：基于3D环境的视图的视点来确定用于在3D环境内投影3D图像的位置。
[0011]在一些方面中，当3D环境的视图的视点改变时，3D图像在3D环境内的投影的位置是恒定的。在一些方面中，当3D环境的视图的视点改变时，3D图像的投影的取向改变以面向视点。在一些方面中，该形状基于3D图像的视图角度。
[0012]在一些方面中，这些动作还包括：调整投影以控制视差。在一些方面中，调整投影以控制视差基于电子设备的用户相对于3D图像在3D环境内的投影的位置的注视方向。在一些方面中，调整投影以控制视差包括：基于3D图像的内容的深度来确定度量；以及基于度量来执行3D图像的投影的像素移位、扭曲或移动。在一些方面中，这些动作还包括：进一步调整投影以减小左眼视点与右眼视点之间的像素视差。
[0013]在一些方面中，这些动作还包括：确定视图的视点相对于3D图像在3D环境中的投
影的位置关系；以及基于该位置关系来改变沉浸水平。
[0014]在一些方面中，3D图像的投影在球体本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：在具有处理器的电子设备处：获得三维(3D)图像；通过投影所述3D图像的部分以在3D环境内形成具有非平面表面的形状来生成所述3D图像在所述3D环境内的投影，其中所述3D环境包括与所述3D图像分离的附加内容；以及提供包括所述3D图像的所述投影的所述3D环境的视图。2.根据权利要求1所述的方法，其中所述3D图像包括立体图像对，所述立体图像对包括对应于左眼视点的左眼内容和对应于右眼视点的右眼内容。3.根据权利要求1所述的方法，其中所述3D图像包括被存储为等矩形投影的立体视频内容。4.根据权利要求1所述的方法，其中所述3D图像包括立体照片、立体图、3D视频、闪烁立体图像、随机点立体图、立体动画或柱状透镜图像。5.根据权利要求1至4中任一项所述的方法，所述方法还包括：基于所述3D环境的所述视图的视点来确定用于在所述3D环境内投影所述3D图像的位置。6.根据权利要求1至5中任一项所述的方法，其中当所述3D环境的所述视图的视点改变时，所述3D图像在所述3D环境内的所述投影的位置是恒定的。7.根据权利要求1至6中任一项所述的方法，其中当所述3D环境的所述视图的视点改变时，所述3D图像的所述投影的取向改变以面向视点。8.根据权利要求1至7中任一项所述的方法，其中所述形状基于所述3D图像的视图角度。9.根据权利要求1至8中任一项所述的方法，所述方法还包括：调整所述投影以控制视差。10.根据权利要求9所述的方法，其中调整所述投影以控制视差基于所述电子设备的用户相对于所述3D图像在所述3D环境内的所述投影的所述位置的注视方向。11.根据权利要求9或10所述的方法，其中调整所述投影以控制视差包括：基于所述3D图像的内容的深度来确定度量；以及基于所述度量来执行所述3D图像的所述投影的像素移位、扭曲或移动。12.根据权利要求9至11中任一项所述的方法，所述方法还包括：进一步调整所述投影以减小左眼视点与右眼视点之间的像素视差。13.根据权利要求1至12中任一项所述的方法，所述方法还包括：确定所述视图的视点相对于所述3D图像在所述3D环境中的所述投影的位置关系；以及基于所述位置关系来改变沉浸水平。14.根据权利要求13所述的方法，其中所述3D图像的所述投影在球体的形状内，基于所述位置关系来改变沉浸水平包括将所述3D图像的所述投影的视图从所述球体的外部视图的视角改变为所述球体的内部视图的视角。15.根据权利要求13所述的方法，其中基于所述位置关系来改变沉浸水平包括将视图从所述3D图像的所述投影的内部视图改变为所述3D图像的所述投影的外部视图。16.根据权利要求13所述的方法，其中所述3D图像包括360度内容，并且基于所述位置关系来改变沉浸水平包括从当所述视点的所述位置关系在所述3D图像的所述投影之外时
包括所述3D图像的所述投影的一部分的第一视图改变为当所述视点的所述位置关系在所述3D图像的所述投影之内时包括全部所述3D图像的所述投影的第二视图。17.根据权利要求1至16中任一项所述的方法，其中所述3D图像的所述投影描绘所述3D图像的一部分，使得所述3D图像的剩余部分被裁剪出所述投影。18.根据权利要求1至17中任一项所述的方法，所述方法还包括确定所述视图的视点相对于所述3D图像在所述3D环境中的所述投影的位置关系；以及基于所述位置关系来改变所述3D图像在所述3D环境内的所述投影。19.根据权利要求18所述的方法，其中改变所述3D图像的所述投影包括使得基于所述位置关系满足第一标准来描绘所述3D图像的所述剩余部分中的一些剩余部分。20.根据权利要求18或19所述的方法，其中改变所述3D图像的所述投影包括基于所述位置关系满足第二标准来向所述3D图像的所述投影提供视觉效果。21.根据权利要求20所述的方法，其中所述...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：苹果公司，
类型：发明
国别省市：