远程呈现中的深度冲突的动态消解制造技术

描述了系统和方法，所述系统和方法用于确定与由至少一个相机捕获的图像内容相关联的捕获体积，确定与图像内容相关联的深度，定义观看范围，在观看图像内容时在所述观看范围中描绘立体效果，确定图像内容和与观看范围相关联的边界之间的深度冲突，所述确定包括检测图像内容的至少一部分延伸超出与观看范围相关联的边界以及使用观看范围和至少一个用户界面元素来消解所述至少一部分的深度冲突，以及利用所消解的深度冲突生成经修改的图像内容以用于渲染。以用于渲染。以用于渲染。

【技术实现步骤摘要】
【国外来华专利技术】远程呈现中的深度冲突的动态消解
[0001]相关申请的交叉引用
[0002]本申请要求于2020年10月21日提交的题为“DYNAMIC RESOLUTION OF DEPTH CONFLICTS IN TELEPRESENCE(远程呈现中的深度冲突的动态消解)”的美国临时专利申请No.63/198,473的优先权和权益，其公开内容通过引用全部并入本文。


[0003]本说明书总体上涉及用于消解三维(3D)远程呈现系统中的深度冲突的方法、设备和算法。

技术介绍

[0004]立体显示设备通常向观看者提供内容并传达深度感知。这样的显示器可以包括围绕显示屏幕的带包边的框，该带包边的框可能不自然地切断要在显示屏幕上渲染的内容的部分的视图。切断视图可能为观看者创建冲突的视觉提示。这样的冲突会削弱3D效果，这会导致观看者视觉疲劳。

技术实现思路

[0005]具有一个或多个计算机的系统可以被配置为借助于使软件、固件、硬件或它们的组合安装在系统上来执行特定的操作或动作，该软件、固件、硬件或它们的组合在操作中使系统执行动作。一个或多个计算机程序可以被配置为借助于包括指令来执行特定的操作或动作，所述指令在由数据处理装置执行时使装置执行动作。
[0006]在一个一般方面，描述了利用至少一个处理设备来执行操作的系统和方法，该操作包括：确定与由至少一个相机捕获的图像内容相关联的捕获体积；确定与图像内容相关联的深度；在捕获体积内基于深度来定义观看范围，在所述观看范围中在观看图像内容时描绘立体效果；确定图像内容和与观看范围相关联的边界之间的深度冲突，确定包括：检测图像内容的至少一部分延伸超出与观看范围相关联的边界，并且响应于确定深度冲突，使用观看范围和至少一个用户界面元素来消解至少一部分的深度冲突；以及用已消解的深度冲突生成经修改的图像内容以用于渲染，经修改的图像内容包括由至少一个用户界面元素替换的图像内容的部分。
[0007]这些和其他方面可以单独或组合地包括以下中的一个或多个。例如，该系统和该方法可以包括：检测图像内容的至少一部分和与观看范围相关联的边界之间的深度冲突包括：使用与图像内容相关联的所确定的深度中的至少一些来生成多个三维体素，所述多个三维体素表示渲染图像内容的显示器的平面中的位置，距离是从至少一部分到边界，其中基于距离来选择至少一个用户界面元素。
[0008]在一些实现方式中，边界与透镜状(lenticular)显示设备的至少一个边缘相关联；基于在远程透镜状显示设备处观看图像内容的用户的被跟踪头部位置来确定深度冲突；以及消解深度冲突包括：基于用户的被跟踪用户头部位置来调整用户界面元素的大小。
[0009]在一些实现方式中，消解深度冲突包括：将至少一个用户界面元素生成为叠盖图像内容中的至少一些的框，至少一个框适于适应在图像内容中描绘的移动。在一些实现方式中，与延伸超出边界的至少一部分相对应的框的一侧被放置在与框的剩余部分平行的且在框的剩余部分的前方的不同平面中，以生成框从垂直到与垂直成非零角度的视觉上感知到的倾斜。
[0010]在一些实现方式中，至少一个用户界面元素描绘了具有附加软件程序的缩略图图像的用户界面层，在访问图像内容附加时，软件程序由至少一个处理设备在存储器中执行。在一些实现方式中，用户界面元素包括模糊叠盖物，模糊叠盖物在边界处开始，并在与描绘图像内容的显示设备的大小相关联的预定义位置处结束，其中，与模糊叠盖物相关联的模糊半径在距边界的阈值距离处被增大。
[0011]在一些实现方式中，模糊叠盖物包括具有附加软件程序的缩略图图像的用户界面层，在访问图像内容附加时，软件程序由至少一个处理设备在存储器中执行，并且模糊叠盖物是椭圆形的。在一些实现方式中，模糊叠盖物是梯度模糊，该梯度模糊从叠盖物的左中央部分到图像内容的左边缘以及从叠盖物的右中央部分到视频内容的右边缘渐变。在一些实现方式中，梯度模糊被放置在与深度冲突相关联的中央位置处，并且向外到与深度冲突相关联的第一边缘和第二边缘逐渐模糊。在一些实现方式中，消解深度冲突包括将至少一个用户界面元素动画化以用经修改的图像内容隐藏图像内容的至少一部分。
[0012]上述系统和方面可以被配置为执行上述方面的任何组合，其中每个方面可以与以上列出的特征和方面的任何适当组合一起实现。
[0013]所描述的技术的实现可以包括计算机可访问介质上的硬件、方法或处理或计算机软件。一个或多个实现的细节在附图和以下描述中阐述。其他特征将从说明书和附图以及从权利要求显而易见。
附图说明
[0014]图1是示出根据贯穿本公开描述的实现方式的用于在显示设备上显示图像内容的示例3D内容系统的框图。
[0015]图2是根据贯穿本公开描述的实现方式的用于动态消解立体显示的深度冲突的示例系统的框图。
[0016]图3是示出根据贯穿本公开描述的实现方式的用户的深度冲突的示例显示设备。
[0017]图4是示出根据贯穿本公开描述的实现方式的本地捕获体积和捕获体积内的移动范围的示例的框图。
[0018]图5是示出根据贯穿本公开描述的实现方式的远程捕获体积相对于本地捕获体积的示例的框图。
[0019]图6是示出根据贯穿本公开描述的实现方式的捕获体积的显示边缘裁剪的示例的框图。
[0020]图7A至7C是示出根据贯穿本公开描述的实现方式的显示设备的视觉感知倾斜的示例的框图。
[0021]图8A至8B是示出根据贯穿本公开描述的实现方式的消解与合成图像内容的深度冲突的示例的框图。
[0022]图9A至9B是示出根据贯穿本公开描述的实现方式的通过动态调整显示设备的显示窗口来消解深度冲突的示例的框图。
[0023]图10A至10G是示出根据贯穿本公开描述的实现方式的通过调整边界和/或边缘来消解深度冲突的示例的框图。
[0024]图11是示出根据贯穿本公开描述的实现方式的使用分段虚拟内容消解深度冲突的示例的框图。
[0025]图12是示出根据贯穿本公开描述的实现方式的放置在虚拟内容上的应用内容的示例的框图。
[0026]图13是示出根据贯穿本公开描述的实现方式的消解3D内容系统中的深度冲突的处理的一个示例的流程图。
[0027]图14示出了可以与本文描述的技术一起使用的计算机设备和移动计算机设备的示例。
[0028]各种附图中的相同附图标记指示相同元素。
具体实施方式
[0029]通常，本文件描述了与检测、分析和校正三维(3D)视频内容内的深度冲突相关的示例。深度冲突可相对于视频内容内的用户界面(UI)元素发生。例如，在3D视频内容(例如，立体视频)中，用户感知的深度可以在视频的部分内变化。这种深度变化可导致视频的部分、视频中的UI元素之间、和/或与视频中的内容和/或描绘内容的显示器相关联的包边处的深度冲突。
[0030]深度冲突对用户造成不适，这可能对用户在聚焦或平移图像内容的部分和/或UI元素内的焦点时带来困难。例如，如果用户的部本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种利用至少一个处理设备执行操作的计算机实现的方法，所述操作包括：确定与由至少一个相机捕获的图像内容相关联的捕获体积；确定与所述图像内容相关联的深度；在所述捕获体积内，基于所述深度来定义观看范围，在观看所述图像内容时在所述观看范围中描绘立体效果；确定在所述图像内容和与所述观看范围相关联的边界之间的深度冲突，所述确定包括：检测所述图像内容的至少一部分延伸超出与所述观看范围相关联的所述边界；响应于确定所述深度冲突，使用所述观看范围和至少一个用户界面元素来消解所述至少一部分的所述深度冲突；以及利用所消解的深度冲突来生成经修改的图像内容以用于渲染，所述经修改的图像内容包括由所述至少一个用户界面元素替换的部分的所述图像内容。2.根据权利要求1所述的方法，其中：检测在图像内容的所述至少一部分和与观看范围相关联的所述边界之间的深度冲突包括：使用与所述图像内容相关联的所确定的深度中的至少一些来生成多个三维体素，所述多个三维体素表示渲染所述图像内容的显示器的平面中的位置，所述距离是从所述至少一部分到所述边界；以及所述至少一个用户界面元素是基于所述距离来选择。3.根据权利要求1或权利要求2所述的方法，其中：所述边界与透镜状显示设备的至少一个边缘相关联；所述深度冲突是基于在远程透镜状显示设备处观看所述图像内容的用户的被跟踪头部位置来确定；以及消解所述深度冲突包括：基于所述用户的所述被跟踪头部位置来调整所述用户界面元素的大小。4.根据前述权利要求中任一项所述的方法，其中，消解所述深度冲突包括：将所述至少一个用户界面元素生成为叠盖所述图像内容中的至少一些的框，所述至少一个框适于适应在所述图像内容中描绘的移动。5.根据权利要求4所述的方法，其中，与延伸超出所述边界的所述至少一部分相对应的所述框的一侧被放置在与所述框的剩余部分平行并且在所述框的剩余部分前方的不同平面中，以生成从垂直到与所述垂直成非零角度的视觉上感知的所述框的倾斜。6.根据前述权利要求中任一项所述的方法，其中，所述至少一个用户界面元素描绘具有附加软件程序的缩略图图像的用户界面层，在访问所述图像内容时所述附加软件程序由所述至少一个处理设备在存储器中执行。7.根据前述权利要求中任一项所述的方法，其中，所述用户界面元素包括模糊叠盖物，所述模糊叠盖物在所述边界处开始并且在与描绘所述图像内容的显示设备的大小相关联的预定义位置处结束，其中，与所述模糊叠盖物相关联的模糊半径在距所述边界的阈值距离处增大。8.根据权利要求7所述的方法，其中，所述模糊叠盖物包括具有附加软件程序的缩略图图像的用户界面层，在访问所述图像内容时，所述附加软件程序由所述至少一个处理设备在存储器中执行。
9.根据权利要求7或权利要求8所述的方法，其中，所述模糊叠盖物是椭圆形的。10.根据权利要求7至权利要求9中任一项所述的方法，其中，所述模糊叠盖物是梯度模糊，所述梯度模糊从所述叠盖物的左中央部分到所述图像内容的左边缘以及从所述叠盖物的右中央部分到所述视频内容的右边缘渐变。11.根据前述权利要求中任一项所述的方法，其中，消解所述深度冲突包括：将所述至少一个用户界面元素动画化，以利用所述经修改的图像内容来隐藏图像内容的所述至少一部分。12.一种图像处理系统，包括：至少一个处理设备；多个立体相机；以及存储指令的存储器，所述指令在被执行时使所述系统执行操作，所述操作包括：确定与由所述多个立体相机捕获的图像内容相关联的体积；确定与所述图像内容相关联的深度；在所述体积内，基于所述深度来定义发生立体效果的观看范围；确定在所述图像内容和...

【专利技术属性】
技术研发人员：埃里克，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：