深度数据的发送方侧几何融合制造技术

描述了用于利用具有至少一个处理设备的图像处理系统来执行包括以下的操作的系统和方法：接收对象的多个深度视图，多个深度视图中的每一个都从对象的相应视点捕捉，多个深度视图中的每一个都包括与从相应视点捕捉的对象的深度图像相关联的相应深度数据，在多个深度视图上执行聚合操作，以及基于更新的深度视图来生成来自目标视点的对象的图像，目标视点不同于捕捉多个深度视图中的每一个的相应视点中的每一个。点中的每一个。点中的每一个。

【技术实现步骤摘要】
【国外来华专利技术】深度数据的发送方侧几何融合
[0001]相关申请
[0002]本申请涉及2019年7月26日提交的题为“SPATIALLY ADAPTIVE VIDEO COMPRESSION FOR MULTIPLE STREAMS OF COLOR AND DEPTH”的申请第16/523,247号，现在公布为美国专利第10,757,410号，并且涉及2019年7月26日提交的题为“IMAGEBASED GEOMETRIC FUSION OF MULTIPLE DEPTH IMAGES USING RAY CASTING”的申请第16/523,702号，其内容以其整体通过引用并入到本文中。


[0003]本说明书总体上涉及深度数据的融合。

技术介绍

[0004]计算设备可以被配置为生成对象的图像，该图像可以使用压缩方案被压缩并且在网络上被传送。例如，多视图视频编码(MVC)可以用于压缩立体视频，以对在单个视频流中从多个相机角度同时捕捉的视频序列进行有效地编码。MVC压缩方案维持每个捕捉视图的所有伪像，包括噪声、缺失数据等。这种传统方法保留了原始视图(例如，颜色和深度)，并且通常使用增加或降低视频质量的方法，以便减小用于在网络上传送对象的图像的比特率。

技术实现思路

[0005]通过在系统上安装软件、固件、硬件或它们的组合，可将一个或多个计算机的系统(例如，图像处理系统)配置为进行特定操作或动作，软件、固件、硬件或它们的组合在操作中单独或共同导致系统进行动作。通过包括在由数据处理设备执行时使得设备进行动作的指令，可以将一个或多个计算机程序配置为进行特定操作或动作。
[0006]在一个一般方面中，系统和方法被描述用于利用具有至少一个处理设备的图像处理系统来执行包括以下的操作的计算机实现的方法：接收对象的多个深度视图，其中多个深度视图中的每一个都是从对象的相应视点捕捉的，并且其中多个深度视图中的每一个都包括与从相应视点捕捉的对象的深度图像相关联的相应深度数据。该方法还可以包括在多个深度视图上执行聚合操作，其中聚合操作包括生成与多个深度视图中的每一个对应的更新的深度视图，每个更新的深度视图基于相应视点，并且表示来自对象的多个深度视图中的剩余的每一个的相应深度数据的部分，并且利用对应的更新的深度视图来替换多个深度视图中的每一个。该方法还可以包括基于更新的深度视图来生成来自目标视点的对象的图像，其中目标视点不同于捕捉多个深度视图中的每一个的相应视点中的每一个。
[0007]这些和其它方面可以单独或组合地包括以下的一个或多个。根据一些方面，本文要求保护的方法、系统和计算机可读介质可以包括以下特征(或其任何组合)中的一个或多个(例如，全部)。
[0008]在一些实现方式中，执行聚合操作导致生成与对象的所接收的多个深度视图中的至少一个相关联的缺失数据。在一些实现方式中，缺失数据包括与对象的所接收的多个深
度视图中的至少一个相关联的遮挡区域。在一些实现方式中，执行聚合操作导致减小与对象的所接收的多个深度视图中的至少一个相关联的噪声。
[0009]在一些实现方式中，聚合操作是多个接收到的深度视图生成更新的深度视图的几何融合，其中聚合操作响应于通过网络传送多个深度视图的请求而作为预处理来执行，并且其中预处理还包括每个更新的深度视图的视频压缩。在一些实现方式中，选择目标视点以合成对象的先前未捕捉的图像。在一些实现方式中，图像处理系统是被配置为使用更新的深度视图来合成来自多个目标视点的图像的远程呈现系统。在一些实现方式中，多个深度视图表示与对象的捕捉的图像对应的多个深度映射，并且生成多个深度映射并且利用更新的深度映射来替换多个深度映射改善来自目标视点的对象的生成的深度图像的时间相干性。
[0010]所描述的技术的实现方式可以包括计算机可访问介质上的硬件、方法或过程或计算机软件。在以下的说明书和附图中给出一个或多个实现方式的细节。根据说明书和附图以及权利要求，其他特征将显而易见。
附图说明
[0011]图1是图示根据贯穿本公开描述的实现方式的用于在显示设备上生成并且显示合成内容的示例3D内容系统的框图。
[0012]图2是根据贯穿本公开描述的实现方式的用于生成深度视图并且用于合成内容以供在显示设备上渲染的示例系统的框图。
[0013]图3A
‑
图3D描绘根据贯穿本公开描述的实现方式的使用发送方侧几何融合来合成新颖图像的示例。
[0014]图4描绘根据贯穿本公开描述的实现方式的使用发送方侧几何融合来合成缺失数据的区域的示例。
[0015]图5是根据贯穿本公开描述的实现方式的用于合成新颖图像以供在显示设备上渲染的示例管线的框图。
[0016]图6是根据贯穿本公开描述的实现方式的执行用于生成图像内容的发送方侧几何融合的过程的一个示例的流程图。
[0017]图7示出可以与本文描述的技术一起使用的计算机设备和移动计算机设备的示例。
[0018]在各个附图中相同的附图标记表示相同的元件。
具体实施方式
[0019]总的来说，本文档描述了可应用于由多个相机捕捉的对象的几何融合技术。几何融合技术可用于利用深度图像数据的更新(例如，计算)的视图来替换深度图像数据的多个视图(例如，对象的所捕捉的深度视图)。更新的深度视图可以被生成为对象的视图，其包含来自所捕捉的深度视图的深度数据并且另外包含来自对象的任何其它可用捕捉的深度视图中的每一个的图像和/或深度信息。更新的深度视图中的一个或多个可用于通过利用所存储的深度图像数据和与对象的多个其他视图相关联的图像和/或深度信息来合成对象的附加(和新的)视图。
[0020]可以使用任何数量的算法来融合深度图像数据，以通过并入来自几个其它深度视图的深度数据信息的新深度视图来替换每个(输入)深度视图。输入深度视图可以表示在由本文描述的算法修改之前的深度视图。本文描述的算法可以通过并入来自任何数量的其它(输入)深度视图的深度数据信息的新深度视图来替换每个(输入)深度视图，以完成缺失数据和/或减小图像中的噪声。如本文所用，深度视图表示特定捕捉对象和与本文描述的图像处理系统相关联的图像捕捉设备之间的距离。更新的深度视图可以从深度视图开始，并且从深度视图中修改、合并、添加和/或移除数据，以便生成更新的深度视图。
[0021]在一些实现方式中，可以生成更新的深度视图，以用于合成对象的新颖(例如，未见的)视图。例如，该文档包括与生成对象的新颖图像(例如，用户在远程呈现会话中捕捉的图像、由相机捕捉的虚拟内容、由相机捕捉的物理对象等)有关的示例。如本文所用，新颖(例如，未见的、新的)视图可以包括已经基于相机捕捉的图像内容(例如，对象、深度、照明等)和/或视频内容的一个或多个帧被解释(例如，合成、内插、模拟等)的图像内容和/或视频内容。例如，对相机捕捉的图像内容和/或视频内容的解释可以与本文所述技术结合使用，以创建捕捉的图像内容和/或视频内容的未见3D版本和视图(例如，姿势、角度等)。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种利用具有至少一个处理设备的图像处理系统来执行操作的计算机实现的方法，所述操作包括：接收对象的多个深度视图，所述多个深度视图中的每一个深度视图都是从所述对象的相应视点捕捉的，所述多个深度视图中的每一个深度视图都包括与从所述相应视点捕捉的所述对象的深度图像相关联的相应深度数据，在所述多个深度视图上执行聚合操作，所述聚合操作包括：生成与所述多个深度视图中的每一个深度视图对应的更新的深度视图，每个更新的深度视图基于所述相应视点，并且表示来自所述对象的所述多个深度视图中的剩余的每一个深度视图的所述相应深度数据的部分；以及利用对应的更新的深度视图来替换所述多个深度视图中的每一个深度视图；以及基于所述更新的深度视图生成来自目标视点的所述对象的图像，所述目标视点不同于捕捉所述多个深度视图中的每一个深度视图的所述相应视点中的每一个视点。2.根据权利要求1所述的方法，其中，执行所述聚合操作导致生成与所述对象的所接收的多个深度视图中的至少一个深度视图相关联的缺失数据。3.根据权利要求2所述的方法，其中，所述缺失数据包括与所述对象的所接收的多个深度视图中的至少一个深度视图相关联的遮挡区域。4.根据权利要求1至3中的任一项所述的方法，其中，执行所述聚合操作导致减小与所述对象的所接收的多个深度视图中的至少一个深度视图相关联的噪声。5.根据权利要求1至4中的任一项所述的方法，其中：所述聚合操作是所接收的多个深度视图生成所述更新的深度视图的几何融合，所述聚合操作响应于通过网络传送所述多个深度视图的请求而作为预处理来执行；以及所述预处理还包括每个更新的深度视图的视频压缩。6.根据权利要求1至5中的任一项所述的方法，其中，选择所述目标视点以合成所述对象的先前未捕捉的图像。7.根据权利要求1至6中的任一项所述的方法，其中，所述图像处理系统是被配置为使用所述更新的深度视图合成来自多个目标视点的图像的远程呈现系统。8.根据权利要求1至7中的任一项所述的方法，其中：所述多个深度视图表示与所述对象的捕捉的图像对应的多个深度映射；以及生成所述多个深度映射并且利用更新的深度映射来替换所述多个深度映射改善来自所述目标视点的所述对象的所生成的深度图像的时间相干性。9.一种图像处理系统，包括：至少一个处理设备；以及存储指令的存储器，所述指令在被执行时使所述系统执行包括以下的操作：接收对象的多个深度视图，所述多个深度视图中的每一个深度视图都是从所述对象的相应视点捕捉的，所述多个深度视图中的每一个深度视图都包括与从所述相应视点捕捉的所述对象的深度图像相关联的相应深度数据，在所述多个深度视图上执行聚合操作，所述聚合操作包括：生成与所述多个深度视图中的每一个深度视图对应的更新的深度视图，每个更新的深度视图基于所述相应视点，并且表示来自所述对象的所述多个深度视图中的剩余的每一个
深度视图的所述相应深度数据的部分；以及利用对应的更新的深度视图来替换所述多个深度视图中的每一个深度视图；以及基于所述更新的深度视图来生成来自目标视点的所述对象的图像，所述目标视点不同于捕捉所述多个深度视图中的每一个深度视图...

【专利技术属性】
技术研发人员：乌格斯，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：