本发明专利技术涉及分层深度数据。在多视图图像中,图像之间存在大量冗余。分层深度视频格式是一种众所周知的用于格式化多视图图像的格式化解决方案,其减少图像之间的冗余信息量。在LDV中,选择参考中心图像,并且提供由主要作为中心图像中被遮挡的区域的多视图图像的其它图像带来的信息。但是,LDV格式包含单个水平遮挡层,因此无法呈现揭示多层去遮挡的视点。本发明专利技术使用光场内容,其在每个方向上提供视差并且使得能够在与所考虑的图像的观看方向不同的多个方向上改变视点,使得能够呈现可以揭示多层去遮挡的视点,而这可能发生在宽的轴间距离的复杂场景中。
【技术实现步骤摘要】
【国外来华专利技术】生成场景的分层深度数据的方法
本专利技术涉及分层深度数据,更确切地说,涉及利用光场内容的属性的分层格式,无论那些光场内容是视频还是画面。
技术介绍
在立体或多视图系统中,仅在格式化数据时考虑场景的水平尺寸。在例如由相机被水平对准的情况下由相机装备组成的采集系统的情况下,仅可以提取3D视图之间的水平视差。基于深度图像的呈现技术众所周知为在捕获的视图之间内插中间视图但总是在水平方向上进行。在多视图图像中,图像之间存在大量冗余。分层深度视频格式或LDV是一种众所周知的格式化解决方案用于格式化多视图图像,其减少图像之间的冗余信息量。在LDV中,选择参考中心图像,并且提供由多视图图像的其它图像带来的信息,其是在中心图像中被遮挡的主要区域。LDV格式然后由表示处理多视图图像的必要信息的四个层组成:-选择的中心图像,-与选择的中心图像相关联的深度图,-遮挡图像,-和深度遮挡图。因此,只有非冗余的信息才被传送到呈现设备。这些信息被包括在从深度遮挡图生成的遮挡掩模(mask)中。与多视图上下文中使用的其它格式一样,LDV格式包含单个水平遮挡层,因此无法呈现揭示多层去遮挡的视点,这可能发生在宽的轴间距离情况下看见的复杂场景。考虑到前述内容,设计了本专利技术。
技术实现思路
根据本专利技术的第一方面,提供一种用于生成场景的分层深度数据的计算机实现的方法,包括:-根据表示场景的光场内容计算图像的深度图,所述图像是根据给定的观看方向观看的,-在与来自光场内容的图像的观看方向不同的第一方向上计算与来自光场内容的图像相关联的第一组遮挡信息,-在与来自光场内容的图像的观看方向以及第一方向不同的至少第二方向上计算与来自光场内容的图像相关联的至少第二组遮挡信息,-聚合来自光场内容的图像、深度图、第一组遮挡信息和第二组遮挡信息,以生成场景的分层深度数据。根据本专利技术的实施例的方法不限于由光学设备直接获取的光场内容。这些内容可以是由计算机完全或部分地模拟用于给定的场景描述的计算机图形图像(CGI)。光场内容的另一个来源可以是经过修改的后期制作数据,例如颜色分级,从光学设备或CGI获得的光场内容。现在在电影工业中常见的是具有使用光学采集设备获取的数据和CGI数据二者的混合。根据本专利技术的实施例的方法依赖于光场内容的使用,该光场内容在每个方向上提供视差并且使得能够在与所考虑的图像的观看方向不同的多个方向上改变视点。依赖于光场内容的使用的这样的方法使得能够呈现可以揭示多层去遮挡的视点,而这可能发生在宽的轴间距离情况下的复杂场景中。根据上述方法生成的分层深度数据至少包括来自光场内容的图像、与所述图像相关联的深度图、与所述图像相关联的第一组遮挡信息和第二组遮挡信息。在本专利技术的实施例中,光场内容可以是视频内容。根据用于生成分层深度数据的方法的实施例,将第一组遮挡信息和第二组遮挡信息合并在一起以生成第三组遮挡信息,所述第三组信息与来自光场内容的图像和深度图聚合,以生成场景的分层深度数据。合并第一和第二组遮挡信息使得能够减少要传送的数据量和要在接收器侧处理的数据量。第一和第二组遮挡信息的合并导致第三组遮挡信息的创建,其可以采取唯一的遮挡信息的形式,以表示在两个所考虑的方向上的遮挡信息。根据用于生成分层深度数据的方法的实施例,计算第一和第二组遮挡信息在于,将光场内容的图像与第一方向、第二方向上的来自光场内容的另一相邻图像分别进行比较。例如,考虑到第一方向是关于来自光场内容的图像的观看方向的水平方向,通过将光场内容的图像与来自水平方向上的光场内容的相邻图像进行比较来获得第一组遮挡信息。考虑到第二方向是关于来自光场内容的图像的观看方向的垂直方向,通过将光场内容的图像与来自垂直方向上的光场内容的相邻图像进行比较来获得第二组遮挡信息。本专利技术的另一个目的关注一种用于生成场景的分层深度数据的装置,包括:处理器,被配置为:-根据表示场景的光场内容计算图像的深度图,该图像是根据给定的观看方向观看的,-在与来自光场内容的图像的观看方向不同的第一方向上计算与来自光场内容的图像相关联的第一组遮挡信息,-在与来自光场内容的图像的观看方向以及与第一方向不同的至少第二方向上计算与来自光场内容的图像相关联的至少第二组遮挡信息,-聚合来自光场内容的图像、深度图、第一组遮挡信息和第二组遮挡信息,以生成场景的分层深度数据。根据用于生成场景的分层深度数据的装置的实施例,将第一组遮挡信息和第二组遮挡信息合并在一起以生成第三组遮挡信息,所述第三组信息与来自光场内容的图像和深度图聚合,以生成场景的分层深度数据。根据用于生成场景的分层深度数据的装置的实施例,计算第一和第二组遮挡信息在于,将来自光场内容的图像与来自第一方向、第二方向上的光场内容的另一相邻图像分别进行比较。本专利技术的另一个目的关注一种用于处理表示场景的光场内容的方法,所述方法包括基于与场景的光场内容相关联的场景的分层深度数据来处理光场内容,分层深度数据包括来自光场内容的图像的深度图、与来自光场内容的图像相关联的并且在与来自光场内容的图像的观看方向不同的第一方向上计算出的第一组遮挡信息,以及与来自光场内容的图像相关联的并且在与来自光场内容的图像的观看方向不同的第二方向上计算出的至少第二组遮挡信息。本专利技术的另一个目的关注一种由能够生成场景的分层深度数据的第一装置传送到能够处理场景的所述分层深度数据的第二装置的信号,所述信号携带包括场景的分层深度数据的消息,所述分层深度数据包括来自场景的光场内容的图像的深度图、与来自光场内容的图像相关联的并且在与来自光场内容的图像的观看方向不同的第一方向上计算出的第一组遮挡信息,以及与来自光场内容的图像相关联的并且在与来自光场内容的图像的观看方向不同的第二方向上计算出的至少第二组遮挡信息,第二装置对捕获图像的处理基于所述分层深度数据。由本专利技术的要素实现的一些处理可以由计算机实现。因此,这样的要素可以采用完全硬件实施例,完全软件实施例(包括固件,驻留软件,微代码等)或者组合软件和硬件方面的实施例的形式,其在本文中一般都可以称为“电路”,“模块”或“系统”。此外,这样的要素可以采用体现在任何表示的有形介质(具有体现在介质中的计算机可用程序代码)中的计算机程序产品的形式。因为本专利技术的要素可以用软件实现,所以本专利技术可以体现为用于在任何合适的载体介质上提供给可编程装置的计算机可读代码。有形载体介质可以包括存储介质,例如软盘,CD-ROM,硬盘驱动器,磁带设备或固态存储器设备等。瞬态载体介质可以包括诸如电信号,电子信号,光信号,声信号,磁信号或电磁信号例如微波或射频信号之类的信号。附图说明现在将仅通过示例并参考以下附图来描述本专利技术的实施例,其中:图1A示意性地表示全光相机,图1B表示相机装备(camerarig)的示意图,图2A表示在包括至少五个相机的相机阵列的水平方向上对准的三个相机C1,C2,C3以及由这些相机获取的空间部分,图2B图示在包括至少五个相机的相机阵列的垂直方向上对准的三个相机C4,C2,C5以及由这些相机获取的空间部分,图3是图示根据本公开的实施例的用于获得场景的分层深度数据的装置的示例的示意框图,图4是用于说明根据本专利技术的实施例的生成场景的分层深度数据的处理的流程图,图5A表示根据本专利技术的第一实施例生成的场景的分本文档来自技高网...
【技术保护点】
1.一种用于生成场景的分层深度数据的计算机实现的方法,包括:‑根据表示场景的光场内容计算图像的深度图,所述图像是根据给定的观看方向观看的,‑在与来自光场内容的图像的观看方向不同的第一方向上计算与来自光场内容的图像相关联的第一组遮挡信息,‑在与来自光场内容的图像的观看方向以及与第一方向不同的至少第二方向上计算与来自光场内容的图像相关联的至少第二组遮挡信息,‑聚合来自光场内容的图像、深度图、第一组遮挡信息和第二组遮挡信息,以生成场景的分层深度数据。
【技术特征摘要】
【国外来华专利技术】2016.07.21 EP 16305933.01.一种用于生成场景的分层深度数据的计算机实现的方法,包括:-根据表示场景的光场内容计算图像的深度图,所述图像是根据给定的观看方向观看的,-在与来自光场内容的图像的观看方向不同的第一方向上计算与来自光场内容的图像相关联的第一组遮挡信息,-在与来自光场内容的图像的观看方向以及与第一方向不同的至少第二方向上计算与来自光场内容的图像相关联的至少第二组遮挡信息,-聚合来自光场内容的图像、深度图、第一组遮挡信息和第二组遮挡信息,以生成场景的分层深度数据。2.根据权利要求1所述的方法,其中,将第一组遮挡信息和第二组遮挡信息合并在一起以生成第三组遮挡信息,所述第三组信息与来自光场内容的图像和深度图聚合,以生成场景的分层深度数据。3.根据权利要求1或2所述的方法,其中,计算第一组遮挡信息和第二组遮挡信息在于,将来自光场内容的图像与来自第一方向、第二方向上的光场内容的另一相邻图像分别进行比较。4.一种用于生成场景的分层深度数据的装置,包括:处理器,被配置为:-根据表示场景的光场内容计算图像的深度图,所述图像是根据给定的观看方向观看的,-在与来自光场内容的图像的观看方向不同的第一方向上计算与来自光场内容的图像相关联的第一组遮挡信息,-在与来自光场内容的图像的观看方向以及与第一方向不同的至少第二方向上计算与来自光场内容的图像相关联的至少第二组遮挡信息,-聚合来自光场内容的图像、深度图、第一组遮挡信息和第二组遮挡信息,以生成场景的分层深...
【专利技术属性】
技术研发人员:D多延,G博伊森,S蒂鲍德,
申请(专利权)人:交互数字VC控股公司,
类型:发明
国别省市:美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。