用于生成3D立体视图的着色方法技术

本发明专利技术涉及用于基于3D画面的左视图和右视图以及视差图生成中间视图的方法，该方法包括：使用包含在左视图和右视图以及视差图中的像素信息创建中间视图，在所创建的中间视图中识别遮挡像素，以及使用从相邻像素中得到的信息填充遮挡像素。

【技术实现步骤摘要】
【国外来华专利技术】用于生成3D立体视图的着色方法
本专利技术涉及一种用于基于3D画面的左视图和右视图以及视差图生成中间视图的方法。本专利技术还涉及用于生成中间视图的装置、计算机程序以及计算机可读非临时性介质。
技术介绍
目前的3D立体技术通常依赖于两个视图，即左视图和右视图以产生3D效果。存在要求生成介于左视图和右视图之间乃至左视图的左侧或者右视图的右侧的视图的应用，例如自动立体显示或者深度修改的方法。为了向用户呈现这种视图，系统必须生成这种新视图。来自左视图和右视图的信息被用于生成这种新视图。然而，存在于新视图中的画面区域可能在左视图和右视图中均没有相应的信息。这种画面区称作遮挡（occlusion）区域或者完全遮挡。因此，需要使用画面信息填充这种遮挡。
技术实现思路
本专利技术的目的是提供了用于基于3D画面的左视图和右视图以及视差图生成中间视图的方法和装置，其中，使用适当的画面信息填充中间视图中的遮挡。根据本专利技术的一方面，提供了一种用于基于3D画面的左视图和右视图以及视差图生成中间视图的方法，其中，该方法包括：-通过使用包含在左视图和右视图以及视差图中的像素信息创建中间视图，-在创建的中间视图中识别遮挡像素，以及-使用从相邻像素中得到的信息填充遮挡像素。根据本专利技术的另一方面，提供了一种基于3D画面的左视图和右视图以及视差图来生成中间视图的装置，该装置包括：寄存器，用于存储n个像素值；过滤器单元，连接至寄存器并且具有n个过滤系数；分类单元，连接至寄存器并且用于基于该n个像素值来确定分类值；查询表单元，包括多个过滤系数组并且被适配于通过分类单元的分类值进行寻址并且将一组n个过滤系数提供给过滤器单元；以及填充单元，被适配于使用过滤器单元的结果值填充中间视图中的遮挡像素。根据又一方面，提供了一种计算机程序，包括：程序工具，当在处理器上执行该计算机程序时，该程序方法使处理器执行根据本专利技术的所述方法的步骤；还提供了一种计算机可读非临时性介质，具有存储在其上的指令，当在处理器上执行该指令时，该指令使处理器执行根据本专利技术的方法的步骤。本专利技术的优选实施方式被限定在从属权利要求中。应当理解，所要求保护的装置、所要求保护的计算机程序和所要求保护的计算机可读介质具有与所要求保护的方法和在从属权利要求中所限定的相似和/或相同的优选实施方式。本专利技术是基于使用从相邻像素得到的像素信息填充遮挡像素的构思。因此，方法允许“创建”不存在的数据，即，像素数据，然而，该像素数据与画面内容是一致的。在识别两个或更多的遮挡像素的情况下，逐个像素地执行该方法，其中，填充的遮挡像素的信息可用在以下步骤中来“创建”用于另一遮挡像素的信息。附图说明本专利技术的这些和其他方面将通过参照下文所述实施例进行的详细描述而变得明显。附图中：图1示出了用于说明表述“遮挡区域”和“遮挡像素”的场景的俯视图；图2示意性地示出了根据本专利技术的“填充”处理；图3通过实例的方式示出了用于生成新像素信息的函数；图4是用于说明使用信息填充遮挡像素的步骤的框图；图5是用于说明用于生成查询表的训练处理的框图；以及图6是用于说明训练处理的框图。具体实施方式对3D（3维）画面内容，尤其是3D动作内容的供应和需求迅速地增加，并且因此对能够呈现这种3D内容的系统的供应也在增长。除了需要3D眼镜的系统之外，市面上还存在不需要使用任何类似3D眼镜的特定辅助手段的系统。例如，自动立体是在没有在观看者的器官上使用特殊的头饰或者眼镜的情况下显示立体图像（增加3D深度感知）的方法。例如，一些自动立体系统能够显示多个视图，从而使得显示器不需要感测观看者眼睛的位置。那意味着观看者根据相对于显示器的视角可看到不同的视图。因为所供应的例如动作画面的画面内容通常仅包括与相对于成像场景的某个视角相对应的左视图和右视图，故系统不得不为不同的视角创建另外的视图。通常，可以基于包含在所供应的左视图和右视图中的画面信息来创建或者生成另外的视图。然而，可能在某个视角中，观看者看见不包含在左视图和右视图中的画面内容。参照图1通过实例的方式简要说明这种情况。图1示出了获取左视图画面和右视图画面所经由的场景的俯视图。在该场景中，存在位于左视图L中的一个物体，该物体位于中心轴的左侧，然而，在右视图中物体被轻微地向右移位。通常所知的，这种移位对创建3D深度的感知是必要的。因此，在两个视图中均存在在物体后面的区域R并且因此该区域R被物体遮盖。因此，视图不包含关于此区域R的任何信息。然而，由于在左视图和右视图中的物体被轻微地移位的事实，故左视图中的区域R不同于右视图中的区域R。当创建或者生成新视图时，可能（根据视角）在左视图或者右视图中被隐藏的或者被遮盖的区域不得不至少部分地被显示出来。在这种情况下，存在需要考虑的两种不同的情况。第一，一个视图（左视图或者右视图）的区域R的一部分的内容呈现在另一个视图中。在图1中，通过虚线示出了这些区域并由参考符号为HO。位于左侧的区域HO被包含在右视图中，并且位于右侧的区域HO被包含在左视图中。这种区域通常被称作“半遮挡”区域。第二种情况涉及在左视图和右视图中均被隐藏的区域。在图1中，此区域用O表示。左视图和右视图均不包含用于此区域O的画面信息。这种区域通常被称作“遮挡”区域。现在下面描述如何使用从相邻区域得到的画面信息来“填充”这种遮挡范围或者区域的方式，从而使得填充进的信息与其他的相邻画面内容保持一致。图2a示出了形成待显示的画面的像素20的矩阵。毫无疑问，每个像素均是由包含颜色信息等的值来表示的。图2a的像素矩阵包括被虚线包围的遮挡区域10。如参照图1的简要描述，在遮挡区域10内的各个像素在以下被称作“遮挡像素”并且当基于左视图和右视图生成中间视图时已在先前的步骤中识别出该遮挡像素。因此，从与遮挡像素相关的左视图和右视图中无法得到信息。如果此视图可以被显示，则观看者会认为该遮挡区域为例如黑色区域（其仅为实例)，即与该遮挡区域周围的画面内容不一致的区域。因此，需要用像素信息填充遮挡区域10内的每一个像素，即，每一个遮挡像素11。在图2a中，存在被示出为黑色方格的一个像素12。在本实例中，首先使用信息填充此像素12。为了生成各个“填充”信息，预定函数（下面将详细说明）被应用于与遮挡像素12相邻的一行十三个（其为实例）像素14。该各个像素14由粗线包围并且此长方形16被称为过滤孔18。该过滤孔18具有长方形形状并且在像素矩阵20中“选择”了十三个像素。很明显，过滤孔18仅仅是从像素矩阵20里面选择某些像素的处理的画面表示。在过滤孔18内所选择的像素14的像素值被处理并且产生分配至遮挡像素12的像素值。因此，现在遮挡像素12具有与过滤孔18所选择的像素14的画面信息相关联的画面信息。在图2b中所示的下一步骤中，过滤孔18在像素矩阵20内移位一行，从而使得选择了不同的像素14。这些被选择的像素的像素值以与之前相同的方法来处理，并且将此处理的结果分配至遮挡像素22，该遮挡像素22是在先前步骤中已填充的像素12的下面一行。在图2c中示出的下一步骤中，过滤孔18在像素矩阵20内向右移动一列，从而使得过滤孔18现在还选择了在之前的步骤中已使用像素信息填充过的像素22。以相同的方式处理各个被选择的像素，并且将结果分配至由黑色方格表示的下本文档来自技高网...

【技术保护点】
一种用于基于3D画面的左视图和右视图以及视差图生成中间视图的方法，所述方法包括：使用包含在所述左视图和所述右视图以及所述视差图中的像素信息来创建中间视图，在创建的所述中间视图中识别遮挡像素，以及使用从相邻像素中所得到的信息填充所述遮挡像素。

【技术特征摘要】
【国外来华专利技术】2011.07.25 EP 11175202.81.一种用于基于3D画面的左视图和右视图以及视差图生成中间视图的方法，所述方法包括：使用包含在所述左视图和所述右视图以及所述视差图中的像素信息来创建中间视图，在创建的所述中间视图中识别遮挡像素，以及使用从相邻像素中所得到的信息填充所述遮挡像素，其中，所述相邻像素是排成一行的n个像素，其中，过滤所述n个像素的值以获得被分配至所述遮挡像素的新的单个值，其中，使用过滤系数组的各个预存储过滤系数分别地过滤所述n个像素的每个值，其中，多个过滤系数组被存储在查询表中，其中，基于w个像素的值确定被用于过滤的所述过滤系数组，并且其中，用于分类的所述w个像素和用于过滤的所述n个像素是相等的或者不相等的。2.根据权利要求1所述的方法，其中，使用信息填充所述遮挡像素的步骤是逐个像素来执行的。3.根据权利要求1所述的方法，其中，通过训练处理获得所述查询表中的所述多个过滤系数组。4.根据权利要求1所述的方法，包括应用自适应动态范围编码函数以对所述w个像素的值进行分类的步骤。5.根据权利要求4所述的方法，其中，所述w个像素的分类值作为所述查询表的索引。6.根据权利要求5所述的方法，包括以下步骤：将来自所述查询表的所述过滤系数组应用在所述n个...

【专利技术属性】
技术研发人员：皮尔乔治·萨托，菲利波·罗西，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP