用于处理视频图像的系统和方法技术方案

一些典型实施例旨在通过处理一系列的二维图像，产生在该系列的图像中所描述的实物世界的表示，从而创建“虚拟世界”。虚拟世界表示包括对象的模型，所述对象模型指定了虚拟世界内对象的位置、对象的几何形状、对象的维数、对象的表面表示、以及／或者其它相关信息。通过开发虚拟世界表示，可以运用许多图像处理效果，如立体图像的生成、对象插入、对象去除、对象平移和／或其它的对象处理操作。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总的涉及处理图形图像。
技术介绍
许多技术已经被提出，并且在许多情形中已经被实现来执行一个或者多个二维图像到一个或者多个立体三维图像的转换。二维图像到三维图像的转换涉及到为每个三维帧创建一对立体图像。然后使用适合的显示设备，可以将立体图像呈现给观察者的左眼和右眼。根据场景中的对象和场景的观察者之间的计算出的空间关系，相应的立体图像之间的图像信息不同。图像信息中的差别使得观察者能够感觉到三维效果。在美国专利第6,477,267号(‘267专利)中描述了转换技术的一个例子。在‘267专利中，只对给出的二维图像中所选择的对象进行处理以取得最终三维图像中的三维效果。在‘267专利中，最初是通过描绘对象的轮廓来选择对象以进行这种处理。所选择的对象被分配一“深度”值，该“深度”值代表对象离开观察者的相对距离。针对依赖于所分配的深度值的一对立体图像中的每个图像，执行所选对象的横向位移。本质上，发生“剪切-粘贴”操作以创建三维效果。对象的简单位移在对象的背景中产生了缝隙或者空白区域。‘267专利中公开的系统通过“伸展”对象的背景以填充空白区域来补偿缝隙。‘267专利有许多局限性。具体地，伸展操作会引起被伸展对象的变形。伸展需要被最小化以减小视觉的异常。伸展量还对应于对象与其背景之间的差别或视差，并且伸展量是其距观察者的相对距离的函数。因此，相互作用的对象的相对距离必须保持较小。在美国专利第6,466,205号(‘205专利)中描述了转换技术的另一例子。在‘205专利中，对视频帧的序列进行处理以选择对象并且创建所选对象的“单元(cell)”或者“消光(mattes)”，其基本上仅仅包括与它们各自的对象相关的信息。在给定帧中，由另一对象对所选对象的局部遮蔽通过在时间上搜索视频帧序列以识别其中第一对象的相同部分未被遮蔽的其它的帧来处理。因此，即使完整的对象没有出现于任何的单个帧中，也可以为完整的对象创建单元。这种处理的优点是在为了提供三维效果而移置对象时不会出现缝隙或者空白区域。具体地，会成为空白的一部分背景或者其它对象可以用从时间序列中的其它帧获得的图形信息来填充。因此，三维图像的再现可以以有利的方式出现。
技术实现思路
一些典型的实施例旨在通过处理一系列的二维图像，以生成由该系列的图像所描述的实物世界的表示，从而创建“虚拟世界”。虚拟世界表示包括对象模型，该对象模型指定虚拟世界内对象的位置、对象的几何形状、对象的维数、对象的表面表示和/或其它相关的信息。通过开发虚拟世界表示，可以运用许多图像处理效果。在一实施例中，可以创建立体图像。为了创建一对立体图像，利用两个不同的相机位置，再现虚拟世界的两个单独的视图，其对应于观察者的左眼和右眼。以这种方式再现的立体图像产生的三维效果比采用公知的转换技术可能得到的感觉质量更好。具体地，使用三维几何学进行表面重构实现了比采用二维相关性时可能实现的更加精确的对象表示。在一实施例中，通过使用编辑应用软件，将算法分析和手动输入应用于一系列的二维图像上。编辑应用软件的图形用户界面使“编辑者”能够控制图像处理算法和相机重构算法的操作以开始对象模型的创建。运用算法的同时，编辑者可以通过图形用户界面提供用户输入来精致对象模型。通过协调手动和自动图像操作，可以以高效的方式将二维序列转换成虚拟世界表示。因此，诸如二维到三维转换的进一步的图像处理可以以比使用已知处理技术更高效和更精确的方式发生。上述内容相当广泛地概括了本专利技术的特征和技术优点，从而使得能更好地理解下面的本专利技术的详细描述。本专利技术另外的特征和优点将在下文中描述，其形成本专利技术权利要求的主题。应该理解，所公开的构思和具体实施例可以被方便地用作修改或设计其它结构以用于实现本专利技术的相同目的的基础。应该意识到，这种等同的构造并不脱离如所附权利要求所述的专利技术。在结合附图考虑时，根据下面的描述，将更好地理解与本专利技术的结构和操作方法有关的、被认为是本专利技术的特性的新颖特征，以及更多的目的和优点。然而，应该清楚地理解，所提供的每个图只是为了说明和描述的目的，并不是作为本专利技术的限制的限定。附图说明为了更加完整地理解本专利技术，现在结合附图，参考下面的描述，其中图1示出了视频序列的关键帧。图2示出了根据一个典型实施例生成的来自图1所示视频序列的对象的表示。图3示出了根据一个典型实施例生成的三维场景的俯视图。图4和5示出了根据一个典型实施例生成的立体图像。图6示出了根据一个典型实施例，从视频序列开发三维场景模型的一组相关过程。图7示出了根据一个典型实施例，用于产生纹理数据的流程图。图8示出了根据一个典型实施例实现的系统。图9示出了根据一个典型实施例的其中对象可以利用三维模型来表示的一组帧。具体实施例方式参考附图，图1示出了根据一些典型实施例可以处理的视频图像序列100。视频图像序列100包括关键帧101-104。在这些关键帧之间可以存在多个其它帧。如图1所示，球体105具有多个色调和/或色度容量(chromaticcontent)。球体150的一半使用第一色调151来再现，并且球体150的另一半使用第二色调152来再现。球体150通过视频序列100经历旋转变换。因此，在关键帧102中，相对于关键帧101，可以看到更大量的色调151。在关键帧103中，充分的旋转已经发生，使得仅球体150的色调151是可见的。在关键帧104中，与关键帧101中的色调152的位置相比，在球体150的相对侧上，色调152再次变为可见。盒子160在视频序列100中经历缩放变换。具体地，盒子160遍及视频序列100变得更小。而且，在视频序列100期间，盒子160被平移。最后，盒子160的运动使得盒子160被球体150遮蔽。在关键帧104中，盒子160不再可见。根据公知的图像处理技术，通过分割或者消光(matting)来自关键帧103的球体150，将产生针对关键帧103的立体图像。用于球体150的被分割或被消光的图像数据将包括单一色调(即色调151)。被分割或者被消光的图像数据可以在立体视图中被替换。另外，可以进行图像填充或者对象伸展以处理由替换导致的空白区域。由于不能精确再现球体150的多色调表面特征，许多公知的图像处理技术的局限性被显现出来。具体地，因为根据公知图像处理技术的立体图像的生成仅使用了经消光的或者经分割的图像数据，所以，在一对立体图像的左、右图像中，公知技术会将球体150再现为单色调对象。然而，这种再现偏离了在三维场景中会实际产生的视图。在实际的三维场景中，右视图可以使得色调152的一部分在球体150的右侧上可见。同样地，左视图可以使得色调152的一部分在球体150的左侧上可见。当通过在正被处理的图形中创建对象的三维模型从而再现立体图像时，典型的实施例使得能够得到更高的精确度。可以针对盒子160创建单个的三维模型。另外，利用为盒子160创建的模型，可以对盒子160所经历的缩放变换进行编码。图2中所示的盒子160的表示201-204对应于关键帧101-104。另外，需要注意，盒子160没有显式地呈现在关键帧104中。然而，由于缩放变换和平移能够被识别和编码，所以可以为关键帧104创建盒子160的表示204。关键帧中不可见对象的表示的创建有利于使许多效果能够实现。例如，本文档来自技高网...

【技术保护点】
一种用于处理视频序列的方法，包括：限定与所述视频序列的多个帧内的对象相关联的图形数据；将三维模型与所述对象相关联；限定所述对象在所述多个帧之间经历的变换；针对所述多个帧的第一帧生成纹理映射数据，其中，所述生成：（ｉ）识别所述三维模型的根据与所述第一帧相关联的相机位置可见的第一部分；（ｉｉ）将与所述第一帧相关联的经限定的图形数据包括在用于所述第一部分的纹理映射数据内；（ｉｉｉ）识别所述三维模型的根据与所述第一帧相关联的相机位置不可见的第二部分；（ｉｖ）根据所述对象在所述第一帧和至少第二帧之间经历的经限定的变换，处理与所述多个帧中的至少所述第二帧相关联的经限定的图形数据；并且，（ｖ）将所述经处理的图形数据包括在用于所述第二部分的纹理映射数据内。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：大卫A斯普纳，托德辛普森，
申请(专利权)人：转换器有限公司，
类型：发明
国别省市：CA[加拿大]