用于多视图合成的方法技术

单透镜的输入图象被变换，以便通过创建至少两个输出图象而给出增强的三维呈现。前景对象和背景对象在输入图象中被分割，和互相不同地被变换，这样，前景对象呈现为从背景中突出。给定一系列输入图象后，在输出图象中前景对象将呈现为与背景对象不同地移动。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及合成视频资料的领域，具体地，以改善该视频资料的三维呈现为目的。合成由摄影机从任何视角摄取的3-D(三维)情景的图象是熟知的研究课题，并且已提出了几种不同的方法。给定完全的3-D模型后，有可能呈现从任何视角的情景。呈现(rendering)技术在计算机图形学领域中是熟知的(正如在J.D.Foley，A.Van Damm，S.K.Feiner，andJ.F.Hughes，”Computer Graphics-Principles and Practice(计算机图形学-原理和实践)”，Addison Wesley，Second Edition，1992，Chapter 14中描述的)。然而，模型的产生是麻烦的、易于产生错误的、和工作量极大的任务。另一方面，某些研究者试图直接从图象推断3-D信息。已开发了各种方法，以用于从图象序列中恢复对象的形状和摄影机的运动(例如，O.Faugeras，”Three-Dimensional Computer VisionaGeometric Viewpoint(三维计算机图象几何观点)”，MITpress，1993)。这些方法一般地在计算上是很复杂的。而且，在许多情形下，输入的图象序列是通过一种全景-倾斜-变焦摄影机而获取的，从而避免恢复情景的3D模型。另一个方法是执行基于图象的呈现(如在L.MacMillan”AnImage Based Approach to Three-Dimensional ComputerGraphics(三维计算机图形的基于图象的方法)”，Ph.D.dissertation，北卡罗林那大学，1997)，在这种情形下，不需要对象和环境的清晰的3-D模型。这些方法通过使用透视约束条件和不变量而避免进行3-D推断。本专利技术的目的是从单透镜的(monocular)视频序列开始合成一个情景的多个视图。这是通过对于每个输入图象产生情景的两个或多个新的视图而达到的。这样的视图适合于在3D-电视设备或任何其他适当的观看设备上显示。输入图象被分割成活动对象和静止背景。该背景还可被分割成多个区域。通过对每个区域施加适当的变换，从而产生新的视图。有利地，即使当不能从图象序列中提供必要的信息时，也可以利用简单的域的知识来创建对于视图的良好的近似。下面将给出其他目的和优点。现在参照以下的附图，作为非限制性例子描述本专利技术。附图说明图1显示一个可以在其中使用本专利技术的系统。图2显示本专利技术的流程图。图3显示按照本专利技术来进行处理的图象的示意图。图4显示对活动对象的分割。图5显示涉及到使用域知识和把静止背景进一步分割成多个区域的流程图。图6显示有关如何得出新的摄影机位置的方面。图7显示如何计算对分割对象的变换。图8显示如何创建新的视图。图9-13显示在优选实施例的描述中使用的某些公式。图1显示典型的3-D图象观看设备，有时也称为虚拟真实(virtualreality)设备。该设备包括处理器101、存储器103、以及可任选的各种外设，诸如显示器102、网络连接104、或未示出的其他类型的外设，诸如打印机、键盘、鼠标、话筒、扬声器，摄影机、和/或遥控器。连接可以是有线的或无线的。处理器可以是包括被嵌入在PC、电视机、机顶盒中的任何类型的处理器。该设备可以通过网络连接104(它可以是任何适当的网络连接，诸如互联网、有线电视、和/或局域网(LAN))而接入附加的处理或存储器能力。通常，3-D效果是通过使用可以创建立体图象的观看设备105达到的，通过对观看者的两个眼睛中的每个眼睛所显示的图象之间的差别而给出三维的视觉。图2显示按照本专利技术的方法的流程图。该方法可以由处理器101执行，或者在通过网络连接104而接入的远程处理器中执行。虽然优选实施例是作为软件而被显示的，但它同样也可以由本领域技术人员用硬件来实施。本专利技术也参照图3的示意的图象来描述。图3显示网球比赛。两个网球选手303和304在观众座位席301的前景的场地304上打球。场地304和座位席301是在相应于网球比赛的知识域内的已知类型的对象。输入是在网球比赛期间摄取的图象序列I1，I2，I3，...。图2显示所施加的、用来产生情景的两个立体视图的步骤。字母“L”被使用来表示涉及到立体视图输出的左视图的图象和变换，而字母“R”被使用来指涉及到右视图的图象和变换。在201，活动对象从静止背景中被分割出来。在这种情形下，网球选手302和303将被分割。分割方法的细节将参照图4进行讨论。然后，在202，域知识被使用来进一步把背景分割成各个区域。关于方框202的更多的细节将参照图5进行讨论。在203，新的视图被选择。细节将参照图6进行说明。方框202和203的操作可以并行地执行。在204，对于每个区域m，计算变换TLm和TRm。图7显示该方法。然后，在205，分割的区域通过使用变换TLm而被变形，以便创建左视图。该区域也通过使用变换TRm而被变形，以便创建右视图。细节将参照图8进行讨论。活动对象的分割图4是显示在方框201中所执行的步骤的流程图。在方框402、405、和409中，符号“·”被使用来表示对于图象施加的单对应性(homography)。4a.在401，对于每个输入图象Ik，估计单对应性变换Hk，这样，当Hk被施加到帧Ik时，使得在变换的帧中的网球场地的图象对准第一帧I1中的网球场地的图象。单对应性由3×3矩阵H代表，它把图象中的点(x，y)变换成由图9的公式(1)代表的点，其中hij单对应性参量是来自单对应性矩阵H的数值。这在技术上是熟知的，例如，可以参考上面引用的O.Faugeras，Three-Dimensional Computer Vision(三维计算机图象)。输入图象的对准是通过计算图象序列的空间-时间导数、估计正常的流程、以及线性地估值所述单对应性参量而实现的。实现这一点的一个方法可在以下论文中找到R.Pless等的“DetectingIndependent MotionThe Statistics of Temporal Continuity(检测独立的活动时间连续性的统计学)”，Trans.IEEE PAMI，vol.22，No.8，2000年8月。替换地，特征点(诸如顶角)和/或线可以在输入图象之间被定位和被匹配，并可从匹配的特征中估计单对应性，正如在授权给Burt等人的美国专利No.5,629,988中显示的。在402，Jk表示把变换Hk施加到图象Ik上得到的结果。4b.从域知识获知，在大多数网球序列中，允许摄影机摄全景、倾斜，和变焦，但不能围绕场地移动。对于摄全景-倾斜-变焦摄影机，在方框401中计算的所述变换不单对准网球场地，而且也对准情景中任何其他静止特征。只有活动的网球选手不被对准。在403，来自步骤1的变换的图象Jk可被组合起来以便创建情景的镶嵌结构。对于镶嵌结构中的每个象素，有来自图象Jk的一个或多个象素。为了滤除活动对象(网球选手)，把中间滤波施加到每个象素的多个数值，以及把中间数值放置在镶嵌结构M中。中间数值被如下地计算。假设对于某个象素有数值x1，x2，...，xK。这些数值被加以归类，以及归类的数值被表示为y1，y2，...，yK，其中y1＜＝y2＜＝...＜本文档来自技高网...

【技术保护点】
在数据处理设备中使用的图象处理方法，该方法包括： －接收至少一个单透镜视频输入图象； －把来自输入图象的至少一个前景对象进行分割； －对于多个输出图象中的每一个，对每个分割的对象和对背景施加至少一个相应的变换；以及 －从各个变换的结果导出多个输出图象。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：MS李，T布罗德斯基，D温沙尔，M特拉科维克，
申请(专利权)人：皇家菲利浦电子有限公司，
类型：发明
国别省市：NL[荷兰]