实时数字修改代表原始图象的视频数据流的方法技术

一种可利用备用背景（７２）实时替换输入视频信号的指定背景部分（５４）的方法。该方法利用参考视图（４８）的实际背景图象作为基础，测定其最终图象内的背景元素和前景元素，结果可以与诸如色度健和最终遮挡技术之类的传统蓝屏处理相比，只需要一台个人计算机、一部摄象机和软件。然而，在此案例中，背景图象可以为摄象机拍摄的具有充足固定光源的任何合理的静态场景。通过比较参考视图的背景图象，视频流得以实时方式修改，随后传送到其原始目的地。以实时方式对以上信号施加多种信噪处理算法，以达到视觉上可接受的遮挡。（*该技术在2018年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术一般涉及数字图象处理，更确切地说，涉及用于修改实时视频数据流的系统和方法，该系统和方法通过删除部分原始图象并替换部分元素创建新图象而无需采用传统的蓝屏技术。在动画和视频界，通常将两幅或多幅图象合并为一个场景。例如，可以将一幅气象员图象与另一幅气象象结合起来表示站在气象图前面的气象员。主要采用“蓝屏”处理实现以上组合图象技术，在蓝屏处理中，以纯蓝为背景拍摄一幅图象，并且以第二图象替换蓝色背景。可以电子或通过光学摄影技术实现以上替换。人们对现有“蓝屏”处理进行了各种改进。美国专利No.4,968,132公开了一种产生阴阳遮片(matte)的移动遮片处理过程，该效果可以在计算机上逐帧替换或修改，同时该遮片可用于在常规电影摄制或视频记录中产生特殊效果而无需蓝屏背景。此外，在美国专利No.4,800,432中，一个视频差分键生成器具有一幅已存储的参考视频图象。利用绝对差分电路比较输入视频图象与参考视频图象，该绝对差分电路去掉两幅视频图象中不同的对应象素，即从较大的象素中去掉较小的象素，从而产生一幅差分视频图象。可以过滤以上差分视频图象，随后输入到转换函数电路以产生一个输出，该输出可以作为合成视频图象的关键信号。如果能够实时执行以上费力费时的功能，如果视频帧的分析能够更好地理解各视频帧内的图象构成，并且如果还能完全避免使用蓝屏技术的话，则以上背景替换方法具有显著优势。本专利技术简化了从视频图象中删除背景场景并利用备用背景替换以上背景的处理过程。可以使用简单PC计算机代替现有技术的复杂计算机系统。在本专利技术中，固定摄象机生成的一系列的视频帧(或一帧)被拍摄下来。这些图象和它们帧与帧之间的细微变化，诸如高度、颜色、阴影、微小的移动以及摄象机本身产生的正常偏差，都会从摄象机传送给计算机，在计算机中这些图象被软件以实时方式分析生成视频的数据描述。如同它是被计算机拍摄的。随后使用已捕获视频的数学描述分析同一场景的新的视频分割，以便确定该场景是否发生任何变化。相对于原始数学描述而言，将落在预置容差之内的新视频元素称为背景。将落在预置容差以外的新视频元素称为前景，并且可以从背景中分离出来。对不同前景和背景视频元素的理解和分离使得能够修改新的视频流。例如，可以将背景改变为一个全新图象，而保留前景不变。背景图象可任意为所希望的移动视频、位图或动画之一。因此，无须采用蓝屏就能实现传统蓝屏处理的功能性。因此，本专利技术的目的在于通过采用仅有软件的程序设计机制以实时方式从实况视频场景中删除背景图象，并且利用包含原始前景元素的备用背景图象以实时方式替换以上背景图象，其中仅有软件的程序设计机制采用实况视频场景元素的数学描述而并不采用传统的蓝屏处理。因此，本专利技术涉及利用计算机系统以实时方式数字修改实况视频场景的方法，其中计算机系统具有一个存储器、一个可视显示器以及一个与计算机相连的固定摄象机，以便将来自摄象机的视频信号传送到计算机，并在计算机中形成经过修改的视频场景。这是通过以下处理完成的，首先以数字方式捕获并且以存储器的第一数据结构数学描述实况视频场景(以下称为“参考视图”)的一帧或几帧。接着，由计算机数字化并捕获实况视频场景的各后继帧，用软件数学描述各个新帧并存储在存储器的第二数据结构中。利用熟练技术人员可用的多种信噪处理算法以实时方式比较以上第一和第二数据结构，并且从最近捕获的帧中数学删除参考视图的背景图象。此外，在该阶段中，假定存储器第三数据结构中的不同背景图象的数学描述是可用的，如录制的视频、位图或动画，则可以将其代入第二数据结构代替已被删除的参考视图的背景图象，从而创建数字化帧的新的数学描述。最后，将该帧的数学描述转换回视频信号并在可视显示器上显示，或者传送到诸如视频会议参与者或捕获文件之类的任何适当目的。因此，以上处理的结果得到以下现象原始视频场景(参考视图)中的任何前景元素现在被叠加到一个创建新图象的不同背景上。结合以下最佳实施例的详细说明，本专利技术的上述特点和其他特点将会更加显示出来，其中相同数字表示相同元素，附图为附图说明图1(A)-(D)分别表示显示参考视图时的显示屏幕，显示数学删除参考视图后的黑色(空白)屏幕，检测到新前景元素的黑色屏幕，以及利用先前的前景视图代替参考视图形成新图象的置换视图；图2概要表示获取图1所示屏幕的方式；图3表示算术布尔异或运算，该运算匹配两组待匹配布尔数据集之间的重复位值，布尔数据表示以标准数字数据格式存储的参考视图，其中把参考视图与表示实况视频场景的数据进行数字比较，以便仅留下并未在两个场景中同时出现的数据；以及图4是一个流程图，该图表示本专利技术的创新步骤。图1(A)-(D)表示本专利技术之创新处理中的基本步骤。在图1(A)中，捕获并在计算机的可视显示器上显示一幅参考视图。参考视图被定义为存储在计算机存储单元之数据结构中的一系列有限数字化视频帧的数学描述。参考视图被用作典型视频场景，以便从随后捕获的数字视频帧中分离出前景元素和背景元素。根据所选择的算法，一幅参考视图可以由一幅或多幅数字化视频帧组成。通过比较参考视图，从已捕获的各帧中数学删除同一视图的后继视频场景。如图1(B)所示，修改算法的参数(或者手工或者利用软件自动)直至显示屏幕完全空白(在此案例中选择黑色，但是可以轻而易举地选择白色或任何其他颜色)，空白表示以实时方式从数字化视频流中完全删除参考视图。图1(C)所示的屏幕表示当某人进入摄象机捕获的场景时达到的效果。由于该人并不是参考视图的一部分，所以软件处理认为他是前景元素，并以叠加在黑色背景前方的方式出现。该软件以实时方式从数字化视频流中数学删除除该人之外的所有场景。图1(D)表示利用备用视图替换已删除的参考视图的能力。可以利用计算机图形、动画或视频数字替换参考视图，以得到该人位于备用视图前方的现像。因此，图1(D)所示的结果表示如何数字重排前景元素和背景元素以产生一幅新图象。图2表示用于创建以上新图象的本专利技术的装置。参考视图10包括一张桌子12和一把椅子14，桌子12和椅子14被定义为摄象机16捕获的可视图象。为了获得最佳效果，以上参考视图应没有多余动作并且应利用固定的、全局强光照明设备照明。必须将摄象机16安装在一个固定位置，并且与个人计算机18相连。个人计算机18包括安装摄象机以及摄象机运行时所需的适当视频软件和硬件。视频软件可以包括操作系统视频驱动程序、压缩程序、解压缩程序以及诸如视频会议或视频编辑软件之类的应用软件。个人计算机18对捕获的参考视频进行数字化，将其存储在利用部件19示意表示的存储器的第一单元，并进行显示。个人计算机18包含在其随机存取存储器(也利用部件19示意表示)中运行的软件系统。当表示部分参考视图的各帧出现时，软件系统从摄象机16捕获视频信号。正如参数20所示，捕获各后继帧。为了获得出众的结果，正在被摄象机16拍摄的场景应没有移动并有良好照明。软件的参考阶段20建立一组任何熟练技术人员均可轻易理解的数据结构，该数据结构包含表示场景、照明动力以及由摄象机接收器引起的象素值中的偏差的值。可以调整参考阶段，以便表现最佳场景。在计算机的监视器22上显示参考场景10，以方便操作员调整。该软件也可供自动调整之用。阶段24表示软件系统的删除阶段，软件系统的删本文档来自技高网...

【技术保护点】
一种用包括一个存储器和一个可见显示屏幕的计算机系统实时对代表原始图象的视频数据流进行数字化替换的方法，以便去除部分原始视频图象并替换新元素来创建一个新视频图象，该方法包括以下步骤：在所述计算机存储器之第一存储单元中的一个数据结构中，至少 存储表示第一输入视频数据流中所述原始图象的一帧数据；在所述显示器上显示所述已存储的原始图象；从表示后来已改变的原始图象的第二输入视频数据流中捕获实时视频，并在所述计算机存储器之第二存储单元中的一个数据结构中存储表示所述已改变的原始图 象的数据；比较表示具有改变的所述原始图象的第二视频数据流中的数据与所述已存储的原始图象视频数据，以区别背景元素和前景元素；删除所述已存储的原始图象与后来已改变的原始图象的公共背景元素，只留下所述后来已改变的原始图象的前景元素；利 用备用背景替换元素替换所述后来已改变的原始图象的所述背景元素；以及仅在所述备用背景替换元素上显示所述后来已改变的原始图象中的前景元素，以形成所述新图象。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：迈克尔D斯蒂芬诺，
申请(专利权)人：麦托福集团，
类型：发明
国别省市：US[美国]