区分场景背景和前景的方法和替换场景图像中背景的方法技术

本发明专利技术涉及一种用于将由电子摄像机记录的场景的图像或者影像中的背景和前景区分开的方法。本发明专利技术还涉及一种用于替换所记录的场景图像或场景影像中的所述背景、同时保留所述前景的方法。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于区分由电子摄像机记录的场景的图像或影像中的背景和前景的方法。本专利技术还涉及一种用于替换所记录的场景影像的图像中的背景同时保留前景的方法。
技术介绍
为了分离由摄像机所记录的物体或人，其中，所述物体或人在实际场景中相互前后排列且因此彼此互相遮挡，依据现有技术存在多种方法。由此最广泛使用的方法为已经被使用很长时间的色度键控，其中，在实际场景中的背景具有限定的颜色，该限定的颜色未存在于前景物体中。通过对记录图像进行简单的色彩分析，则可检测到该背景并且将该背景与前景分离。该方法的不足在于:实际场景中的背景必须以限定的色彩出现，这在许多场合下是不可实现的。
技术实现思路
本专利技术的目的在于提出一种用于区分由电子摄像机记录的场景的图像或影像中的背景和前景的方法，该方法允许自由设计背景和前景。另外，本专利技术的目的在于提出一种用于替换场景的图像或影像中的背景的方法，其中背景和前景可被自由设计。通过根据权利要求1所述的用于区分由电子摄像机记录的场景的图像中的背景和前景的方法、根据权利要求28所述的用于替换场景图像中的背景的方法以及根据权利要求29所述的电子显示系统来实现所述目的。从属权利要求指出根据本专利技术的方法的有利的改进。根据本专利技术，提供了一种方法，通过该方法，由电子摄像机记录的场景的图像中的背景和前景可被彼此区分开。因此，场景的远离摄像机的一部分被视为背景，而该场景的接近摄像机的部分被视为前景。场景为背景的对象和前景的对象的整体。本文如果提到图像，则这些图像可为固定的图像或者优选地影像的帧。因此，背景和前景均不必完全充满图像，也可仅仅在图像中部分出现或根本不出现。根据本专利技术的方法还可用在图像的局部区域上。因此，例如在记录体育赛事中，场地周边广告可与位于广告前面的运动员区分开来。通常，假设从摄像机的角度看，前景局部覆盖背景。可在通过电子摄像机(S卩，例如具有CXD图像传感器或CMOS图像传感器的摄像机)记录的场景的静止图像中以及影像中实施根据本专利技术的方法。原则上，也可基于由模拟电子摄像机记录的图像信号实施该方法，然而，优选地通过数码摄像机实施本方法。根据本专利技术，背景可显示任意图像。例如，其可为具有多种颜色和/或多个亮度级别的图像。尤其，优选地，从该文件的意义上讲，单色且亮度均匀的表面不被理解成图像。因此，背景的图像通过编码显示，该编码保持图像对于场景的直接的人类观察者的可见性，或者甚至该背景的图像对于场景的这样的观察者而言是完全不可见的。具有编码的图像为场景的直接观察者可见是指:如果观察者原地直接观察场景和在距离背景有足够的距离处(然而在该距离处观察者仍然能够识别图像的内容)，则至少提供这种可见性。因此，图像的编码可包括图像的结构化或者背景的结构化，条件是该结构化如此细微使得观察者在足够的距离处识别出图像而结构化不具有干扰效应或不可觉察。现通过电子摄像机记录具有背景和编码、以及位于背景前的前景的场景的图像或影像。从而，记录场景的图像的摄像机的图像传感器产生信号。在该信号中，背景与前景通过编码相区分。因此，这是利用背景具有编码而前景不具有编码。由于在图像传感器(其记录场景的图像或影像以用于后续显示或进一步处理或传输)的信号中进行前景与背景的区分，因此可通过仅仅具有一个图像传感器(即记录图像的传感器)的摄像机来实施本方法，而不需要多个图像传感器。因此，优选地，确切地通过一个图像传感器实施本方法。因此，根据本专利技术，也只需要该一个图像传感器的确切的一个图像信号。在一些实施方式中，为了通过编码识别背景，需要适当改动待被摄像机或图像传感器记录的图像。因此，如果改动记录的场景图像以用于保存、进一步处理或传输，则恰好在记录图像之前改动未完成是优选的，从而在最终产生的图像中至少前景是纯正的，正如其在未改动的图像中会出现的那样。在本专利技术的有利的实施方式中，图像的编码或背景的编码可包括背景显示该图像的周期性交替的不同组成部分，相应地一个周期的组成部分组成完整的图像。周期持续时间(即在该时间内，图像的所有组成部分显示一次)从而被选择成如此短以致完整的图像对于场景的直接观察者可见。现在使摄像机的曝光时间与所述组成部分的显示同步，以使摄像机总是只记录图像的一个组成部分，该组成部分被选择成使得其允许通过键控方法、优选地通过基于颜色的键控(例如色度键控)将前景和背景区分开。如果m是图像被细分成的组成部分的数目，则如果摄像机精确地记录每一周期的一个组成部分，有利地，在显示时，所述组成部分改变的频率为摄像机的曝光频率的m倍。在示出这样的组成部分的过程中，影响图像显示的至少一个成像参数可在一个周期的过程中改变。成像参数可被理解成例如以下参数:适合于控制各个像素、成组的像素(图案)或完整的图像的颜色通道、对比度、亮度和/或饱和度的权重因子或比例因子的一个值或成组的值。对于键控，在摄像机曝光期间记录的背景的组成部分提供遮罩，该遮罩允许将前景与背景区分开。因此，例如，曝光的组成部分可显示增强的背景的图像的特定的颜色组成部分，或者专门地，优选地该颜色组成部分被选择成使得其不存在于或仅仅较弱地存在于前景中。在这种情况下，例如通过基于颜色的键控，尤其色度键控，可将前景与背景区分开。根据本专利技术，在本专利技术的所有实施方式中，任何能够产生遮罩(通过该遮罩，可将前景与背景区分开)的方法意欲被理解为键控方法。通常，“键控”描述一种用于检测图像或视频中的组成部分的过程。由此，所述组成部分可被识别或滤掉(图像分析)并且可以被其他图像源所替换(图像合成)。在图像分析中，检测图像中的特定特征或编码且由所述特定特征或编码产生与待被检测的图像组成部分相对应的遮罩。遮罩可作为图像合成中的模板。基于属性或编码计算遮罩不必是完全的并且可通过另外的过程进行补充。例如，本文包括图像分析过程，例如:光流法，根据颜色、边缘等的图像分割法或试探法(即，关于场景中的物体的假设)。尤其，可从摄像机追踪得到信息，在该信息的帮助下，得知摄像机在场景中的视角使得可预先确定图像中的背景的位置和尺寸或者甚至前景的位置和尺寸。因此，通常，将前景中不存在的属性或者在前景中仅仅较弱出现的属性作为编码添加到背景中，以使在基于该属性的遮罩中，将前景与背景区分开。在上文描述的实施方式中，用于曝光的组成部分使用于键控的遮罩可使用。一个周期的其他组成部分使图像完整以形成对于场景的直接观察者而言完整的图像。在显示这些其他组成部分期间，优选地摄像机不记录。例如，在曝光期间示出的组成部分可显示图像的增强的或减弱的特定的颜色成分，从而通过该颜色成分，可将背景与前景区分开。因此，当前景示出该颜色成分减弱时，曝光的组成部分示出该颜色成分增强；或者，当前景示出该颜色成分增强时，曝光的组成部分示出该颜色成分减弱。则背景在一个周期中示出的组成部分或其他组成部分可示出相应地减弱或增强的互补的颜色成分，以使场景的直接观察者感知到图像的实际颜色。在本专利技术的有利的实施方式中，背景的图像可被相应地恰好分为两个组成部分，该两个组成部分以特定的频率交替显示。则摄像机可以以交替频率的一半进行同步记录。因此，在摄像机的一个周期期间，总是显示图像的两个组成部分。因此，所示出的组成部分改变的频率是摄像机的曝光频率的两倍。在上述实施方式的另一实现中，例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.09.20 DE 102010046025.71.一种用于区分由电子摄像机记录的图像中的场景的背景和前景的方法，其中， 所述背景示出利用编码而被编码的任一图像，使得所述图像对于所述背景的直接观察者可见， 以及借助于所述编码，在由所述摄像机的记录图像的图像传感器所产生的信号中，将所述背景与未编码的前景区分开。2.根据前一项权利要求所述的方法，其中，所述编码包括所述背景将所述图像显示为组成该图像的组成部分的周期性序列，影响所述图像的显示的至少一个成像参数在每一周期过程中相应地改变，且所述摄像机的图像传感器的曝光与特定的组成部分的显示同步实现。3.根据前一项权利要求所述的方法，其中，所编码的所述图像在至少一个周期内的时间均值化与所述图像相对应。4.根据前两项权利要求中的任一项所述的方法，其中，所述图像传感器的记录周期的周期持续时间小于或等于所述组成部分的显示的周期性序列的周期持续时间。5.根据前述权利要求中的任一项所述的方法，其中，所述编码包括所述背景显示所述图像的周期性交替的不同的组成部分，相应地每一周期的所述组成部分构成完整的图像， 所述组成部分的显示与所述摄像机的曝光同步，使得所述摄像机在至少一个周期中、优选地在每一周期中，仅记录所述组成部分中的一个组成部分。6.根据前一项权利要求所述的方法，其中，所述摄像机记录的所述组成部分被选择成使得该组成部分允许通过键控、优选地通过色度键控将所述前景与所述背景区分开， 以及通过键控、优选地通过色度键控，将所述图像传感器记录的图像中的所述背景与所述前景区分开。7.根据前一项权利要求所述的方法，其中，由所述图像传感器记录的一个周期的所述组成部分显示出增强的颜色成分，该增强的颜色成分基本上不存在于所述前景中，并且其他的组成部分显示出相应地减弱的该颜色成分，使得所述组成部分一起构成所述图像的颜色。8.根据权利要求2至7中的任一项所述的方法，其中，两个组成部分以所述摄像机的曝光频率的两倍高的频率交替显示。9.根据前述权利要求中的任一项所述的方法，其特征在于，所述图像的编码包括所述背景显示周期性交替的 图案，所述周期性交替的图案在一个周期内互补以形成完整的图像，以及通过所述周期性交替的图案，在所述图像传感器的信号中将所述背景与所述前景区分开。10.根据前一项权利要求所述的方法，其中，所述图像传感器的曝光频率和所述图案的显示彼此同步和/或在所述图像传感器的信号中执行傅里叶转换，并且通过所述图案的交替显示的频率将所述背景与所述前景区分开。11.根据前两项权利要求中的任一项所述的方法，其中，所述图案以数学上可辨别的结构的形式存在，优选地在所述图像传感器的扫描方向上是周期性的，所述图案优选地为棋盘图案。12.根据权利要求9至11中的任一项所述的方法，其中，一个周期的所述图案中的每一图案为二元图案，该二元图案在一些区域中是完全透光的或者自发光的以及在一些区域中是较不透光的或者对于一个颜色的光而言是较不透光的，或者对相应的光而言是不透光的或者发出较弱的对应颜色的光或者根本不发出对应颜色的光。13.根据权利要求1所述的方法，其中，所述编码包括所述背景显示仅具有选自彼此间隔的可见光谱的一个范围、优选地至少两个范围的颜色的图像，并且从所述背景发出的光在入射在所述图像传感器上之前穿过彩色滤光片、优选地穿过干涉滤光片，该彩色滤光片滤掉或减弱这些范围的可见光谱，且使其他范围的可见光谱穿过而没有被减弱。14.根据权利要求1或13所述的方法，其特征在于，所述编码包括所述图像以背景幕上的彩色点的网格示出，所述彩色点相应地与围绕所述彩色点的背景幕一起构成所述图像的颜色，并且 彩色滤光片被设置在所述图像传感器的前面，该彩色滤光片减弱所述彩色点的颜色且优选地使背景幕的颜色通过而不被减弱，通过键控、优选地色度键控，基于所述背景幕的颜色将所述背景与所述前景区分开。15.根据前一项权利要求所述的方法，其中，所述彩色点的颜色和所述背景幕的颜色形成所述可见光谱的不相交部分，优选地，所述彩色点的光穿过至少一个光谱滤光片、优选地至少...

【专利技术属性】
技术研发人员：沃尔夫冈·沃尔芬，莱纳·沃尔斯芬，
申请(专利权)人：弗劳恩霍弗应用技术研究院，
类型：
国别省市：