用于透射率已知式色度键的方法技术

本发明专利技术涉及一种用于透射率已知式色度键的方法，其中，该方法至少包括以下步骤：a)获取所述至少一个对象(3)在第一背景(4)或第一场景前的第一记录(1)，b)获取所述至少一个对象(3)在至少部分地不同于该第一背景(4)或该第一场景的第二背景(5)或第二场景前的第二记录(2)，c)在使用该第一记录(1)和该第二记录(2)的情况下提取所述至少一个对象(3)。的情况下提取所述至少一个对象(3)。的情况下提取所述至少一个对象(3)。

【技术实现步骤摘要】
用于透射率已知式色度键的方法


[0001]本专利技术涉及一种用于透射率已知式色度键( Chroma
‑
Keying)的方法，尤其具有或者说用于在混合现实视频遮挡领域的应用。其他的表明本文所描述的方法的目的和方法的术语例如是：“具有透射度(Transmissionsgrad)确定的色度键；具有对透射度进行确定的色度键，透射(度)已知式色度键”，透射(度)可知式色度键，或也可以是多屏幕色度键”。此外，说明了一种用于执行该方法的计算机程序、一种其上存储有该计算机程序的机器可读的存储介质，以及一种用于执行该方法的系统。

技术介绍

[0002]关于在德语中也可以译为“彩色嵌空(Farbstanzen)”的色度键：色度键(通常也称为“绿屏“或“蓝屏”)是一种常见的方法，在该方法中，在理想的均匀颜色背景墙前(例如在绿色的银幕或者说“绿屏”前)记录图像或图像序列，使得前景是可分离出的或者说可挖出的，并且这些前景能够随后被置于其他背景上。
[0003]关于可能的应用。摄像机现今被广泛使用在例如监测、光学检查中，在驾驶员辅助系统中、在自动化驾驶中和其他机器人应用中。在大多数情况下，必须应对由于内部或外部的因素所造成的可能的传感器损害。这种损害也称为“视频遮挡(Video
‑
Blockage)”或“视频堵塞(Videoblockade)”。在下文中使用英文术语“Video
‑
Blockage”。视频遮挡例如可以是摄像机表面上的所有类型的不期望的污物和/或干扰(例如雨滴、结冰、雾、雪、污物、尘、粘贴物、鸟粪、叶和/或碎石)。这种污物和/或干扰的被称为视频遮挡的效应经常由于干扰光源(例如太阳)被增强。就机动车而言，视频遮挡的现象通常非常地不同，并且这些现象在大多数情况下仅极少地发生。此外，一般来说是不可能实现预测摄像机在开放世界情境中所可能遭受的所有可能的视频遮挡类型。在此和下文中，术语“开放世界情境”表示开放的环境或者说(环境)情境，与预定义的周围环境相反。
[0004]在技术上解决视频遮挡通常要求大数据量，这些数据量例如用于：
[0005]‑
感知(英：Perception)的和整体系统性能的稳健性；
[0006]‑
对遮挡探测器的训练；
[0007]‑
针对清洁期望或加热期望对探测器的训练；和/或
[0008]‑
对遮挡探测器、感知(英：Perception)和整个系统的性能的验证。
[0009]关于视频遮挡的数据或者说视频遮挡数据通常从真实的或所演出的现场记录或通过数据生成获取。数据生成有以下常见/已知的方法：
[0010]‑
对物理效应、例如雨滴或有水汽的挡风玻璃或挡风玻璃上的具有带水汽的层的合成模仿；
[0011]‑“
生成对抗网络”；和/或
[0012]‑
模式发生器，例如基于佩林(Perlin)噪声。
[0013]待解决的任务或问题
[0014]关于色度键：透射率已知式色度键能够克服单屏幕色度键的以下缺点中的一个或
多个缺点：
[0015]·
多义性(Mehrdeutigkeit)：在传统的色度键中，为图像的每个像素估计前景颜色(通常是RGB)和前景“阻光度(opacity)”(通常是α)。该“阻光度”与“阻光率”类似，相当于遮盖程度。如果前景颜色完全被遮盖和不再允许光通过，则“阻光度”＝1。原则上，“阻光度”意味着“完全遮盖”的状态减去透射度(1
‑
透射度)。一般来说，当前景色与背景颜色接近时，则有多义性，例如见图4。则“阻光度”常常不能够被正确确定。这至今通常通过易出错的启发法或工作密集的人工后处理来克服。
[0016]·
缺少对透射度的波长相关性的考虑：RGB与标量α值的组合一般来说不足以建模波长相关的光透过率或透射率，例如见图7和图8。
[0017]关于应用：应对视频遮挡，特别是在训练、验证和/或改善系统的稳健性中，通常要求极大的数据量，该数据量特别是详尽地包括在考虑如位置、结构、“阻光度”、失真(Verzerrung)和颜色方面的参数空间。现存方法在这些方面有若干优点和缺点，这根据图5在表格中示例性地表示。特别是所有至今为止的方法都未能具有充分的效果方差，效果方差可以是用于解决在真实世界、开放世界情境方面的问题的关键。与所使用的方法(例如基于车队的现场观测或人工演出＝，，Staging(舞台化)”)无关地，对来自真实世界的数据(“real world data”)进行处理或标记通常是开销大的。此外，在新一代摄像机中对这些数据的再使用通常不简单。

技术实现思路

[0018]本专利技术公开了一种用于透射率已知式色度键的方法的实施方式。有利的实施方式和扩展方案可以在以下描述中得出。
[0019]一种用于透射率已知式色度键的方法为解决所提及的任务做出贡献，其中，该方法至少包括以下步骤：
[0020]a)获取至少一个对象在第一背景或第一场景前的第一记录，
[0021]b)获取所述至少一个对象在第二背景或第二场景前的第二记录，所述第二背景或第二场景至少部分地不同于该第一背景或第一场景。
[0022]c)在使用该第一记录和该第二记录的情况下提取所述至少一个对象。
[0023]步骤a)、b)和c)和必要时d)(见下文)可以例如至少一次地和/或重复地以所说明的顺序执行以执行该方法。此外，步骤a)、b)和c)，特别是步骤a)和b)，可以至少部分地并行地或同时地执行。
[0024]在本文所描述的方法中，透射率已知式色度键特别是可以基于从摄像机已获取的多个数字图像表示来执行。在此，透射率已知式色度键优选可以基于多个数字图像表示。该方法例如可以被执行用于为学习式算法(“机器学习算法”)生成训练数据。机器学习算法例如可以被提供并设置为用于为例如车辆(特别是机动车)探测在光学传感器视场中的(物理)堵塞。机器学习算法示例性地可以包括至少一个人工神经网络或者可类比的用于实现人工智能的算法。对该方法的生成或者说执行可以至少部分自动化地或人工地进行。该方法有利地能够用于为机动车摄像机系统生成用于对象识别算法的训练数据。
[0025]在步骤a)中，获取至少一个对象在第一背景或第一场景前的第一记录。该记录可以是动态的，呈视频记录方式的。该记录优选可以呈单个照片或图像的形式被获取。换言
之，这特别是也可以被这样描述：优选获取静态的记录作为第一记录。“对象”可以是固实的物理物体。然而在此也可考虑，能够将尘层、水、水滴、小水滴、条纹、斑点、污点等记录为对象。该对象特别是不必是在物理上稳定的物体。因此，术语“对象”特别是可以是但不必一定是连贯的或固实的。而是，术语“对象”在此可以包括各个类型的(可识别的或可光学检测的)介质，包含例如污点、分散物或尘。因此该术语特别是不仅可以描述在空间上连接的组成部分而且可以描述不连贯的部分。
[0026]在步骤b)中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于透射率已知式色度键的方法，其中，所述方法至少包括以下步骤：a)获取至少一个对象(3)在第一背景(4)或第一场景前的第一记录(1)，b)获取所述至少一个对象(3)在第二背景(5)或第二场景前的第二记录(2)，所述第二背景或第二场景至少部分地不同于所述第一背景(4)或所述第一场景，c)在使用所述第一记录(1)和所述第二记录(2)的情况下提取所述至少一个对象(3)。2.根据权利要求1所述的方法，其中，在步骤d)中，将所提取的对象(3)与第三背景(6)或第三场景组合，所述第三背景或第三场景尤其至少部分地与所述第一背景(4)和/或所述第二背景(5)或所述第一场景和/或所述第二场景不同。3.根据权利要求1或2所述的方法，其中，所述方法用于生成用于视频遮挡的混合现实数据。4.根据前述...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：罗伯特，
类型：发明
国别省市：