用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统技术方案

本发明专利技术涉及一种用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统，其包括：至少一个图像记录设备(C1、C2)；至少一个分析模块(A1、A2)，其与图像记录设备(C1、C2)相连接，该分析模块设置为，确定图像记录设备(C1、C2)的二维坐标系与显示设备(L)的二维坐标系之间的转换，进行分割，以在图像中至少确定前景对象对背景对象的遮挡；至少一个控制模块(K)，其与分析模块(A1、A2)相连接；至少一个显示设备(L)，其设置为，显示显示信息，特别是视频剪辑，其中，该图像记录设备(C1、C2)设置为，记录显示设备(L)上显示的显示信息，其中，分析模块(A1、A2)还设置为，确定关于分割的质量数据并将其发送到控制模块(K)，并且其中，控制模块(K)设置为，基于该质量数据调整在显示设备(L)上显示的显示信息。

A system for maximizing dynamic contrast between foreground and background in an image or/or image sequence

The present invention relates to a system for maximizing dynamic contrast between foreground and background in an image or/or image sequence, which includes at least one image recording device (C1, C2); at least one analysis module (A1, A2), which is connected to an image recording device (C1, C2). The analysis module is set to determine the two-dimensional coordinate system of an image recording device (C1, C2) and a display device (L). Conversion between two-dimensional coordinate systems and segmentation to determine at least the occlusion of the foreground object to the background object in the image; at least one control module (K), which is connected to the analysis module (A1, A2); at least one display device (L), which is set to display display information, especially video clips, in which the image recording device (C1, C2) is set to record and display device (L). The display information displayed is also set up, in which the analysis module (A1, A2) determines the quality data about the segmentation and sends it to the control module (K), and the control module (K) is set to adjust the display information displayed on the display device (L) based on the quality data.

【技术实现步骤摘要】
【国外来华专利技术】用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统
本专利技术涉及一种用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统。
技术介绍
为了将虚拟对象无缝集成到真实场景中(也称为增强现实)，已知要解决两个问题。一方面要确定摄像机坐标系和场景坐标系之间的转换，另一方面，要通过通常在前景中的真实对象来确定对通常投射在背景中的虚拟对象的遮挡。在电视转播或广播领域，有意义的是尽可能非机械地解决上述两个问题，即无需额外使用标记或传感器。这允许了更短的组装时间，并降低了要全部现场组装的转播系统的复杂度。而在实况转播的情况下恰恰需要将大部分设备运送到使用地点再接着进行组装和拆除。为了解决转换问题，一方面有基于硬件的解决方案，例如“编码云台”(例如来自vinten.com)，另一方面有基于软件的可视化操作的解决方案。这两个解决方案都提供映射x＝M(X)，其允许将3D空间中的虚拟对象的3D坐标X映射到当前摄像机图像中的摄像机坐标x。至今已知的分割方法需要所谓的键控指示，例如特定的背景颜色(例如色度键控或红外键控)。然而，这些机械解决方案具有上面提到的缺点，因为键控指示必须安装在转播地。
技术实现思路
本专利技术的任务是避免上述缺点。为了实现该任务，建议一种用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统，其包括：至少一个图像记录设备，至少一个分析模块，其与图像记录设备相连接，该分析模块设置为，确定图像记录设备的二维坐标系与显示设备的二维坐标系之间的转换，进行分割，以在图像中至少确定前景对象对背景对象的遮挡，至少一个控制模块，其与分析模块相连接，至少一个显示设备，其设置为，显示显示信息，特别是视频剪辑，其中，图像记录设备设置为，记录显示设备上显示的显示信息，其中，分析模块还设置为，确定关于分割的质量数据并将其发送到控制模块，并且其中，控制模块设置为，基于该质量数据调整在显示设备上显示的显示信息。通过考虑关于分割的质量数据，可以获得关于前景和背景是否彼此充分对比的结论。在对比度不足的情况下，可以调整显示信息，从而可以在不改变前景的情况下生成高对比度的背景。该系统还可以具有与控制模块和显示设备相连接的数据库，其中，该数据库设置为，存储要在显示设备上相继显示的显示信息序列。数据库例如可以是媒体服务器的一部分。媒体服务器将要播放的显示信息(例如视频剪辑)传输到显示设备。在此优选的是，控制模块设置为，改变存储的显示信息的序列。换句话说，控制模块可以指示媒体服务器在显示设备上输出或显示特定的显示信息。为了通过控制模块实现最佳调节，从媒体服务器向显示设备输出的显示信息(视频剪辑)也可以传输到控制模块。分析模块可以设置为，在分割时应用并最小化能量函数，其中，该能量函数基于前景对象和背景对象的概率分布或/和像素的概率分布。前景和背景中的分割(中间值，例如半遮挡或模糊也是可能的)用Y表示。在此使用的分割方法不需要键控指示，但可以分离任意的前景对象和背景对象。在此定义了应最小化的能量函数E(Y)。E(Y)可以对应于正确确定遮挡的概率的负对数。凸优化方法允许在考虑到每个单独像素的情况下有效且最佳地最小化能量，即最大化相应的概率。然而，对于能量函数E(Y)的最小化来说，关于背景和前景的外观的先验知识是必要的，特别是以概率分布F(前景)和B(背景)或像素分布f_i和b_i的形式，其中i表示特定像素。由于可能的亮度变化或外观变化，需要更新这种先验知识，这会导致漂移(模型逐渐偏离现实)。漂移问题可以通过上述反馈机制来抵消，在该反馈机制中，关于分割的质量数据被传输到控制模块且控制模块基于该质量数据调整显示信息。因此，这实现了具有改良性能的当前分割方法的应用。特别是，反馈通过显示设备进行，优选LED系统，例如在许多体育赛事中用于横幅广告的LED系统。控制模块还可以设置为，针对序列的剩余显示信息确定在哪个显示信息中，图像记录设备的预期的前景概率分布与预期的背景概率分布区别最大。控制模块还可以设置为，针对相关的图像记录设备计算概率映射，其中，该概率映射描述当显示设备显示剩余显示信息之一时，相关图像记录设备的图像中存在哪个概率分布。控制模块还可以设置为，基于显示设备的坐标系中的d与图像记录设备的坐标系中的x之间的时变2D-2D映射x＝F(d)来确定概率映射。该2D-2D映射F可以例如通过使用x＝M(X)来确定，其中X是显示器点d的物理位置X。控制模块可以设置为，基于显示设备和相关的图像记录设备之间的辐射校正来确定概率映射。可以在显示设备上布置多个任意设计的校正标记，这些校正标记能够被图像记录设备检测到，以便简化显示设备的坐标系和图像记录设备的坐标系之间的2D-2D转换F。为了不必定期设置和拆除这样的校正标记，显示设备可以永久地具有这样的校正标记。校正标记也可以设计为，使得记录设备和显示器之间的辐射校正是可能的。控制模块还可以设置为，将校正信息添加到显示信息序列中，其中显示设备设置为显示该校正信息。在此，校正信息可以包括至少一个单独的单色图像，其中，该图像具有至少一帧或刚好一帧的显示持续时间，并且其中，该图像优选具有与前景对象具有高对比度的颜色。如果校正信息作为单色图像在显示设备上仅显示一帧的持续时间，则对于显示设备的观看者来说，该校正信息不能用肉眼看到。但显示设备上显示的校正信息被图像记录设备记录，从而使相关的帧可以用于更新关于前景对象和背景对象的知识，因为对于该帧来说，背景具有哪种颜色是已知的。上述任务还通过一种用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的方法来实现，其包括以下步骤：通过至少一个图像记录设备检测至少一个图像，计算图像记录设备的二维坐标系与显示设备的二维坐标系之间的转换，进行分割，以在图像中至少确定前景对象对背景对象的遮挡，在显示设备上显示显示信息，特别是视频剪辑，其中，显示设备上显示的显示信息由图像记录设备记录，其中，在分割时确定关于分割的质量数据，并且基于该质量数据调整在显示设备上显示的显示信息。该方法还可以根据上述系统的特征包括其他可选步骤。相应地，该方法的其他可选方面可以直接从这些特征导出。附图说明以下参考附图示例性地且非限制性地对本专利技术进行说明。图1示出了这里介绍的系统的示意图。具体实施方式用于动态对比度最大化的系统10包括多个图像记录设备C1、C2、Ck(由C2下方的三个黑点表示)和多个分析模块A1、A2至Ak(由A2下方的三个黑点表示)。每个摄像机C1、C2对应一个分析模块A1、A2。摄像机C1、C2、Ck将适当的数据S1k传输给各个分析模块A1、A2、Ak。分析模块A1、A2、Ak确定(1)L的显示坐标系中的2D坐标和各个摄像机C1、C2、Ck的图像坐标系中的2D坐标之间的当前的2D-2D映射F1、F2、Fk，并确定(2)逐像素的遮挡。根据分析模块，数据S1k是纯光学的，但也可以包括来自步进传感器、加速度传感器等的传感器数据。映射Fk可以手动校正，或者使用自动校正方法校正。分析模块A1、A2、Ak的输出数据S2k描述特定映射Fk和关于遮挡的元数据。该输出数据传输给控制模块K。在另一方向上(由箭头TCP表示)，元信息从控制模块K流向分析模块Ak，以改进分割。此外，控制模块K本文档来自技高网...

【技术保护点】
1.一种用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统，其包括：至少一个图像记录设备(C1、C2)，至少一个与所述图像记录设备(C1、C2)相连接的分析模块(A1、A2)，所述分析模块设置为，确定所述图像记录设备(C1、C2)的二维坐标系与显示设备(L)的二维坐标系之间的转换，进行分割，以在图像中至少确定前景对象对背景对象的遮挡，至少一个与所述分析模块(A1、A2)相连接的控制模块(K)，至少一个显示设备(L)，其设置为，显示显示信息，特别是视频剪辑，其中，所述图像记录设备(C1、C2)设置为，记录所述显示设备(L)上显示的显示信息，其中，所述分析模块(A1、A2)还设置为，确定关于分割的质量数据并将其发送到所述控制模块(K)，并且其中，所述控制模块(K)设置为，基于所述质量数据调整在所述显示设备(L)上显示的显示信息。

【技术特征摘要】
【国外来华专利技术】2016.10.14 DE 102016119639.81.一种用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统，其包括：至少一个图像记录设备(C1、C2)，至少一个与所述图像记录设备(C1、C2)相连接的分析模块(A1、A2)，所述分析模块设置为，确定所述图像记录设备(C1、C2)的二维坐标系与显示设备(L)的二维坐标系之间的转换，进行分割，以在图像中至少确定前景对象对背景对象的遮挡，至少一个与所述分析模块(A1、A2)相连接的控制模块(K)，至少一个显示设备(L)，其设置为，显示显示信息，特别是视频剪辑，其中，所述图像记录设备(C1、C2)设置为，记录所述显示设备(L)上显示的显示信息，其中，所述分析模块(A1、A2)还设置为，确定关于分割的质量数据并将其发送到所述控制模块(K)，并且其中，所述控制模块(K)设置为，基于所述质量数据调整在所述显示设备(L)上显示的显示信息。2.根据权利要求1所述的系统，其特征在于，所述系统还具有与所述控制模块(K)和所述显示设备(L)相连接的数据库(D)，其中，所述数据库(D)设置为，存储要在所述显示设备(L)上相继显示的显示信息序列。3.根据权利要求2所述的系统，其特征在于，所述控制模块(K)设置为，改变存储的显示信息的序列。4.根据前述权利要求中任一项所述的系统，其特征在于，所述分析模块(A1、A2)设置为，在分割时应用并最小化能量函数，其中，所述能量函数基于前景对象和背景对象的概率分布或/和基于像素的概率分布。5.根据权利要求2和4所述的系统，其特征在于，所述控制模块(K)设置为，针对序列的剩余显示信息确定在哪个显示信息中，所述图像记录设备的预期的前景概率分布与预期的背景概率分布区别最大。6.根据权利要求5所述的系...

【专利技术属性】
技术研发人员：R·德拉贡，
申请(专利权)人：尤尼克费伊德股份公司，
类型：发明
国别省市：瑞士,CH