照明集成制造技术

一种形成增强图像数据的方法，该方法包括：形成主图像馈送，该主图像馈送显示被照明单元照亮的对象；估计照明单元的位置；接收覆盖数据，覆盖数据限定三维外观的覆盖；根据所估计的位置渲染覆盖数据，以形成增强图像馈送；以及在主图像馈送上覆盖增强图像馈送，以形成辅图像馈送。

【技术实现步骤摘要】
【国外来华专利技术】照明集成本专利技术涉及例如在视频制作中协调照明的外观。在已知颜色的背景下拍摄演员、演讲者、动画模型和其他物理对象是众所周知的。常规上，背景是绿色幕(screen)。然后，可以对所得视频馈送进行编辑，以将绿色背景替换为其他伪像，例如风景、计算机生成的动画或统计图，从而创建增强的视频馈送。当覆盖的伪像具有三维外观时，如果以与演讲者不同的方式对这些伪像进行照明，则会降低最终产品的逼真感。期望能够更容易地产生逼真的增强视频或静态照片产品。根据本专利技术，提供了如所附权利要求中阐述的方法/装置。现在将参考附图通过示例的方式描述本专利技术。在附图中：图1示出了实现视频覆盖的系统。图2示出了标记示例。图3示出了环境中的标记样式以及由诸如摄像头之类的成像设备捕获的帧。图4示出了捕获的视频帧。图5示出了增强的视频帧。图1的系统包括工作室1，工作室1具有已知颜色或样式的背景2。在此情况下，背景为绿色幕。被摄体(subject)3(在这种情况下是演讲者)位于绿色幕之前。摄像头4被定位以在背景2下拍摄被摄体3。在此情况下，摄像头是视频摄像头，该视频摄像头生成其视场视图的视频馈送，但摄像头也可以是静态摄像头，该静态摄像头生成其视场的照片。摄像头被定位成使得该摄像头的视场包括被摄体和至少一些背景。摄像头可以是手持式、落地式或以任何其他方便的支承方式。摄像头可以方便地在工作室内移动。照明单元5位于工作室中。照明单元被定位成照亮被摄体。照明单元可以以任何方便的方式实现。它可以是落地式、吊顶式或手持式。照明单元可以方便地在工作室内移动。在进行拍摄时，摄像头和/或照明单元可能会移动。可能有多个摄像头，各摄像头生成相应的视频馈送。可能有多个摄像头同时照亮被摄体。在进行拍摄时，照明单元被定位成从所期望的角度照亮被摄体，并且摄像头被定位成从所期望的角度拍摄被摄体。然后，被摄体在被摄像头拍摄的同时以适当的方式表演。摄像头形成该表演的视频馈送。在视频馈送中，可以在已知背景2下看到被摄体。摄像头4和照明单元5设有允许估计它们在工作室中的位置的机构。这些机构可以是无线电定位系统，例如，在已知定位使用摄像头/照明单元与信标之间的飞行时间对摄像头和照明单元的位置进行三边测量。更优选地，摄像头和照明单元设有如EP2962284中所描述的定位系统。标记10被应用于工作室1中的对象。在该示例中，标记被应用于工作室的天花板6。优选地，标记具有易于区别于环境的外观。例如，它们可以具有非常高的反射率(例如，反光材料)或者具有非常低的反射率(例如，具有无光黑表面涂层)，或者他们可以具有限定的颜色(例如，特定的绿色)。当标记具有高反射率时，优选地，各标记由下述材料制成：该材料优先在与其主平面正交的方向上反射，如专用的反光材料可能就是这种情况。标记优选是平的：例如，它们可以是应用于一个或更多个表面上的层状贴纸的形式。这可以使它们易于在环境中应用。优选地，标记不带有可将彼此区分开的表面标签(例如，数字或条形码)。这可以使得在环境中应用标记的工作更加容易。标记可以全部具有相同的轮廓(例如，圆形或方形)，它们也可以具有不同的轮廓。标记被定位成不规则的样式(pattern)。优选地，样式是非重复的。这可以通过在环境中随机定位标记来实现。如下所述，以不规则的样式定位标记可以使应用标记的工作更加容易，并且还有助于定位环境中的对象。标记可以全部具有相同的尺寸，如将在下面进一步描述的那样，这可以有助于确定其范围，或者标记可以全部具有不同的尺寸。总之，在优选的设置中，通过以不规则或随机的样式应用于环境中的相同反光材料贴纸来提供标记。图2示出了标记示例。标记可以是圆形(参见50)、方形(参见51)或其他形状。该标记可以带有诸如条形码52之类的标签，该标签允许将任意标记与其他标记唯一地区分开，或者它们可以不带有这样的标签。标记方便地采用贴纸的形式，该贴纸具有预定颜色和/或反射率的上表面53和下粘合表面54，通过下粘合表面54可以将贴纸粘合到环境中。标记可以位于环境中的面向上的表面、面向下的表面或面向侧面的表面上。优选的是，至少一些标记位于面向下的表面(例如，天花板6)上。这种面向下的表面可以在摄像头4或照明单元5的上方。位于检测器11、12上方的标记的可见性通常比位于检测器的侧面或下方的标记的可见性更好，因为它不太可能被其他对象或人遮挡。摄像头和照明单元各自承载相应的定位设备11、12。定位设备包括诸如摄像头之类的成像设备。定位单元的摄像头被配置为在通常远离摄像头/照明单元的方向上捕获图像。对摄像头收集的图像(例如，视频帧)进行处理，以估计相应的定位单元的位置。根据该位置可以获知承载该相应的定位单元的设备(摄像头/照明单元)的位置。定位设备的摄像头和标记10使得能够在工作室/环境中估计定位设备的位置。现在将参考图3描述实现这点的方式。定位单元11/12的摄像头捕获序列帧。定位单元的摄像头在捕获帧时所指向的方向取决于当时承载相应的定位单元主体的对象如何定位。图3以不规则样式示出标记6以及一组轮廓31、32、33、34，这些轮廓表示由定位单元的摄像头捕获的帧的边界。定位单元包括处理器和存储器。存储器以非暂时形式存储一组指令，该组指令可由处理器执行以执行其功能。处理器接收由定位单元的摄像头捕获的连续帧。处理器分析各个帧，以检测帧中所表示的标记6的位置。可以通过标记的特征亮度、形状、颜色或这些因素的组合来检测标记。例如，在反光标记的情况下，标记可以由图像中特别亮的像素组来表示。通过比较在连续帧中检测到的标记的位置和布局，处理器可以(a)建立由标记形成的样式或群(constellation)的映射，并且(b)获知在帧之间定位单元的运动。为了说明，假设摄像头在第一时间捕获如31所示的图像。处理器识别该图像中的标记6。该标记可以被认为位于从摄像头延伸并且与标记(如在图像31中所示)的位置相交的向量上。在这个阶段，标记距摄像头的范围是未知的。摄像头在第二时间捕获由32表示的图像。一些标记是图像31和32所共有的。由于标记的位置不规则，因此可以假设在各个帧中找到的标记的相对位置在标记场中是唯一的。通过比较标记的图像在连续帧中的位置，处理器可以建立实际的标记在三维空间中的位置的记录。例如，由于在帧31和32中以共有的空间关系出现三个标记6，因此可以获知摄像头在那些图像之间已经进行了平移而没有旋转或倾斜。帧33中的标记位置与其他帧31、32(其视场与帧33交叠)中的标记位置的比较允许处理器获知在捕获帧33之前定位单元是绕其主轴旋转的。帧34中的标记位置与其他帧(例如，32，其视场与帧34交叠)中的标记位置的比较允许处理器获知在捕获帧33之前定位单元是倾斜的。类似地，可以通过在连续帧之间检测到的标记位置的缩放来检测定位单元是朝向标记区域或远离标记区域运动的。如果定位单元的摄像头具有相对宽的视场和/或如果标记场的密度使得预计可以在各帧中捕获多个标记，则可以提高该定位方法的精度。这样使得由于多个标记偶然具有相似的位置关系并因此在图像之间被混淆而本文档来自技高网...

【技术保护点】
1.一种形成增强图像数据的方法，所述方法包括以下步骤：/n形成主图像馈送，所述主图像馈送显示被照明单元照亮的被摄体；/n估计所述照明单元的位置；/n接收覆盖数据，所述覆盖数据限定三维外观的覆盖；/n根据所估计的位置，渲染所述覆盖数据，以形成增强图像馈送；以及/n在所述主图像馈送上覆盖所述增强图像馈送，以形成辅图像馈送。/n

【技术特征摘要】
【国外来华专利技术】20171013 GB 1716896.41.一种形成增强图像数据的方法，所述方法包括以下步骤：
形成主图像馈送，所述主图像馈送显示被照明单元照亮的被摄体；
估计所述照明单元的位置；
接收覆盖数据，所述覆盖数据限定三维外观的覆盖；
根据所估计的位置，渲染所述覆盖数据，以形成增强图像馈送；以及
在所述主图像馈送上覆盖所述增强图像馈送，以形成辅图像馈送。


2.根据权利要求1所述的方法，其中，所述照明单元承载成像设备，并且所述照明单元的位置是通过接收由所述成像设备捕获的所述环境的序列图像并根据所述图像形成对所述照明单元在所述环境中的位置的估计来估计的。


3.根据权利要求1或2所述的方法，所述方法包括以下步骤：
在由所述成像设备捕获的所述图像中检测位于所述环境中的多个标记中的各个标记的表示；以及
通过比较在不同时间捕获的图像中的所述标记的表示的位置，来形成位置的...

【专利技术属性】
技术研发人员：M·P·A·盖斯勒，M·P·帕斯利，
申请(专利权)人：MOSYS工程有限公司，
类型：发明
国别省市：英国;GB