镜头校准系统技术方案

一种用于校准图像捕获设备的镜头的镜头校准系统，所述镜头校准系统包括：处理器，该处理器被配置为从图像捕获设备接收在图像捕获设备的不同旋转位置处的场景的一系列图像帧；处理器被配置为：在所述一系列图像帧中识别表示位于距图像捕获设备第一已知距离处的第一标记和位于距图像捕获设备第二已知距离处的第二标记的元件，第一已知距离和第二已知距离彼此不同；跟踪表示一系列图像帧上的每个标记的所识别的元件；处理所跟踪的元件以确定图像捕获设备的镜头的特性参数；以及根据所确定的镜头的特性参数来构建图像捕获设备的镜头模型。型。型。

【技术实现步骤摘要】
【国外来华专利技术】镜头校准系统


[0001]本专利技术涉及例如虚拟生产系统和实时增强现实系统中的镜头校准系统。

技术介绍

[0002]当将利用不同摄像机拍摄的片段进行组合时或者当将计算机图形集成到实景拍摄板或实景视频片段中时，确定成像设备的镜头的特性在TV和电影制作室及演播室中经常是一个问题。这是因为用摄像机系统生成的图像的特性在于生成它们的摄像机系统的光学属性，例如视场、镜头畸变、色差、渐晕等。例如，镜头畸变是由在图像中心比在周边具有更高的放大率的镜头引起的非线性和通常径向畸变，反之亦然。当将计算机图形集成到由诸如摄像机的成像设备拍摄的片段中时，使用镜头校准来确定摄像机镜头的特性并且然后将那些确定的特性应用于要被添加到摄像机片段的计算机图形变得重要。这样，可能生成与用于生成实景片段的摄像机系统的真实世界光学属性一致的计算机图形，例如CGI。这又允许将那些计算机图形无缝集成到实景片段中。
[0003]可用的镜头校准过程相当复杂，因此需要专家团队花费很长时间来实施。例如，不仅当镜头的变焦设置已经改变时，而且当镜头的聚焦设置改变时，光学系统的镜头畸变和视角都可以改变。因此，必须在若干变焦和焦距设置下校准镜头。一个常见的示例是7
×
5校准，其中镜头被设置在7个不同的变焦设置状态，并且在每个变焦设置状态下，使用5个聚焦设置，产生用于校准的35个不同的镜头设置。
[0004]在光船(Lightcraft)的光学标记系统中，黑白光学标记图案被安装在演播室中的板上。对于各种摄像机设置、位置和取向，使用标记图案的所产生的图像集来确定镜头的特性。然后，使用从该校准过程产生的数据矩阵，以当摄像机在演播室周围移动时，对与实景片段实时集成的渲染图像进行校正。即使是自动化的，校准也是一个漫长的过程，并且没有熟练的团队来实施和应用校准过程，非常容易出错并且非常容易使数据无效。
[0005]NCam的标记检测系统使用演播室内的特定标记、安装到主摄像机的专用见证摄像机、以及图像处理技术以确定镜头畸变。然而，它们的标记需要具有高对比度以便图像检测系统工作。结果，可以显著改变标记的对比度的演播室中的照明条件或杂散光的任何改变都可能导致图像处理失败。此外，校准的质量对由见证摄像机生成的图像噪声的水平敏感。
[0006]Vizrt系统通过比较真实和虚拟摄像机中的偏移标记来实现校准。它将放置在演播室内的偏移照明支架上的真实A4纸张与虚拟摄像机内重新创建的等效物进行匹配。最初，尽管这些纸张相隔一定的距离，但这些纸张显现出似乎是在彼此的顶部。然后建立行和列(例如3
×
5)的矩阵以在图像的15个不同点测量纸张。摄像机被横摇和俯仰摇摄，使得真实的纸张显现在矩阵的不同点。虚拟纸张需要用鼠标手动调节以与真实的纸匹配，使得虚拟纸张在视觉上被置于顶部。
[0007]典型的过程看起来像：
[0008]·
7个变焦设置*5个聚焦设置*2张纸张*3行*5列＝1050个测量点。
[0009]·
由于对准各测量点需要20秒，因此1050*20秒＝21000秒＝350分钟＝5.8小时，
这是一个非常漫长的过程。
[0010]因此，需要一种不太复杂、不太耗时、更准确、有效和用户友好的校准系统和方法。

技术实现思路

[0011]根据本专利技术，提供了一种用于校准图像捕获设备的镜头的镜头校准系统，该镜头校准系统包括：处理器，所述处理器被配置为从图像捕获设备接收在图像捕获设备的不同旋转位置处的场景的一系列图像帧；所述处理器被配置为：在一系列图像帧中识别表示位于距图像捕获设备第一已知距离处的第一标记和位于距图像捕获设备第二已知距离处的第二标记的元件，第一已知距离和第二已知距离彼此不同；跟踪表示一系列图像帧上的每个标记的所识别的元件；处理所跟踪的元件以确定图像捕获设备的镜头的特性参数；以及根据所确定的镜头的特性参数来构建图像捕获设备的镜头模型。
[0012]处理器还可以被配置为在一系列图像帧中识别表示位于距图像捕获设备第三已知距离处的第三标记的元件；第三已知距离不同于第一已知距离和第二已知距离。
[0013]表示每个标记的所识别的元件可以沿着该标记的纵轴布置。所接收的一系列图像帧可以包括在图像捕获设备的不同变焦和焦距设置下捕获的场景的图像帧。所确定的镜头的特性参数可以是镜头的入射光瞳位置和/或镜头的镜头畸变和/或色差。
[0014]所接收的一系列图像帧可以包括在图像捕获设备的不同旋转位置处跨越已知持续时间重复捕获的场景的每秒设定数量的图像帧。所接收的一系列图像帧可以包括在图像捕获设备的期望的变焦和焦距设置下捕获的场景的每秒设定数量的图像帧。图像捕获设备的不同旋转位置可以围绕平行于标记的纵轴的旋转轴。已知的持续时间可以是5秒。图像帧的设定数量可以是每秒10个图像帧。
[0015]可以从7个变焦设置的范围中选择期望的变焦，并且从5个聚焦设置的范围中选择期望的焦距。处理器可以被配置为将所识别的元件中的表示具有与所识别的元件中的其余元件在视觉上不同的外观的标记的一个元件识别为该标记的参考特征元件。处理器可以被配置为从可用颜色的范围中识别表示标记的所识别的元件的颜色。处理器可以被配置为将具有与表示标记的其余所识别的元件的颜色不同的颜色的元件识别为该标记的参考特征元件。
[0016]表示标记的所识别的元件表示一串灯。所识别的元件中的每个元件可以表示被接通的一串灯中的灯。处理器可以被配置为根据表示每个标记的所识别的元件的颜色来区分标记。表示标记的所识别的元件可以表示一条LED灯。一条LED灯可包括200个LED灯。
[0017]根据第二方面，提供了一种用于校准图像捕获设备的镜头的镜头校准方法，该方法包括：由处理器执行以下步骤：从图像捕获设备接收在图像捕获设备的不同旋转位置处的场景的一系列图像帧；在一系列图像帧中识别表示位于距图像捕获设备第一已知距离处的第一标记和位于距图像捕获设备第二已知距离处的第二标记的元件，第一已知距离和第二已知距离彼此不同；跟踪表示一系列图像帧上的每个标记的所识别的元件；处理所跟踪的元件以确定图像捕获设备的镜头的特性参数；以及根据所确定的镜头的特性参数来构建图像捕获设备的镜头模型。
[0018]根据第三方面，提供了一种用于根据镜头模型生成经修改的一系列图像帧的系统，该系统包括：处理器，所述处理器被配置为：从图像生成系统接收一系列图像帧；从根据
第一方面的用于校准图像捕获设备的镜头的镜头校准系统接收镜头模型，该镜头模型包括图像捕获设备的镜头的特性参数；以及将镜头模型的特性参数应用于所接收的一系列图像帧，以根据镜头模型生成经修改的一系列图像帧。
[0019]根据第四方面，提供了一种根据镜头模型生成经修改的一系列图像帧的方法，该方法包括：利用处理器执行以下步骤：从图像生成系统接收一系列图像帧；使用根据第二方面的用于校准图像捕获设备的镜头的镜头校准方法接收镜头模型，镜头模型包括图像捕获设备的镜头的特性参数；以及将镜头模型的特性参数应用于所接收的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于校准图像捕获设备的镜头的镜头校准系统，所述镜头校准系统包括：处理器，所述处理器被配置为从所述图像捕获设备接收在所述图像捕获设备的不同旋转位置处的场景的一系列图像帧；所述处理器被配置为：在所述一系列图像帧中识别表示位于距所述图像捕获设备第一已知距离处的第一标记和位于距所述图像捕获设备第二已知距离处的第二标记的元件，所述第一已知距离和所述第二已知距离彼此不同；跟踪表示所述一系列图像帧上的每个标记的所识别的元件；处理所跟踪的元件以确定所述图像捕获设备的所述镜头的特性参数；以及根据所确定的所述镜头的特性参数来构建所述图像捕获设备的镜头模型。2.一种用于校准图像捕获设备的镜头的镜头校准系统，所述镜头校准系统包括：处理器，所述处理器被配置为从所述图像捕获设备接收在所述图像捕获设备的不同旋转位置处的场景的一系列图像帧；所述处理器被配置为：在所述一系列图像帧中识别表示位于距所述图像捕获设备一定距离处的一个或更多个标记的一个或更多个元件；跟踪表示所述一系列图像帧上的每个标记的所识别的元件；处理所跟踪的元件以确定所述图像捕获设备的所述镜头的特性参数；以及根据所确定的所述镜头的特性参数来构建所述图像捕获设备的镜头模型。3.根据权利要求1或2所述的镜头校准系统，所述处理器还被配置为在所述一系列图像帧中识别表示位于距所述图像捕获设备第三已知距离处的第三标记的元件；所述第三已知距离不同于所述第一已知距离和所述第二已知距离两者。4.根据权利要求1或2所述的镜头校准系统，其中，表示每个标记的所识别的元件被布置为沿着所述标记的纵轴的阵列。5.根据前述权利要求中任一项所述的镜头校准系统，所接收的一系列图像帧包括在所述图像捕获设备的不同变焦和焦距设置下捕获的所述场景的图像帧。6.根据前述权利要求中的任一项所述的镜头校准系统，其中，所确定的所述镜头的特性参数是所述镜头的入射光瞳位置和/或所述镜头的镜头畸变和/或色差。7.根据前述权利要求中任一项所述的镜头校准系统，所接收的一系列图像帧包括在所述图像捕获设备的不同旋转位置处跨越已知持续时间重复捕获的所述场景的每秒设定数量的图像帧。8.根据前述权利要求中任一项所述的镜头校准系统，所接收的一系列图像帧包括在所述图像捕获设备的期望的变焦和焦距设置下捕获的所述场景的每秒设定数量的图像帧。9.根据前述权利要求中任一项所述的镜头校准系统，其中，所述图像捕获设备的所述不同旋转位置围绕平行于所述标记的所述纵轴的旋转轴。10.根据权利要求6所述的镜头校准系统，其中，所述已知持续时间是5秒。11.根据权利要求6所述的镜头校准系统，其中，所述图像帧的设定数量是每秒10个图像帧。12.根据权利要求7所述的镜头校准系统，其中，所述期望的变焦选自7个变焦设置的范
围，并且所述期望的焦距选自5个聚焦设置的范围。13.根据前述权利要求中任一项所述的镜头校准系统，所述处理器被配置为将所识别的元件中的表示具有与所识别的元件中的其余元件在视觉上不同的外观的标记的一个元件识别为所述标记的参考特征元件。14.根据前述权利要求中任一项所述的镜头校准系统，所述处理器被配置为从可用颜色的范围中识别表示标记的所识别的元件的颜色。15.根据权利要求12所述的镜头校准系统，所述处理器被配置为将具有与表示标记的其余所识别的元件的颜色不同的颜色的元件识别为所述标记的所述参考特征元件。16.根据前述权利要求中任一项所述的镜头校准系统，其中，表示标记的所识别的元件表示一串灯。17.根据权利要求15所述的镜头校准系统，其中，所识别的元件中的每个元件均表示被接通的所述一串灯中的灯。18.根据前述权利要求13所述的镜头校准系统，所述处理器被配置为根据表示每个标记的所识别的元件的颜色来区分所述标记。19.根据前述权利要求中任一项所述的镜头校准系统，其中，表示标记的所识别的元件表示一条LED灯。20.根据权利要求18所述的镜头校准系统，其中，所述一条LED灯包括200个LED灯。21.一种用于校准图像捕获设备的镜头的镜头校准方法，所述方法包括：由处理器执行以下步骤：从所述图像捕获设备接收在所述图像捕获设备的不同旋转位置处的场景的一系列图像帧；在所述一系列图像帧中识别表示位于距所述图像捕获设备第一已知距离处的第一标记和位于距所述图像捕获设备第二已知距离处的第二标记的元件，所述第一已知距离和所述第二已知距离彼此不同；跟踪表示所述一系列图像帧上的每个标记的所识别的元件；处理所跟踪的元件以确定所述图像捕获设备的所述镜头的特性参数；以及根据所确定的所述镜头的特性参数来构建所述图像捕获设备的镜头模型。22.一种用于根据镜头模型生成经修改的一系列图像帧的系统，所述系统包括：处理器，所述处理器被配置为：从图像生成系统接收一系列图像帧；从根据权利要求1至20中任一项所述的用于校准图像捕获设备的镜头的镜头校准系统接收镜头模型，所述镜头模型包括所述图像捕获设备的所述镜头的特性参数；以及将所述镜头模型的所述特性参数应用于所接收的一系列图像帧...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：MOSYS工程有限公司，
类型：发明
国别省市：