标定数据生成方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及标定数据生成方法、装置、电子设备及存储介质，所述方法包括：控制多块屏幕依次显示标定图像序列中的多个标定图像；获取目标图像序列；对目标图像序列中的各个目标图像分别进行特征点检测，得到各个目标图像各自对应的特征点集合；根据特征点集合中特征点的二维坐标，确定各个特征点出现在的目标图像的序号；根据各个特征点出现在的目标图像的序号，确定各个特征点的编号；根据各个特征点的编号，将特征点的二维坐标与特征点的三维坐标对应关联，得到特征点对应的坐标对；标定数据包括多个目标图像中检测出的特征点对应的坐标对。根据本公开实施例，能够降低对相机标定中采集图像的完整性及清晰度的要求，提高标定数据的采集效率。数据的采集效率。数据的采集效率。

【技术实现步骤摘要】
标定数据生成方法、装置、电子设备及存储介质


[0001]本公开涉及相机标定
，尤其涉及一种标定数据生成方法、装置、电子设备及存储介质。

技术介绍

[0002]传统影视制作为了满足拍摄需求，需要花费大量的时间和人力来挑选拍摄地点，制作道具，搭建拍摄场景。而虚拟拍摄(或虚拟制片)技术，能够用渲染引擎渲染出的虚拟场景来替代真实置景，减少了影视拍摄对地点和布景的依赖，极大的降低了拍摄成本。同时，借助实时渲染的能力，对于一些原本需要后期制作的特效，虚拟拍摄可以在拍摄阶段就看到成片的效果，后期前置，提高了制作效率。也正因为这些优势的存在，虚拟拍摄在近些年被越来越多的应用于影视制作中。
[0003]在虚拟拍摄中，想实现“虚”与“实”的融合，首先需要通过相机标定技术来建立摄像机的相机的几何成像模型参数，也即标定摄像机的相机参数。一般相机标定是将标定板打印到一个刚性平面上并将打印出的标定板设置于现实场景中，相机标定过程通常包括：利用待标定的相机对现实场景中的标定板进行拍摄得到包含标定板的图像，对包含标定板的图像进行特征点检测，得到图像中特征点的二维图像坐标，然后将检测出的二维图像坐标与标定板中特征点预设的三维坐标一一对应，构成用于标定摄像机的标定数据，进而可以利用标定数据标定出相机的相机参数。
[0004]但在虚拟拍摄场景中，需要将标定板投影到多块较大LED屏幕上来进行相机标定，而现有的标定板无法很好的适应虚拟拍摄场景中的相机标定，例如，图1(a)所示的由交替出现的黑白色块构成的棋盘格标定板以及图1(b)所示的由排布均匀的圆点构成网格点标定板，其中，棋盘格标定板中的特征点是在对角线方向上相邻两个黑块之间的角点，网格点标定板的特征点为圆点的圆心，这两类标定板在每次采集图像时都需要将标定板完整的拍下来才能够完成特征点检测以及后续二维坐标与三维坐标对应，但在虚拟拍摄场景，标定板会显示在巨大的多块LED屏幕中，不能保证摄像机将LED屏幕上的标定板拍全且清晰，从而影响特征点检测成功率，进而影响标定数据的生成效率。

技术实现思路

[0005]有鉴于此，本公开提出了一种标定数据生成方法、装置、电子设备及存储介质，能够适用于虚拟拍摄场景，降低对相机标定中采集图像的完整性及清晰度的要求，提高标定数据的生成效率。
[0006]根据本公开的一方面，提供了一种标定数据生成方法，应用于虚拟拍摄系统，所述虚拟拍摄系统包括用于拍摄的摄像机以及用于显示虚拟场景的多块屏幕，所述方法包括：控制所述多块屏幕依次显示标定图像序列中的多个标定图像，每个标定图像中包括所述多块屏幕各自应显示的特征点，所述特征点出现在的标定图像的序号由特征点的编号决定，特征点的编号与特征点在屏幕中显示时的三维坐标对应关联；获取目标图像序列，其中，所
述目标图像序列包括顺序排列的多个目标图像，所述多个目标图像是摄像机针对所述多块屏幕依次显示的每个标定图像所采集到的图像；对所述目标图像序列中的各个目标图像分别进行特征点检测，得到各个目标图像各自对应的特征点集合，每个目标图像对应的特征点集合包括每个目标图像中检测出的特征点以及特征点在目标图像中的二维坐标；根据各个目标图像各自对应的特征点集合中特征点的二维坐标，确定所述特征点集合中各个特征点出现在的目标图像的序号；根据所述特征点集合中各个特征点出现在的目标图像的序号，确定所述特征点集合中各个特征点的编号；根据所述特征点集合中各个特征点的编号，将所述多个目标图像中检测出的特征点的二维坐标与特征点在屏幕中显示时的三维坐标对应关联，得到所述多个目标图像中检测出的特征点对应的坐标对；其中，所述标定数据包括所述多个目标图像中检测出的特征点对应的坐标对，所述标定数据用于标定所述摄像机的相机参数。
[0007]在一种可能的实现方式中，在控制所述多块屏幕依次显示标定图像序列中的多个标定图像之前，所述方法还包括：响应于针对所述各块屏幕的标定板配置操作，确定所述各块屏幕各自对应的网格点标定板，每块屏幕对应的网格点标定板中包括多个特征点；基于所述多块屏幕对应的多个网格点标定板中特征点的总数量，确定所述多个网格点标定板中的全部特征点各自的唯一编号，并将所述多个网格点标定板中各个特征点的编号与各个特征点待在屏幕中显示时中心的三维坐标对应关联；根据所述多个网格点标定板中各个特征点各自的编号，确定所述多个网格点标定板中各个特征点各自应出现在的标定图像的序号；根据所述多个网格点标定板中各个特征点各自应出现在的标定图像的序号以及所述多个网格点标定板中各个特征点的位置信息，生成所述标定图像序列。
[0008]在一种可能的实现方式中，所述根据所述多个网格点标定板中各个特征点各自的编号，确定所述多个网格点标定板中各个特征点各自应出现在的标定图像的序号，包括：基于所述总数量，确定二进制编码的位数，并基于所述二进制编码的位数，将所述多个网格点标定板中各个特征点的编号转换为二进制编码，所述二进制编码的位数还用于指示所述标定图像序列中应包含的标定图像的数量；根据所述多个网格点标定板中各个特征点的编号所对应的二进制编码，确定各个特征点各自应出现在的标定图像的序号，其中，同一编号的特征点应出现在至少一个标定图像，不同编号的特征点应出现在的标定图像的序号不同。
[0009]在一种可能的实现方式中，所述根据所述多个网格点标定板中各个特征点的编号所对应的二进制编码，确定各个特征点各自应出现在的标定图像的序号，包括：根据各个特征点的编号对应的二进制编码中编码1所在的位次，确定各个特征点各自应出现在的标定图像的序号。
[0010]在一种可能的实现方式中，所述控制所述多块屏幕依次显示标定图像序列中的各个标定图像，包括：控制所述多块屏幕按照预先配置的图像停留帧数先显示白色图像，再依次显示所述标定图像序列中的各个标定图像；其中，所述图像停留帧数用于控制白色图像以及各个标定图像在所述多块屏幕中显示时停留的帧数；其中，所述获取目标图像序列，包括：在所述摄像机开始对所述多块屏幕进行图像采集的情况下，对所述摄像机当前采集的图像进行白帧检测，所述白帧检测用于检测当前采集的图像是否为白帧图像，所述白帧图像为所述多块屏幕显示白色图像时所述摄像机所采集到的图像；在检测到所述摄像机当前采集的图像为白帧图像的情况下，控制所述摄像机以所述图像停留帧数为采集周期，对所
述多块屏幕进行图像采集，得到所述摄像机采集的目标图像序列。
[0011]在一种可能的实现方式中，所述方法还包括：获取所述摄像机采集的白帧图像，并通过检测所述白帧图像中白色区域的轮廓，得到所述白帧图像中所述多块屏幕所在的屏幕区域，其中，所述白帧图像中的屏幕区域用于指示所述摄像机采集到的各个目标图像中的屏幕区域；其中，所述对所述目标图像序列中的各个目标图像分别进行特征点检测，得到各个目标图像各自对应的特征点集合，包括：对所述各个目标图像进行特征点检测，得到各个目标图像中检测出的特征点以及特征点的中心在目标图像中的二维坐标；根据所述白帧图像中的屏幕区域，过滤掉所述各个目标图像中处于屏幕区域外的噪声特征点，得到各个目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标定数据生成方法，应用于虚拟拍摄系统，所述虚拟拍摄系统包括用于拍摄的摄像机以及用于显示虚拟场景的多块屏幕，其特征在于，所述方法包括：控制所述多块屏幕依次显示标定图像序列中的多个标定图像，每个标定图像中包括所述多块屏幕各自应显示的特征点，所述特征点出现在的标定图像的序号由特征点的编号决定，特征点的编号与特征点在屏幕中显示时的三维坐标对应关联；获取目标图像序列，其中，所述目标图像序列包括顺序排列的多个目标图像，所述多个目标图像是摄像机针对所述多块屏幕依次显示的每个标定图像所采集到的图像；对所述目标图像序列中的各个目标图像分别进行特征点检测，得到各个目标图像各自对应的特征点集合，每个目标图像对应的特征点集合包括每个目标图像中检测出的特征点以及特征点在目标图像中的二维坐标；根据各个目标图像各自对应的特征点集合中特征点的二维坐标，确定所述特征点集合中各个特征点出现在的目标图像的序号；根据所述特征点集合中各个特征点出现在的目标图像的序号，确定所述特征点集合中各个特征点的编号；根据所述特征点集合中各个特征点的编号，将所述多个目标图像中检测出的特征点的二维坐标与特征点在屏幕中显示时的三维坐标对应关联，得到所述多个目标图像中检测出的特征点对应的坐标对；其中，所述标定数据包括所述多个目标图像中检测出的特征点对应的坐标对，所述标定数据用于标定所述摄像机的相机参数。2.根据权利要求1所述的方法，其特征在于，在控制所述多块屏幕依次显示标定图像序列中的多个标定图像之前，所述方法还包括：响应于针对所述各块屏幕的标定板配置操作，确定所述各块屏幕各自对应的网格点标定板，每块屏幕对应的网格点标定板中包括多个特征点；基于所述多块屏幕对应的多个网格点标定板中特征点的总数量，确定所述多个网格点标定板中的全部特征点各自的唯一编号，并将所述多个网格点标定板中各个特征点的编号与各个特征点待在屏幕中显示时中心的三维坐标对应关联；根据所述多个网格点标定板中各个特征点各自的编号，确定所述多个网格点标定板中各个特征点各自应出现在的标定图像的序号；根据所述多个网格点标定板中各个特征点各自应出现在的标定图像的序号以及所述多个网格点标定板中各个特征点的位置信息，生成所述标定图像序列。3.根据权利要求2所述的方法，其特征在于，所述根据所述多个网格点标定板中各个特征点各自的编号，确定所述多个网格点标定板中各个特征点各自应出现在的标定图像的序号，包括：基于所述总数量，确定二进制编码的位数，并基于所述二进制编码的位数，将所述多个网格点标定板中各个特征点的编号转换为二进制编码，所述二进制编码的位数还用于指示所述标定图像序列中应包含的标定图像的数量；根据所述多个网格点标定板中各个特征点的编号所对应的二进制编码，确定各个特征点各自应出现在的标定图像的序号，其中，同一编号的特征点应出现在至少一个标定图像，不同编号的特征点应出现在的标定图像的序号不同。
4.根据权利要求3所述的方法，其特征在于，所述根据所述多个网格点标定板中各个特征点的编号所对应的二进制编码，确定各个特征点各自应出现在的标定图像的序号，包括：根据各个特征点的编号对应的二进制编码中编码1所在的位次，确定各个特征点各自应出现在的标定图像的序号。5.根据权利要求1所述的方法，其特征在于，所述控制所述多块屏幕依次显示标定图像序列中的各个标定图像，包括：控制所述多块屏幕按照预先配置的图像停留帧数先显示白色图像，再依次显示所述标定图像序列中的各个标定图像；其中，所述图像停留帧数用于控制白色图像以及各个标定图像在所述多块屏幕中显示时停留的帧数；其中，所述获取目标图像序列，包括：在所述摄像机开始对所述多块屏幕进行图像采集的情况下，对所述摄像机当前采集的图像进行白帧检测，所述白帧检测用于检测当前采集的图像是否为白帧图像，所述白帧图像为所述多块屏幕显示白色图像时所述摄像机所采集到的图像；在检测到所述摄像机当前采集的图像为白帧图像的情况下，控制所述摄像机以所述图像停留帧数为采集周期，对所述多块屏幕进行图像采集，得到所述摄像机采集的目标图像序列。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：获取所述摄像机采集的白帧图像，并通过检测所述白帧图像中白色区域的轮廓，得到所述白帧图像中所述多块屏幕所在的屏幕区...

【专利技术属性】
技术研发人员：王天舒，
申请(专利权)人：神力视界深圳文化科技有限公司，
类型：发明
国别省市：