4D全息捕捉系统的快速精确标定方法、系统及存储介质技术方案

本发明专利技术公开一种4D全息捕捉系统的快速精确标定方法、系统及存储介质，将具有若干标定面的标定装置置于4D全息捕捉系统的表演空间中，其中，标定装置的每一个标定面上均设置有若干控制点与控制直线，通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体包括以下步骤：步骤101，获取标定图像；步骤102，对所有标定图像进行识别，获得各标定图像中的控制点与控制直线的二维图像表示；步骤103，通过各控制点与控制直线在标定装置上的三维空间表示与二维图像表示结合摄像机标定方法进行摄像机标定，得到4D全息捕捉系统中各摄像机的内外参数，对4D全息捕捉系统中的多个摄像机同时进行高效、高精度、高稳定性的标定。

Fast and accurate calibration method, system and storage medium of 4D holographic capture system

The invention discloses a fast and accurate calibration method, system and storage medium of a 4D holographic capture system. A calibration device with several calibration surfaces is placed in the performance space of the 4D holographic capture system, wherein each calibration surface of the calibration device is provided with a number of control points and control lines, and the calibration device is photographed by each camera in the 4D holographic capture system It includes the following steps: step 101, obtain the calibration image; step 102, identify all calibration images, obtain the two-dimensional image representation of control points and control lines in each calibration image; step 103, calibrate the camera by combining the three-dimensional space representation and two-dimensional image representation of each control point and control line on the calibration device with the camera calibration method, and obtain 4D hologram The internal and external parameters of each camera in the capture system can calibrate multiple cameras in 4D holographic capture system simultaneously with high efficiency, high precision and high stability.

【技术实现步骤摘要】
4D全息捕捉系统的快速精确标定方法、系统及存储介质
本专利技术涉及视频成像
，具体是一种4D全息捕捉系统的快速精确标定方法、系统及存储介质。
技术介绍
4D全息捕捉是指对现实空间静态或动态场景高质量、逼真的4D虚拟复现方法。具体的，4D是指3D空间及1D时间，即对场景物体不仅在空间上进行三维复现，也在时间维度上是可针对动态物体的4D全息捕捉也就是一种三维动态影像创建技术。全息是指对物体的虚拟复现是全方位的，包含的细节很丰富和逼真，例如人体的表情、姿态、服装、毛发等各种细节都能逼真复现。4D全息捕捉得到的三维动态影像我们称为4D视频或立体视频。4D视频或立体视频相对于传统的媒介，具有以下特点：1)传统的媒介如图片、视频或全景视频，本质上都是2D内容，其视角和视点是不可以主动改变的；而4D视频本质是3D内容，其视角可以主动改变，并且视点位置是可以主动移动的；2)4D视频能够与传统的视频、全景视频等进行融合。所谓融合是指4D视频的内容可以以三维到二维的投影方式与普通视频、全景视频相叠加，得到虚拟和现实相互叠加的新图像内容。如何快速、高精度对4D全息捕捉系统进行标定是4D全息捕捉的关键问题之一，关系到4D全息捕捉能复现的物体的三维精度。现有技术中常规4D全息捕捉系统的标定方法，需要对4D全息捕捉系统中的每一个摄像机一一进行标定，每一个摄像机标定过程中都需要单独对标定板进行拍摄获得标定图像，效率很低，使得4D全息捕捉系统中所有的摄像机全部获得标定图像将花费大量的时间成本；同时现有技术中对摄像机标定过程中获取的标定图像中所有的控制点在三维坐标系中都是处于同一个平面，使得在摄像机的标定过程中较易受到误差的影响，使得标定精度不高。
技术实现思路
针对现有技术中4D全息捕捉系统的标定效率、精度低的问题，本专利技术提供一种4D全息捕捉系统的快速精确标定方法、系统及存储介质。为实现上述目的，本专利技术提供一种4D全息捕捉系统的快速精确标定方法，将具有若干标定面的标定装置置于4D全息捕捉系统的表演空间中，其中，标定装置的每一个标定面上均设置有若干控制点与控制直线，通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体包括以下步骤：步骤101，获取标定图像；步骤102，对所有标定图像进行识别，获得各标定图像中的控制点与控制直线的二维图像表示；步骤103，通过各控制点与控制直线在标定装置上的三维空间表示与二维图像表示结合摄像机标定方法进行摄像机标定，得到4D全息捕捉系统中各摄像机的内外参数。进一步优选的，所述控制点为黑白棋盘格图像中黑方块和/或白方块的角点，所述控制直线为黑白棋盘图像中由各黑方块与白方块之间的分割线。进一步优选的，黑白棋盘格图像中至少有一部分黑方块和/或白方块上设置有标识，用于对控制点和控制直线进行识别，进而匹配同一个控制点和/或控制直线的二维图像表示与三维空间表示。进一步优选的，所述通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体为：通过4D全息捕捉系统中各摄像机对标定装置处于4D全息捕捉系统的表演空间中不同位置时的情况分别进行拍摄。进一步优选的，步骤102中，获得各标定图像中的控制点与控制直线的二维图像表示的具体过程为：步骤201，采用Harris角点检测算法得到各标定图像中黑白棋盘格图像中的控制点的第一二维图像坐标；步骤202，采用Hough变换方法对各标定图像中黑白棋盘格图像中的各条控制直线进行检测，得到各条控制直线的二维图像坐标方程，即控制直线的二维图像表示；步骤203，由检测到的所有控制直线确定各个交叉点，从而得到控制点的第二二维图像坐标；步骤204，将同一个控制点的第一二维图像坐标与第二二维图像坐标进行加权平均，得到该控制点的二维图像坐标，即控制点的二维图像表示。进一步优选的，步骤103中，所述摄像机标定方法分为两步标定过程：第一步为采用Tsai标定方法，获得各摄像机内部参数以及粗糙外部参数；第二步为通过建立基于各控制点和控制直线的三维空间表示与二维图像空间表示的残差模型，结合Tsai标定法获得的外部参数粗糙值作为初始值，获取最终的摄像机外部参数三维空间。进一步优选的，所述摄像机的外部参数获取过程为：步骤301，通过已知的各控制点的三维空间表示与二维图像表示获得若干控制点所在控制直线的二维位置表示与三维位置表示；步骤302，根据步骤301中所有直线的二维图像表示与三维空间表示建立基于方向向量的残差方程模型：式中，ec1表示摄像机c基于方向向量的残差，N表示由摄像机c拍摄的标定图像中所有已知控制直线的总数，i表示摄像机c拍摄的标定图像中的第i个控制直线，Ki表示摄像机c拍摄的标定图像中的第i个控制直线从三维投影到二维的投影算子，Di表示摄像机c拍摄的标定图像中的第i个控制直线的三维向量，Rc表示该摄像机c的姿态向量；步骤303，根据已知的各控制点的三维空间表示与二维图像表示建立基于空间点位置的残差方程模型：式中，ec2表示摄像机c基于空间点位置的残差，M表示由摄像机c拍摄的标定图像中所有已知控制点的总数，Pi表示摄像机c拍摄的标定图像中的第i个控制直线上的已知的控制点，Vi表示摄像机c拍摄的标定图像中的第i个控制直线上已知的控制点从三维投影到二维的投影算子，Tc表示该摄像机c的位置向量；步骤304，将摄像机c的姿态向量与位置向量的最初值代入基于方向向量的残差方程模型与基于空间点位置的残差方程模型进行优化计算，即得到摄像机的最终姿态向量与位置向量，即外部参数，其中，摄像机c的姿态向量与位置向量的最初值由Tsai标定法获得。进一步优选的，步骤304中，所述优化计算为最小化迭代优化。为实现上述目的，本专利技术还提供一种4D全息捕捉系统的快速精确标定系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。为实现上述目的，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。本专利技术公开了一种4D全息捕捉系统的快速精确标定方法、系统及存储介质，通过将具有若干标定面的标定装置置于4D全息捕捉系统的表演空间中，通过4D全息捕捉系统中的各个摄像机同时对标定装置进行拍摄获得标定图像，进而根据标定图像中控制点与控制直线的三维空间表示与二维图像表示对4D全息捕捉系统中的多个摄像机同时进行高效、高精度、高稳定性的标定，有效的提升了工作效率与减少了工作量。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术实施例中标定装置的结构示意图；图2为本专利技术本文档来自技高网...

【技术保护点】
1.一种4D全息捕捉系统的快速精确标定方法，其特征在于，将具有若干标定面的标定装置置于4D全息捕捉系统的表演空间中，其中，标定装置的每一个标定面上均设置有若干控制点与控制直线，通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体包括以下步骤：/n步骤101，获取标定图像；/n步骤102，对所有标定图像进行识别，获得各标定图像中的控制点与控制直线的二维图像表示；/n步骤103，通过各控制点与控制直线在标定装置上的三维空间表示与二维图像表示结合摄像机标定方法进行摄像机标定，得到4D全息捕捉系统中各摄像机的内外参数。/n

【技术特征摘要】
1.一种4D全息捕捉系统的快速精确标定方法，其特征在于，将具有若干标定面的标定装置置于4D全息捕捉系统的表演空间中，其中，标定装置的每一个标定面上均设置有若干控制点与控制直线，通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体包括以下步骤：
步骤101，获取标定图像；
步骤102，对所有标定图像进行识别，获得各标定图像中的控制点与控制直线的二维图像表示；
步骤103，通过各控制点与控制直线在标定装置上的三维空间表示与二维图像表示结合摄像机标定方法进行摄像机标定，得到4D全息捕捉系统中各摄像机的内外参数。


2.根据权利要求1所述4D全息捕捉系统的快速精确标定方法，其特征在于，所述控制点为黑白棋盘格图像中黑方块和/或白方块的角点，所述控制直线为黑白棋盘图像中由各黑方块与白方块之间的分割线。


3.根据权利要求1所述4D全息捕捉系统的快速精确标定方法，其特征在于，黑白棋盘格图像中至少有一部分黑方块和/或白方块上设置有标识，用于对控制点和控制直线进行识别，进而匹配同一个控制点和/或控制直线的二维图像表示与三维空间表示。


4.根据权利要求1所述4D全息捕捉系统的快速精确标定方法，其特征在于，所述通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体为：
通过4D全息捕捉系统中各摄像机对标定装置处于4D全息捕捉系统的表演空间中不同位置时的情况分别进行拍摄。


5.根据权利要求2或3或4所述4D全息捕捉系统的快速精确标定方法，其特征在于，步骤102中，获得各标定图像中的控制点与控制直线的二维图像表示的具体过程为：
步骤201，采用Harris角点检测算法得到各标定图像中黑白棋盘格图像中的控制点的第一二维图像坐标；
步骤202，采用Hough变换方法对各标定图像中黑白棋盘格图像中的各条控制直线进行检测，得到各条控制直线的二维图像坐标方程，即控制直线的二维图像表示；
步骤203，由检测到的所有控制直线确定各个交叉点，从而得到控制点的第二二维图像坐标；
步骤204，将同一个控制点的第一二维图像坐标与第二二维图像坐标进行加权平均，得到该控制点的二维图像坐标，即控制点的二维图像表示。


6.根据权利要求2或3或4所述4D全息捕捉系统的快速精确标定方法，其特征在于，步骤103中，所述摄像机标定方法分为两步标定过程：
第一步为...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：长沙自由视像信息科技有限公司，
类型：发明
国别省市：湖南;43