相机环形阵列的图像矫正方法、系统及介质技术方案

相机环形阵列的图像矫正方法、设备及介质，方法为：标定相机的内参与外参；计算阵列中心，计算各相机的线性中心、相机平面的法向，将相机位置、线性中心投影至相机平面，使所有相机投影到圆心距离与圆半径之差的平方和最小；将线性中心投影至相机圆的轴线，即为最终的阵列中心；依据阵列中心进行相机旋转矫正、内参矫正；依据矫正前后的参数，进行单应性矩阵计算。本发明专利技术的方法通过对图片进行单应性变换，使得图片对应的相机参数削弱了相机朝向、图像水平方向的抖动；焦距与到阵列中心距离成正比，使得处于阵列中心的物体成像大小一致，削弱了成像大小的抖动。

Image rectification method, system and media of camera ring array

【技术实现步骤摘要】
相机环形阵列的图像矫正方法、系统及介质
本专利技术涉及计算机图像处理领域，具体地说是一种相机环形阵列的图像矫正方法、系统及介质。
技术介绍
环形相机阵列是一种应用广泛的相机阵列，最为熟知的应用就是拍摄子弹时间(Bullettime)特效；子弹时间是一种在电影、电视或电脑游戏中用计算机辅助的摄影技术模拟变速的特效。然而，若直接将阵列拍摄得到的图像序列合成视频，观感上会发现明显的抖动，不能作为特效直接使用；即使试图通过手动调整相机参数来削弱抖动，也往往因为精度不足而难以奏效，同时也极度消耗人力；若采用电子云台等装置，则相当消耗物力。
技术实现思路
本专利技术为解决现有的问题，旨在提供一种相机环形阵列的图像矫正方法、系统及介质。为了达到上述目的，本专利技术采用的技术方案包括如下步骤：S1，标定相机的内参与外参；S2，计算阵列中心，计算各相机的线性中心、相机平面的法向，将相机位置、线性中心投影至相机平面，使所有相机投影到圆心距离与圆半径之差的平方和最小；将线性中心投影至相机圆的轴线，即为最终的阵列中心；S3，依据阵列中心进行相机旋转矫正、内参矫正；S4，依据矫正前后的参数，进行单应性矩阵计算。进一步地，还包括S5，将每个单应性矩阵应用于全为1的0-1二值图像，并将变换后不能找到原始对应像素的像素值置为0；对所有的二值图像取与，形成所有变换后图像公共有效区域的掩膜，从中确定最终的裁剪区域。进一步地，还包括S6，利用每个相机的单应性矩阵将拍摄的图片序列进行变换，并按照裁剪框裁切；在相机参数没有发生变化的情况下，将同样的单应性矩阵与裁剪框运用于不同的采集图片上。进一步地，S1中，所述相机内参标定相机的焦距(fx,fy)与主点坐标(cx,cy)，并定义相机的内参矩阵K：进一步地，相机的外参为从世界坐标系到相机坐标系的刚体变换，由一个旋转变换和一个平移变换复合而成。进一步地，S2的估算线性中心中，通过相机位置、并以相机朝向为方向的相机直线估算到所有直线距离之和最小的点；最优解与相机位姿的关系，有公式：Ti为每个相机在世界坐标系中位置；为每个相机在世界坐标系下的朝向单位向量；为三维点x到直线的距离。进一步地，对于每个相机，有系统Aix＝bi，其中：其中I3×3为三行三列的单位阵；记总共N个相机，将每个相机形成的线性系统上下堆叠，以形成新的关于x的线性系统：求解上述线性系统，求得x即为所求进一步地，S2的相机平面的法向计算中，将所有相机的位置作为行向量堆叠为N行三列的矩阵A，并进行奇异值分解，得A＝UΣVT，将V的最右侧一列取出，即为平面法向。进一步地，S2的计算相机圆中，将相机位置与线性中心投影至相机平面，以中心投影为初始圆心、相机投影到中心投影的平均距离为初始半径，对圆参数进行非线性优化，优化过程由以下公式描述：{R*,C*}＝argminR,C∑i(‖Pi-C‖2-R)2，其中：Pi为每个相机位置在相机平面上的投影；R为相机圆半径，C为相机圆心。进一步地，S3中所述相机旋转矫正，获得矫正后相机的旋转矩阵，由列向量组成：Rnew＝[RxRyRz]；其中：Rz前方向：从相机位置指向阵列中心的单位向量；Rx右方向：将相机朝向与相机圆的法向叉乘得到：Ry下方向：将相机朝向与右方向叉乘得到：Ry＝Rz×Rx。进一步地，S3中，对于每个相机估计其新的内参：算初始焦距：取所有相机的焦距平均值；估算平均中心距离：相机位置到阵列中心的距离的平均值；单个相机的矫正后焦距如下确定：初始焦距乘以缩放比例，缩放比例为当前相机到阵列中心距离与平均距离的比值。相机的矫正后内参如下确定：焦距：矫正后焦距；主点：图像中心。进一步地，S4中，每个相机的单应性矩阵由以下公式确定：其中：Kold为矫正前内参矩阵；Rold→new为从矫正前相机坐标系变换至矫正后相机的旋转矩阵，由矫正前后的相机旋转矩阵确定；Knew为矫正后内参矩阵。本专利技术还提供一种相机环形阵列的矫正系统，包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行上述任一所述的方法。本专利技术还提供一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令被处理执行时，实现上述任一所述的方法。和现有技术相比，本专利技术的方法通过对图片进行单应性变换，使得图片对应的相机参数：外参中，前方向指向阵列中心，削弱了相机朝向的抖动；右方向与阵列圆环相切，削弱了图像水平方向的抖动；内参中，焦距与到阵列中心距离成正比，使得处于阵列中心的物体成像大小一致，削弱了成像大小的抖动；本专利技术无需安装相机阵列，便能达到极高的精度；无需手动调整相机参数即可获得稳定而平滑的图片序列，显著节约了人力；无需使用电子云台等机械装置调整相机，即可显著削弱图像序列的抖动效应，极大地节约了物力。附图说明图1为线性中心计算的示意图；图2为相机圆的示意图；图3为相机旋转矫正的示意图；图4为裁剪框设置的示意图。具体实施方式现结合附图对本专利技术作进一步地说明。参见图1，图1展示的是本专利技术的一个实施例，本实施例的方法只需通过标定相机参数，通过估计每个相机图片的单应性变换以矫正图像，即可明显削弱环形相机序列的抖动效应。首先，标定相机的内参与外参。其中，相机内参至少需要标定相机的焦距(fx,fy)与主点坐标(cx,cy)，并由此定义相机的内参矩阵K：相机的外参为从世界坐标系到相机坐标系的刚体变换，由一个旋转变换和一个平移变换复合而成；相机参数可以通过在同一时刻拍摄一组图像由自标定(autocalibration)等算法求得。其次，进行阵列中心估计。参见图1，估算线性中心，建立相机直线，相机直线通过相机位置、并以相机朝向为方向。估算到所有直线距离之和最小的点；最优解与相机位姿的关系可以由以下公式描述：其中：Ti为每个相机在世界坐标系中位置；为每个相机在世界坐标系下的朝向单位向量；为三维点x到直线的距离。以上问题由如下线性系统求解：对于每个相机，列出如下的系统Aix＝bi：其中I3×3为三行三列的单位阵；记总共N个相机，将每个相机形成的线性系统上下堆叠形成新的关于x的线性系统：求解上述线性系统，求得x即为所求估算相机平面法向将所有相机的位置作为行向量堆叠为N行三列的矩阵A，并进行奇异值分解，得A＝UΣVT，将V的最右侧一列取出，即为所求平面法向。然后估算相机圆。参见图2，利用平面法向将相机位置与线性中心投影至相机平面(即相机圆环所在的平面)，以中心投影为初始圆心、相机投影到中心投影的平均距离为初始半径，对圆参数进行非线性优化，使得所本文档来自技高网...

【技术保护点】
1.一种相机环形阵列的图像矫正方法，其特征在于包括如下步骤：/nS1，标定相机的内参与外参；/nS2，计算阵列中心，计算各相机的线性中心、相机平面的法向，将相机位置、线性中心投影至相机平面，使所有相机投影到圆心距离与圆半径之差的平方和最小；将线性中心投影至相机圆的轴线，即为最终的阵列中心；/nS3，依据阵列中心进行相机旋转矫正、内参矫正；/nS4，依据矫正前后的参数，进行单应性矩阵计算。/n

【技术特征摘要】
1.一种相机环形阵列的图像矫正方法，其特征在于包括如下步骤：
S1，标定相机的内参与外参；
S2，计算阵列中心，计算各相机的线性中心、相机平面的法向，将相机位置、线性中心投影至相机平面，使所有相机投影到圆心距离与圆半径之差的平方和最小；将线性中心投影至相机圆的轴线，即为最终的阵列中心；
S3，依据阵列中心进行相机旋转矫正、内参矫正；
S4，依据矫正前后的参数，进行单应性矩阵计算。


2.根据权利要求1所述的相机环形阵列的图像矫正方法，其特征在于：还包括S5，将每个单应性矩阵应用于全为1的0-1二值图像，并将变换后不能找到原始对应像素的像素值置为0；对所有的二值图像取与，形成所有变换后图像公共有效区域的掩膜，从中确定最终的裁剪区域。


3.根据权利要求2所述的相机环形阵列的图像矫正方法，其特征在于：还包括S6，利用每个相机的单应性矩阵将拍摄的图片序列进行变换，并按照裁剪框裁切；在相机参数没有发生变化的情况下，将同样的单应性矩阵与裁剪框运用于不同的采集图片上。


4.根据权利要求1所述的相机环形阵列的图像矫正方法，其特征在于：S2的估算线性中心中，通过相机位置、以相机朝向为方向的相机直线估算到所有直线距离之和最小的点；最优解与相机位姿的关系，有公式：



Ti为每个相机在世界坐标系中位置；

为每个相机在世界坐标系下的朝向单位向量；

为三维点x到直线的距离。


5.根据权利要求4所述的相机环形阵列的图像矫正方法，其特征在于：对于每个相机，有系统Aix＝bi，其中：

其中I3×3为三行三列的单位阵；



记总共N个相机，将每个相机形成的线性系统上下堆叠，以形成新的关于x的线性系统：



求解上述线性系统，求得x即为所求


6.根据权利要求1所述的相机环形阵列的图像矫正方法，其特征在于：S2的相机平面的法向计算中，将所有相机的位置作为行向量堆叠为N行三列的矩阵A，并进行奇异值分解，得A＝UΣVT，将V...

【专利技术属性】
技术研发人员：章焱舜，张迎梁，
申请(专利权)人：叠境数字科技上海有限公司，
类型：发明
国别省市：上海;31