任意连续曲面幕多投影显示墙的自动几何校正方法技术

本发明专利技术公开了任意连续曲面幕多投影显示墙的自动几何校正方法，包括如下步骤：1)通过三维曲面拼接构造一阶几何连续的理想显示曲面R；2)基于最大化利用投影仪的原始投影区域原则，进行投影任务分配，并将理想显示曲面R上的投影任务分配到不同的投影仪；3)将对应于每台投影仪的曲面片进行网格细分；4)求解对应于每台投影仪的预扭曲矩阵，并实时进行几何校正。本发明专利技术在对两个摄像机进行标定的基础上，对投影幕布进行三维重建来获得投影幕的局部模型。然后求取从投影前画面空间到三维投影幕布空间的映射关系，并按照最大化利用投影仪的原始投影区域的原则，计算每台投影仪对应的预扭曲矩阵来实现多投影显示墙输出画面的自动几何校正。

Automatic geometric correction method of arbitrary continuous curved wall veil multi projection display

The present invention discloses any continuous curve screen correction method for automatic geometric wall multi projection display, which comprises the following steps: 1) by constructing a 3D surface mosaic order geometric continuity ideal display surface R; 2) the original projection area principle to maximize the use of projector based on the projection task allocation, and the ideal projection task allocation the surface R to different projectors; 3) mesh subdivision surfaces are corresponding to each projector; 4) solution corresponding to each projector pre distortion matrix, and the real-time geometric correction. Based on the calibration of the two cameras, a three-dimensional reconstruction of the projection screen is performed to obtain a local model of the projection screen. Then get from the screen space to the mapping relationship between the 3D projection screen space projection, and in accordance with the original projection area to maximize the use of projector principle, the calculation of each projector corresponding pre distortion matrix to realize the multi projection display screen wall automatic geometric correction output.

【技术实现步骤摘要】
任意连续曲面幕多投影显示墙的自动几何校正方法
本专利技术属于任意连续曲面幕多投影显示墙领域，具体是一种任意连续曲面幕多投影显示墙的自动几何校正方法。
技术介绍
随着多媒体数字展示、沉浸式娱乐和科学计算可视化等应用领域对超高分辨率显示平台需求的日益增长，通过多台投影仪拼接实现的多投影显示墙受到日益广泛的关注。传统的大屏幕展示系统大多数是通过叠合若干CRT显示屏或者LCD液晶板来构建，无法输出真正无缝的大尺寸画面，而且不易于维护和扩展。近年来，通过整合多台投影仪的投射能力，多投影显示墙较好地解决了上述问题。多投影显示墙中的关键技术为输出画面的几何校正和颜色校正，几何校正是指通过投影仪投射某种易于识别和定位的图形模式并使用摄像机捕获投影画面，然后对拍摄的图片进行识别和分析来求取投影仪预扭曲矩阵的过程。早期国内外关于多投影显示墙的几何校正研究主要集中于平面投影幕的多投影显示墙。近年来，关于曲面幕多投影显示墙的几何校正成为相关领域的研究热点。但是目前的研究主要针对特殊的曲面幕，比如球面幕、环幕等。对任意连续曲面幕缺少自动几何校正的方法。
技术实现思路
为了解决现有技术中存在的上述技术问题，本专利技术提供了任意连续曲面幕多投影显示墙的自动几何校正方法，包括如下步骤：1)通过三维曲面拼接构造一阶几何连续的理想显示曲面R；2)基于最大化利用投影仪的原始投影区域原则，进行投影任务分配，并将理想显示曲面R上的投影任务分配到不同的投影仪；3)将对应于每台投影仪的曲面片进行网格细分；4)求解对应于每台投影仪的预扭曲矩阵，并实时进行几何校正。进一步的，步骤1)具体为：设相邻两台投影仪的原始投影区域用四边贝塞尔曲面表示为:其中，u，v∈[0,1]，Pi,j(0≤i≤m，0≤j≤n)和Qi,j(0≤i≤m，0≤j≤n)为对应曲面的控制点，Bi,m(u)是m次Bernstein基函数，定义如式(6)，Bj,n(v)的定义与Bi,m(u)类似；进一步的，为了保证拼接后的曲面在u和v方向上的光滑连续，Pi,j和Qi,j同时满足有公共边界和公共切平面两个条件:Qu(0,v)＝α(v)Pu(1,v)+β(v)Pv(1,v)，(8)其中α(v)为正常数，β(v)为v的线性函数。进一步的，步骤2)具体为：在三维曲面拼接的基础上，使用德卡斯特里奥(DeCasteljau)算法通过逐点递推来计算每台投影仪需要投影的曲面区域。进一步的，若为两台投影仪拼接，给定其中任意投影仪的投影曲面参数模型:其中Pi,j(0≤i≤m，0≤j≤n)为控制点，u，v∈[0,1]，a∈[0,m]，b∈[0,n]。计算每台投影仪的投影区域时，以本投影仪的原始投影区域的中心点为基础，采用式(10)的递推方法，求取所有的曲面点：先沿着u坐标轴方向，对n+1个控制点构成的多边形序列以u为参数应用德卡斯特里奥算法，完成m步递推后，可以得到沿着v轴方向的n+1个顶点构成的多边形M；然后再以v为参数对上述多边形M应用德卡斯特里奥算法，经过n级递推之后，即可得到一个新的投影曲面点，以此类推，可以获得对应于每台投影仪的理想显示曲面k为组成多投影系统的投影仪数量。进一步的，步骤(3)具体为：在步骤2)中得到的曲面片基础上增加顶点的数量，使得曲面上每个子网格可以采用类似平面幕的方法进行逼近，用离散曲率K表示曲面上任意顶点v的弯曲程度，定义如下:其中vj表示离散曲面上任意一个顶点v的最近邻顶点；增加顶点的过程采用Loop细分方法，最终获得对应于每台投影仪的细化理想显示曲面进一步的，步骤4)具体为：在对应于每i台投影仪的细化理想显示曲面中，针对每个三角形网格，利用其本身的三个顶点，以及至少2个相邻节点，使用最小二乘法求取对应的预扭曲矩阵M，最后采用与平面幕类似的方法对投影前缓冲区内的对应区域进行预扭曲。本专利技术针对任意连续曲面多投影显示墙的通用自动几何校正方法，该方法在对两个摄像机进行标定的基础上，基于双目视觉原理对投影幕布进行三维重建来获得投影幕的局部模型。然后求取从投影前画面空间到三维投影幕布空间的映射关系，并按照最大化利用投影仪的原始投影区域的原则，计算每台投影仪对应的预扭曲矩阵来实现多投影显示墙输出画面的自动几何校正。附图说明图1是投影幕三维重建示意图；图2是预设规格的黑白格图案；图3是投影幕的局部网格模型示意图；图4是投影曲面拼接示意图。具体实施方式下面结合附图对本专利技术作进一步说明。在对投影幕三维重建前，需要对所用的两个摄像机进行标定从而获得两个摄像机的内外参数。本申请采用小孔摄像机模型，计算对应于每个摄像机的6个内部参数{f，k，Sx，Sy，Cx，Cy}和6个外部参数{α，β，γ，Tx，Ty，Tz}，其中，f为焦距；k表示径向畸变量级，如果κ为负值，畸变为桶型畸变，如果为正值，那畸变为枕型畸变。Sx，Sy是缩放比例因子，表示图像传感器上水平和垂直方向上相邻像素之间的距离；Cx，Cy是图像的主点，这个点是投影中心在成像平面上的垂直投影，同时也是径向畸变的中心。T＝(Tx，Ty，Tz)是平移向量，R＝R(α，β，γ)是旋转矩阵，(α,β,γ)分别是绕摄像机坐标系x轴、y轴和z轴的旋转角度。如图1所示，投影幕三维重建的基本思路是，在摄像机标定的基础上，使用两只摄像机同步采集平铺在投影幕正前方地面上的黑白格定标地垫和投射在投影幕上的特定几何图案；然后识别采集到的图像中的特征点并进行三维重建；最后构造投影幕的三维网格模型。其中所用的黑白格定标地垫的作用主要是确定两个摄像机的相对位置关系和建立唯一的公共世界坐标系。另外，实际操作中，只需要对投影仪原始投影区域覆盖的投影幕表面进行三维重建，得到投影幕的局部模型，而忽略其它部分的投影幕。本申请的任意连续曲面幕三维重建算法步骤如下:输入：两个摄像机的内外参数。输出：每台投影仪原始投影区域的局部贝塞尔曲面模型。1)通过两个摄像机同步采集定标地垫的图像P1和P2。每个摄像机至少采集到三分之二的定标地垫，以确保有足够的重叠区域。2)根据图像P1和P2，确定公共世界坐标系。为了简化计算过程，我们把摄像机1对应的摄像机坐标系设定为公共世界坐标系，并重新调整两个摄像机的外部参数。此时摄像机1的旋转矩阵为单位阵，而平行向量为零向量。3)通过每台投影仪投射预设规格的黑白格图案(如图2所示)，并使用两个摄像机同步进行采集得到图像P3和P4。4)识别图像P3和P4中的黑白格角点，得到一系列的对应点三元组S1:{投影前图像坐标系下的点(x，y)；摄像机1坐标系下的点(u1，v1)；摄像机2坐标系下的点(u2，v2)}。5)根据两个摄像机的内外参数，进行三维重建，得到一系列对应点二元组S2:{投影前图像坐标系下的平面点(x，y)；公共世界坐标系下的空间点(X，Y，Z)}。6)以二元组S2中公共世界坐标系下的空间点集为型值点，采用德卡斯特里奥算法(DeCastellan’sAlgorithm)拟合出投影幕上对应于每台投影仪原始投影区域的局部贝塞尔曲面模型，如图3所示。这里局部模型的精度取决于第(3)步所用黑白格图案的预设规格(黑白格密度、相对尺寸等)，其张量积形式的定义为:其中u，v∈[0,1]，Pij(i＝0,1,...,m；j＝0,1,…,n)为使用德卡斯特里奥算法反求出来的本文档来自技高网...

【技术保护点】
任意连续曲面幕多投影显示墙的自动几何校正方法，包括如下步骤：1)通过三维曲面拼接构造一阶几何连续的理想显示曲面R；2)基于最大化利用投影仪的原始投影区域原则，进行投影任务分配，并将理想显示曲面R上的投影任务分配到不同的投影仪；3)将对应于每台投影仪的曲面片进行网格细分；4)求解对应于每台投影仪的预扭曲矩阵，并实时进行几何校正。

【技术特征摘要】
1.任意连续曲面幕多投影显示墙的自动几何校正方法，包括如下步骤：1)通过三维曲面拼接构造一阶几何连续的理想显示曲面R；2)基于最大化利用投影仪的原始投影区域原则，进行投影任务分配，并将理想显示曲面R上的投影任务分配到不同的投影仪；3)将对应于每台投影仪的曲面片进行网格细分；4)求解对应于每台投影仪的预扭曲矩阵，并实时进行几何校正。2.如权利要求1所述的任意连续曲面幕多投影显示墙的自动几何校正方法，其特征在于：步骤1)具体为：设相邻两台投影仪的原始投影区域用四边贝塞尔曲面表示为:其中，u，v∈[0,1]，Pi,j(0≤i≤m，0≤j≤n)和Qi,j(0≤i≤m，0≤j≤n)为对应曲面的控制点，Bi,m(u)是m次Bernstein基函数，定义如式(6)，Bj,n(v)的定义与Bi,m(u)类似；3.如权利要求2所述的任意连续曲面幕多投影显示墙的自动几何校正方法，其特征在于：为了保证拼接后的曲面在u和v方向上的光滑连续，Pi,j和Qi,j同时满足有公共边界和公共切平面两个条件:Qu(0,v)＝α(v)Pu(1,v)+β(v)Pv(1,v)，(8)其中α(v)为正常数，β(v)为v的线性函数。4.如权利要求3所述的任意连续曲面幕多投影显示墙的自动几何校正方法，其特征在于：步骤2)具体为：在三维曲面拼接的基础上，使用德卡斯特里奥(DeCasteljau)算法通过逐点递推来计算每台投影仪需要投影的曲面区域。5.如权利要求4所述的任意连续曲面幕多投影显示墙的自动几何校正方法，其特征在于：若为两台投影仪拼接，给定其中任意投影仪...

【专利技术属性】
技术研发人员：王修晖，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：浙江,33