本发明专利技术公开一种面向多投影拼接显示的参数化自动几何校正方法，包括离线校正和实时校正两个部分。其中，离线校正通过立体摄像机对采集由各自投影通道打出的模式图像序列，从采集的模式图像序列中计算得到各自投影通道在屏幕上的特征点信息，由此计算投影屏幕几何模型中的未知参数以及各自投影机的内外参数；进而得到观察者位置和姿态信息，最终得到投影系统几何模型中的全部未知参数。实时校正是把得到的参数作为系统配置文件，实时加载系统配置文件，渲染出来的多通道显示图像为一整幅透视关系正确，无边缘突变的高分辨率图像。本发明专利技术的优点为：可自动完成多投影显示系统的参数标定，对相机的分辨率和视场角要求相对较低。
【技术实现步骤摘要】
本专利技术涉及一种多投影拼接显示系统的校正方法，具体来说，是一种面向多投影 拼接显示的参数化自动几何校正方法。
技术介绍
多投影拼接显示技术是一种把多台投影机投射的画面进行拼接融合从而实现比 单个显示设备更大尺寸、更高分辨率的无缝画面的技术。采用多投影拼接显示技术的显示 系统称之为多投影拼接显示系统。多投影拼接显示系统主要要素包括投影机、投影面（投 影幕）以及观察者。即使没有交互的需求，观察者的信息也十分重要，将决定显示系统的最 佳观察区域。 多投影拼接显示技术是一种典型的大屏幕显示技术，理论上可以实现在任意曲面 上的大尺寸、高分辨率、宽视场角的无缝画面显示，基于平板电视的电视墙相比之下，虽然 也能实现大尺寸以及高分辨率但局限很多，比如电视墙无法做到真正的无缝显示，而且很 难做到任意形状的成像面。由于其上述优点，多投影拼接显示技术广泛的应用于虚拟现实、 仿真训练、文化娱乐等领域中，并有着很好的应用前景。 多投影拼接系统中，投影机连接图像源计算机，投射图像源计算机绘制的画面。投 影机与图像源计算机不一定是一对一的映射关系，一台图像源计算机可以输出多个显示画 面分别提供给对应的投影机。对投影画面进行拼接融合的过程称之为校正。按照校正方式， 分为软件方式和硬件方式。硬件校正需要在投影机和图像源计算机之间使用硬件融合器， 硬件融合器对画面进行预变形以及融合带衰减之后把画面输出，实现多投影融合图像，但 每个投影通道显示的图像的透视矩阵，还需要在图像源计算机中的图像绘制软件中设置。 基于软件的多投影拼接技术硬件结构简单、配置灵活，更具扩展性，无需增加额外的硬件融 合器，所有的配置均在图像绘制软件中完成。无论是硬件方式还是软件方式，多投影拼接显 示技术包括两个过程，离线校准和实时校正。所谓离线校准，就是采用一定的工具和手段， 获得投影机画面几何预变形、边缘融合、色彩等参数的过程；这些参数获得之后，作为多投 影系统配置的一部分，应用到实时图像生成和绘制当中，由此产生的画面为满足观察者要 求的无缝大幅画面。 已有的多投影拼接显示技术在工业领域的应用日趋成熟，但从技术方法上存在如 下问题： 1、忽视了投影系统三要素（投影机、投影面、观察者）的建模。大部分方法绕过了 投影机及屏幕的几何模型，直接使用投影出来的模式画面与投影屏幕上的基准进行比对调 整试凑，时间周期长，初始校正和再校正时间长。 2、离线校正工程存在大量的人工干预。校正过程依赖于经验，并且过于主观，对于 校正的结果很难定量的评价。 3、系统过于复杂，提高了成本，降低了可靠性。已有方法通过在投影屏幕上打出红 外基准或者直接在投影屏幕上安装基准点，增加了系统复杂性，而且影响了投影系统的最 终显示效果。 4、自动校正局限多，配置不灵活。已有自动校正方法需要摄像机看到待校正的投 影通道的全部，或者大部分，在投影显示系统所处空间不大时无法实现自动校正；已有方法 采用分段平面构造屏幕模型，对于曲率较大的屏幕，要么需要更详细的细分增加了校正的 复杂性，要么得到的校正结果精度不高。
技术实现思路
针对上述问题，本专利技术提出一种面向多投影拼接显示的参数化自动几何校正方 法，将投影机、投影屏幕以及观察者在内的投影系统要素建立为带未知参数的几何模型；采 用立体摄像机对和普通相机为自动校正过程唯一需要的额外硬件。本专利技术针对屏幕类型为 平面幕、柱面幕以及球面幕的多投影显示系统，由于屏幕的几何形状可以用参数化二次曲 面描述，同时投影机和观察者信息也可以用内外参数建模。首先把投影机、投影屏幕以及观 察者在内的投影系统要素建立为带未知参数的几何模型，则本专利技术校正过程即未知参数求 解并应用于投影系统的过程，且整个未知参数的求解过程无需人的参与。 本专利技术，包括离线几何校正 与实时图像校正两部分； 其中，离线校正的具体步骤为： 步骤1、对多投影拼接显示系统进行几何建模。 步骤2、屏幕建模； 建立屏蒂几何t旲型S，S=Splane，Seylindel?或SsphOTe，分别对应着平面蒂，柱面蒂和球 面幕模型，其中的屏幕几何模型的参数向量为 s。 步骤3、摄像机对的标定； 对摄像机对进行标定，分别得到两台摄像机的内参数MP为摄像机外参数矩阵；i为摄像机编号，i= 1、2。 步骤4、通过摄像机对，对多投影拼接显示系统中的每个重叠带进行下述步骤，具 体如下： A、调整摄像机对的位置和姿态； 将摄像机对对准投影屏幕中两个投影通道的重叠带区域，并在两台摄像机相对位 置不变的前提下，调整两台摄像机的位置和姿态，使两台摄像机所拍摄的重叠带面积最大 化。 B、投射特征图像序列并识别特征点； a、对于重叠带所涉及的投影通道，投影机使用格林编码图像规则，生成特征图像 序列，投射在投影屏幕上； b、摄像机对中两台摄像机拍摄各台投影机投射的特征图像序列中的每一幅图像， 并分别进行下述操作： 在每一幅图像的横向和纵向上，进行边界检测，求得边界后对横向和纵向条纹求 交，搜索连通域获取交点即为特征点；并根据格林编码规则，提取特征点的编码信息作为其 唯一索引值。在摄像机平面坐标系下，给出包含索引信息的特征点坐标集合{p。}，根据索引 值，同时得到对应的投影机缓存平面中特征点坐标集合{pp}，Pp基于投影机帧缓存平面坐 标系给出。 C、重构特征点的三维坐标； 令立体摄像机对中，一台摄像机的内外参数分别为MP，特征点集合为&。2}。由于 {pj和{pe2}中包含了索引值信息，因此得到两者精确的对应关系；并根据立体视觉原理， 得到投影到屏幕上的特征点在世界参考坐标系下的三维坐标集{P}。 步骤5:屏幕参数辨识； 根据屏幕几何模型构造参数s估计目标函数，利用三维重构和优化迭代方法由 {P}估计屏幕几何模型的参数向量s的最优值。 步骤6 :投影机内外参数标定； 对于重叠带涉及的每个投影通道，构造基于投影机-投影屏幕的目标函数，利用 最优化算法由{P}及其对应的{pp}估计投影机的内参数矩阵Kw_和外参数矩阵的 最优值；j为投影机的编号。 步骤7 :生成边缘融合模板； 根据投影机的投影参数，计算投影重叠带的几何参数，并计算重叠带对应的投影 通道的边缘融合模板。 步骤8:计算视点参数； 为了标定观察者坐标系到全局坐标系的转换矩阵，本专利技术中在观察者坐标系原点 放置一个相机，并使相机光轴方向与观察者视线方向重合，此时相机坐标系就代表了观察 者坐标系。选择相机能够拍摄到的一个投影通道投射特征图案，由相机进行捕捉提取特征 点。根据上述步骤中得到的屏幕参数集合s、该投影通道对应投影机的投影矩阵Kp和转换 矩阵[RIt 渴刹标个賠紅占的三维坐标，然后当前第1页1 2 本文档来自技高网...
【技术保护点】
一种面向多投影拼接显示的参数化自动几何校正方法，其特征在于：包括离线几何校正与实时图像校正两部分；其中，离线校正的具体步骤为：步骤1、对多投影拼接显示系统进行几何建模；步骤2、屏幕建模；建立屏幕几何模型S，S＝Splane，Scylinder或Ssphere，分别对应着平面幕，柱面幕和球面幕模型，其中的屏幕几何模型的参数向量为s；步骤3、摄像机对的标定；对摄像机对进行标定，分别得到两台摄像机的内参数Kci和[Rci|tci]，其中，Kc为摄像机内参数矩阵；[Rc|tc]为摄像机外参数矩阵；i为摄像机编号，i＝1、2；步骤4、通过摄像机对，对多投影拼接显示系统中的每个重叠带进行下述步骤，具体如下：A、调整摄像机对的位置和姿态；将摄像机对对准投影屏幕中两个投影通道的重叠带区域，并在两台摄像机相对位置不变的前提下，调整两台摄像机的位置和姿态，使两台摄像机所拍摄的重叠带面积最大化；B、投射特征图像序列并识别特征点；a、对于重叠带所涉及的投影通道，投影机使用格林编码图像规则，生成特征图像序列，投射在投影屏幕上；b、摄像机对中两台摄像机拍摄各台投影机投射的特征图像序列中的每一幅图像，并分别进行下述操作：在每一幅图像的横向和纵向上，进行边界检测，求得边界后对横向和纵向条纹求交，搜索连通域获取交点即为特征点；并根据格林编码规则，提取特征点的编码信息作为其唯一索引值。在摄像机平面坐标系下，给出包含索引信息的特征点坐标集合{pc}，根据索引值，同时得到对应的投影机缓存平面中特征点坐标集合{pp}，pp基于投影机帧缓存平面坐标系给出；C、重构特征点的三维坐标；令立体摄像机对中，一台摄像机的内外参数分别为Kc1和[Rc1|tc1]，特征点集合为{pc1}；对应的，另一台摄像机的内外参数分别为Kc2和[Rc2|tc2]，特征点集合为{pc2}。由于{pc1}和{pc2}中包含了索引值信息，因此得到两者精确的对应关系；并根据立体视觉原理，得到投影到屏幕上的特征点在世界参考坐标系下的三维坐标集{P}；步骤5：屏幕参数辨识；根据屏幕几何模型构造参数s估计目标函数，利用三维重构和优化迭代方法由{P}估计屏幕几何模型的参数向量s的最优值；步骤6：投影机内外参数标定；对于重叠带涉及的每个投影通道，构造基于投影机‑投影屏幕的目标函数，利用最优化算法由{P}及其对应的{pp}估计投影机的内参数矩阵Kpj和外参数矩阵[Rpj|tpj]的最优值；j为投影机的编号；步骤7：生成边缘融合模板；根据投影机的投影参数，计算投影重叠带的几何参数，并计算重叠带对应的投影通道的边缘融合模板；步骤8：计算视点参数；为了标定观察者坐标系到全局坐标系的转换矩阵，本专利技术中在观察者坐标系原点放置一个相机，并使相机光轴方向与观察者视线方向重合，此时相机坐标系就代表了观察者坐标系。选择相机能够拍摄到的一个投影通道投射特征图案，由相机进行捕捉提取特征点。根据上述步骤中得到的屏幕参数集合s、该投影通道对应投影机的投影矩阵Kp和转换矩阵[Rp|tp]，可以得到每个特征点的三维坐标，然后构造如下目标代价函数：ϵ=Σl||pcl-p^l||2]]>其中，l为特征点的索引值，pcl∈{pc}，pcl是相机中提取的特征点，满足且Pl∈{P}，Kv为已知的相机内参数矩阵，[Rv|tv]为相机坐标系也就是观察者坐标系的转换矩阵，通过迭代优化算法得到[Rv|tv]。实时图像校正具体方法如下：步骤a：第一次渲染，计算期望图像；对于每个投影通道，基于观察者眼点，渲染对应的3D虚拟场景，并保存在该投影通道对应的投影机纹理缓存中；步骤b：投影纹理绑定；根据观察者眼点的外参数矩阵[Rv|tv]，将期望图像以投影纹理的方式绑定到根据屏幕参数模型s生成的几何模型上；步骤c：第二次渲染；以投影机参数Kp和[Rp|tp]作为观察者的眼点对包含屏幕参数模型的图像进行渲染，将本次渲染的输出图像与该投影通道的边缘融合模板对应的像素相乘之后输出给投影机。...
【技术特征摘要】
【专利技术属性】
技术研发人员：戴树岭，雷小永，赵永嘉，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。