基于GPU加速的异形屏幕多投影拼接融合视频播放的方法技术

本发明专利技术公开了一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，包括步骤(1)：设置至少两个投影仪，根据投影仪的个数生成控制网格，在异形屏幕上调整控制网格；步骤(2)：读取视频文件；步骤(3)：读取视频文件的一帧图像为源图像；调整控制网格对源图像进行几何校正，得到目标图像，并求取源图像与目标图像中像素点的映射矩阵；步骤(4)：读取视频文件下一帧图像；步骤(5)：生成中间图像；步骤(6)：用GPU加速对中间图像进行亮度处理和图像拼接融合；步骤(7)：获得拼接融合后图像对应的目标图像；步骤(8)：在异形屏幕上投影拼接融合后图像对应的目标图像；步骤(9)：重复步骤(4)～步骤(8)，直到视频播放完成。

【技术实现步骤摘要】

本专利技术属于投影控制领域，尤其涉及一种基于GPU加速的异形屏幕多投影拼接融 合视频播放的方法。
技术介绍
大型异形屏幕投影能够增强用户的沉浸感，带来更好的体验，在虚拟现实、教育、 娱乐、仿真训练等领域应用广泛。在实际应用中有各种各样的投影屏幕，即使对于一个特定 的应用场景，其各项参数如投影仪的位置、屏幕形状也会随着时间的推移发生变化，所以希 望投影系统要易于搭建和维护，而实际中的操作往往比较复杂。 在用多个投影仪进行拼接时，使用硬边拼接，即让两个投影仪的画面简单的靠在 一起，存在的问题为：通常会有明显的分割线；使用重叠时，如果不对图像的亮度加以处 理，重叠区域的亮度会较高，影响视觉效果，所以要使用亮度融合。 对于视频播放，基于投影屏幕的形状，需要对要投影视频中的每一帧进行校正后 再投出，由于图像处理比较费时，很多应用是将视频在线下预处理后再播放，如果场景转换 则需要重新对视频进行预处理，这样转换场景后就需要等待一段比较长的时间才能观看， 而且每个场景都要保存相应的一个视频文件。
技术实现思路
为了解决现有技术的缺点，本专利技术提供一种基于GPU加速的异形屏幕多投影拼接 融合视频播放的方法，该方法实现了多投影仪在异形屏幕上投影拼接，在投影仪和屏幕位 置不变的情况下，实时对视频进行校正播放，省去对视频进行预处理的工序。 为实现上述目的，本专利技术采用以下技术方案： -种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，包括： 步骤（1):设置至少两个投影仪，根据投影仪的个数生成控制网格，在异形屏幕上 调整控制网格，每一组控制网格对应一个投影仪； 步骤（2):读取视频文件，获取视频文件属性；读取视频文件的一帧图像作为源图 像；调整控制网格对源图像进行几何校正，得到的校正后图像作为目标图像，并求取源图像 与目标图像中像素点的映射矩阵； 步骤（3):读取视频文件的下一帧图像；根据相邻投影仪的重叠区域所占整个投 影仪帧缓冲区域大小的比例，生成一幅中间图像； 步骤⑷：采用GPU加速的方法对中间图像进行亮度处理和图像拼接融合；根据源 图像与目标图像中像素点的映射矩阵和GPU加速的方法对拼接融合后的图像进行几何校 正，获得拼接融合后图像对应的目标图像； 步骤（5):在异形屏幕上投影拼接融合后图像对应的目标图像； 步骤（6):重复步骤（3)~步骤（5)，直到视频播放完成。 所述步骤⑴中的调整控制网格的具体过程为： 将生成控制网格全屏显示在异形屏幕上，然后对控制网格进行增加或减少一组控 制网格、增减网格线的条数或移动控制点操作，使得投影在屏幕上的控制网格不变形，且不 同投影仪的网格线对齐。 所述步骤（1)中的视频文件属性，包括：视频帧率、每一帧的大小和视频总时长。 所述步骤⑵中求取源图像与目标图像中像素点的映射矩阵的具体过程为： 步骤（2. 1):定义源图像与目标图像的映射矩阵为二维矩阵MdPMy，二维矩阵凡 和My均与目标图像的大小相同； 步骤（2.2):源图像中的任一像素点（i，j)，通过调整控制网格的方法获取目标图 像对应像素a'，j'），并在mx中保存i'，在My中保存j' ；其中，i和j表示整数变量。 所述步骤⑶中生成中间图像的具体过程为： 假设有N个投影仪，校正后相邻两个投影仪的重叠区域为单个投影区域的1， m 那么首先将源图像在水平方向等分为N(m-1)+1份，每一份的宽度为d，将它们编号为 0, 1，. . .，N(m-l);生成一幅高与源图像相同且宽为dXmXN的中间图像，将中间图像等分 为mXN份； 将源图像中编号为k(m-l)，k(m-l)+l，…（k+1) (m-1)的区域叠加到中间图像中编 号为km，km+l，…（k+l)m-l的区域，每个重叠区域分别由两个投影仪投出；其中，N表示大 于等于2的整数;m表示大于等于2的整数；d表示常数；k表示从0到N的任一整数。所述步骤（4)中对拼接融合后的图像进行几何校正的具体过程，包括： 步骤（4. 1):确定图像重叠区域的渐变因子； 步骤（4. 2):采用GPU加速的方法获取图像重叠区域的每个像素，将获取图像重 叠区域的每个像素的RGB值都乘上其各自对应的渐变因子后，得到新的值替换原来的像素 值。 所述步骤（4. 1)中，若图像重叠区域的亮度不变，则不存在重叠区域，渐变因子为 1 ;否则，存在重叠区域，图像重叠区域的渐变因子包括右图像重叠区域渐变因子和左图像 重叠区域渐变因子。 所述右图像重叠区域渐变因子的表达式为： 所述左图像重叠区域渐变因子的表达式为： 其中，《= 0. 7,u= 2. 5,x表示左图像或右图像中当前列在重叠区域列号与单 个重叠区域的总列数之比。 所述步骤（4. 2)中GPU加速的方法的具体过程为： 在GPU核函数中，首先获取线程号，计算出该线程所对应的像素点（i，j)以及像素 点（i，j)所对应的渐变因子，将像素点（i，j)所对应的渐变因子与像素点（i，j)的RGB值 相乘，作为像素点（i，j)最终的像素值。 所述步骤（1)和步骤（5)中的异形屏幕包括弧形屏幕、环形屏幕和球形屏幕。 本专利技术的有益效果为： (1)本专利技术在异型屏幕多个投影仪进行拼接时，采用GPU加速的方法对中间图像 进行亮度处理和图像拼接融合，降低了两个图像之间的分割线，而且对两个重叠图像进行 亮度融合，增强了视觉效果； (2)本专利技术采用拼接融合和调整控制网格的方法改善了视频播放对图像校正的效 率以及场景转换的特殊需求，实现在异形屏幕上的视频实时校正播放； (3)本专利技术的该方法成本低，操作简单，易于搭建和维护。【附图说明】 图1(a)是原始控制网格对应控制点示意图； 图1 (b)是调整后的控制对应控制点不意图； 图2(a)是原始控制网格对应像素点示意图； 图2 (b)是调整后的控制对应像素点不意图； 图3是控制网格调整流程图； 图4(a)是原始控制网格图像； 图4(b)是调整后的控制网格图像； 图5 (a)是未校正的图像； 图5 (b)是投影拼接校正结果； 图6是视频播放流程图。【具体实施方式】 下面结合附图与实施例对本专利技术做进一步说明： 本程序以Windows7中的VisualStudio2010为开发平台，其【具体实施方式】如 下： 本专利技术通过显卡或分线器将多台投影仪连接到同一台计算机上，将投影仪随意摆 放，但是要使得相邻投影仪的投影区域有一定的重叠，将多个显示器设置为扩展模式，设置 好投影仪的投影区域。 本专利技术的基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，通过手动调 整控制网格，快速完成多投影仪拼接校正，通过使用GPU加速实现视频实时处理播放的系 统。 本专利技术的系统包括： 投影仪（2个及以上）：投影图像； 弧形幕布：显示投影仪所投图像； 异型屏幕投影拼接系统：生成控制网格，接收人工调整，对图像进行处理并显示， 实时处理播放视频。 本专利技术中的图像拼接为手动拼接，其原理是： 通过投影仪把控制网格投影到屏幕上，网格线的交点称为控制点，对控制点进行 调整，在屏幕上确定一个理想的目标投影区域，对图像进行校正使其填充在这个区域中，也 就达到了我们想要的效果。有几个投影仪就有几组控制网格，一组控制网格只能由一个投 影仪投出，各组控制网格之间相互独立本文档来自技高网...

【技术保护点】
一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，其特征在于，包括：步骤(1)：设置至少两个投影仪，根据投影仪的个数生成控制网格，在异形屏幕上调整控制网格，每一组控制网格对应一个投影仪；步骤(2)：读取视频文件，获取视频文件属性；读取视频文件的一帧图像作为源图像；调整控制网格对源图像进行几何校正，得到的校正后图像作为目标图像，并求取源图像与目标图像中像素点的映射矩阵；步骤(3)：读取视频文件的下一帧图像；根据相邻投影仪的重叠区域所占整个投影仪帧缓冲区域大小的比例，生成一幅中间图像；步骤(4)：采用GPU加速的方法对中间图像进行亮度处理和图像拼接融合；根据源图像与目标图像中像素点的映射矩阵和GPU加速的方法对拼接融合后的图像进行几何校正，获得拼接融合后图像对应的目标图像；步骤(5)：在异形屏幕上投影拼接融合后图像对应的目标图像；步骤(6)：重复步骤(3)～步骤(5)，直到视频播放完成。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨义军，滕茼，杨承磊，孟祥旭，曾薇，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37