在纹理平面上进行投影显示的方法技术

一种计算机影像处理技术领域的在纹理平面上进行投影显示的方法，本发明专利技术中，步骤一，建立投影仪输出亮度经过投影屏幕反射后被相机抓取的辐射模型；步骤二，测量投影仪和相机的亮度响应函数及投影仪与相机之间的颜色混合矩阵；步骤三，通过投影棋盘格图片建立投影仪和相机平面之间的几何映射；步骤四，在投影仪和相机的亮度响应函数及它们之间的颜色混合矩阵已知的情况下，投影两张灰度图片标定出投影表面反射率信息及环境光信息；步骤五，根据步骤三的几何映射和步骤四标定出的投影表面反射信息及环境光信息对投影内容进行矫正后再投影输出。本发明专利技术中矫正经过ＧＰＵ加速后可以达到６０ｆｐｓ，满足实时的需要，适合在各种实际场景中使用。

【技术实现步骤摘要】

本专利技术涉及一种计算机影像处理
的投影显示方法，具体是一种在纹理平面上进行投影显示的方法。
技术介绍
投影显示作为一种成像系统，采用各种光学、电子与机械部件，在观察者与客观世界之间产生各种光学图像。随着投影仪硬件技术的发展，其不断增强的显示功能与不断下降的价格已经使其成为广为采用的演示设备。由于投影仪可以在几乎任意地点投影出比输入图像尺寸更大、解析度更高的图像效果，使得其较之其他普通的桌面屏幕显示方式更适用于许多应用领域，尤其是增强现实的应用中。但在实际使用过程中，投影显示方式却往往受到客观环境较大程度的影响。由于投影屏幕的瑕疵和不同的光照条件的影响，常常使得投影仪所产生的图像光学失真或产生色差。同时由于投影仪本身固有的仪器特性，会造成投影仪产生各向异性的光谱响应，同样造成投影图像的光学失真。很多情况下不得不通过人工干预的方法进行调整。同时投影显示还必须在纯白的屏幕上进行，这极大的限制了投影显示在日常生活中的应用。所以，在普通的纹理平面上既能进行投影显示，具有重要的实用意义，有利于投影显示的进一步推广应用。在相机的辅助下，通过对投影内容提前进行矫正，投影仪可以在有纹理的平面上实现正确的投影显示。经对现有技术文献的检索发现，2003年Nayar等在IEEE InternationalWorkshop on Projector-Camera Systems(国际投影仪-相机系统专题会议)上发表了“A projection system with radiometric compensation for screenimperfections”(一种对屏幕瑕疵进行光度补偿的投影系统)，提出了利用投影仪-相机系统在纹理平面上进行投影显示的方法，主要包括以下三个步骤：首先建立投影仪与相机间的几何映射，然后标定系统及投影场景信息和最终逐像素矫-->正投影内容并输出。但是该方法的标定过程十分繁琐费时，需要投影260张图片，包括256张灰度图和4张彩色图；同时由于标定结果占用大量资源，逐像素的矫正无法做到实时，不能用于实际应用。检索中还发现，Bimber等于2005年提出了另一种矫正方法“Embedded entertainment with smart projectors”(支持内嵌式娱乐的智能投影仪技术)，简化了标定过程，而且利用GPU(图形处理器)加速后可以做到实时矫正输出。但是该方法忽略了投影仪和相机的亮度响应函数是曲线这一事实，导致计算误差较大，矫正结果无法达到期望的投影显示效果。
技术实现思路
本专利技术针对上述现有技术的不足，提供了一种在纹理平面上进行投影显示的方法，使用了全局唯一的投影仪相机颜色混合矩阵，并提前测定了该矩阵以及投影仪和相机的亮度响应函数，这样使用两张图片即可完成系统标定，同时也保证了补偿效果。本专利技术是通过如下技术方案实现的，本专利技术包括如下步骤：步骤一，建立投影仪输出亮度经过投影屏幕反射后被相机抓取的辐射模型；步骤二，利用步骤一建立的辐射模型测量投影仪和相机的亮度响应函数及投影仪与相机之间的颜色混合矩阵，具体如下：通过对同一场景在不同曝光率下拍摄一组照片，使用高动态范围方法获得相机在RGB(红绿蓝)三个通道上的亮度响应函数；利用已经测定好的相机，通过投影256张红色图片，其中红色通道从0逐一递增到255而绿色和蓝色通道保持为0不变，选取图片上某一点作为参考像素，选取其中红色通道值作为投影仪红色通道的亮度响应函数，绿色和蓝色通道亮度响应函数与此相同；在获得亮度响应函数的基础上，通过投影4张图片获得投影仪与相机之间的颜色混合矩阵；步骤三，通过投影棋盘格图片建立投影仪和相机平面之间的几何映射；步骤四，在投影仪和相机的亮度响应函数及它们之间的颜色混合矩阵已知的情况下，投影两张灰度图片标定出投影表面反射率信息及环境光信息；步骤五，根据步骤三的几何映射和步骤四标定出的投影表面反射信息及环境-->光信息对投影内容进行矫正后再投影输出。所述辐射模型，表示如下：C＝A(VP+F)，其中：C表示相机拍摄到的RGB三个通道的亮度值，A表示投影屏幕在RGB三个通道上的反射率，V表示投影仪和相机之间的颜色混合，P是投影仪在RGB三个通道上的输出亮度，F表示环境光和投影仪的背光亮度，其中：C=CRCGCB,]]>A=ARR000AGG000ABB,]]>V=VRRVRGVRBVGRVGGVGBVBRVBGVBB,]]>P=PRPGPB,]]>F=FRFGFB.]]>辐射模型是基于亮度的，而投影仪和相机一般具有非线性的亮度响应函数，即设备的输入和输出之间并非简单的线性关系，所以需要首先测量投影仪和设备的亮度响应函数；后续的标定和基于像素的逐点矫正也是基于该辐射模型。所述通过投影棋盘格图片建立投影仪和相机平面之间的几何映射，具体如下：首先，投影一张棋盘格图片并用相机抓取，使用OpenCV(开源计算机视觉库)找到相机抓取图片的棋盘格角点，与投影图片的棋盘格角点匹配；然后，对于每一对互相匹配的四边形面片，确定这两个面片间的单应性矩阵，根据所有匹配面片间的单应性矩阵，建立投影仪和相机平面之间的几何映射。由于投影在平面上进行，且细分了面片，所以几何映射的精度可以保证。所述通过投影4张图片获得投影仪与相机之间的颜色混合矩阵，具体为：投影的四张图片分别为：P(0)＝(s，s，s)，P(1)＝(t，s，s)，P(2)＝(s，t，s)，P(3)＝(s，s，t)，其中s、t表示0至255之间两个不同的亮度值，相机抓取的效果图分别为：C(0)，C(1)，C(2)，C(3)，由辐射模型可知，颜色混合矩阵在R通道上的值可以通过通过C(0)，C(1)获得：VRR=C(1)R-C(0)Rt-s,]]>VGR=C(1)G-C(0)Gt-s,]]>VBR=C(1)B-C(0)Bt-s;]]>颜色混合矩阵在G通道的值通过C(0)，C(2)，B通道的值通过C(0)，C(3)的方法与R通道相同。所述标定出投影屏幕反射率和环境光，具体为：投影两张灰度图片，这两张图片的亮度分别为P(0)＝(0，0，0)和P(1)＝(t，t，t)，由辐射模型可知，-->C(0)＝A(VP(0)+F)，C(1)＝A(VP(1)+F)，由此标定出投影屏幕的反射率和环境光为：A＝(C(1)-C(0))./(VP(1))，F＝C(0)./A所述对投影内容进行矫正后再投影输出，具体为：根据标定的结果，假设某一点期待的显示结果为I＝(IR，IG，IB)投影仪的实际输入值被矫正为P＝V-1(A-1I-F)，根据此公式计算出所有像素的矫正值，即为矫正图片，通过投影该图片可以在纹理平面上实现正确的投影显示。所述矫正，使用GPU对矫正计算进行加速，各个点的反射率和环境光，及投影仪和相机的亮度响应函数，以纹理的形式加载到显存中；所述矫正，均在像素着色器阶段并行完成，以此加速计算过程。本专利技术具有如下有益效果：在普通的投影屏幕或有纹理的投影平面上，都可以正确的投影显示，极大的扩展了投影仪的使用范围；通过预计算投影仪和相机的光度响应函数以及颜色混合矩阵，加快了系统的标定过程，同时保证了最终的补偿效果，有利于实际应用中的需求；减少了百分之五十的系统资源使用量，在普通的显卡上也可以进行GPU本文档来自技高网...

【技术保护点】
一种在纹理平面上进行投影显示的方法，其特征在于，包括如下步骤：步骤一，建立投影仪输出亮度经过投影屏幕反射后被相机抓取的辐射模型；步骤二，利用步骤一建立的辐射模型获得投影仪和相机的亮度响应函数及投影仪与相机之间的颜色混合矩阵，具体如下：通过对同一场景在不同曝光率下拍摄一组照片，使用高动态范围方法获得相机在ＲＧＢ三个通道上的亮度响应函数；利用已经测定好的相机，通过投影２５６张红色图片，其中红色通道从０逐一递增到２５５，而绿色和蓝色通道保持为０不变，选取图片上某一点作为参考像素，选取其中红色通道值作为投影仪红色通道的亮度响应函数，绿色和蓝色通道亮度响应函数与此相同；在获得亮度响应函数的基础上，通过投影４张图片获得投影仪与相机之间的颜色混合矩阵；步骤三，通过投影棋盘格图片建立投影仪和相机平面之间的几何映射；步骤四，在投影仪和相机的亮度响应函数及它们之间的颜色混合矩阵已知的情况下，投影两张灰度图片标定出投影表面反射率信息及环境光信息；步骤五，根据步骤三的几何映射和步骤四标定出的投影表面反射信息及环境光信息对投影内容进行矫正后再投影输出。

【技术特征摘要】
1.一种在纹理平面上进行投影显示的方法，其特征在于，包括如下步骤：步骤一，建立投影仪输出亮度经过投影屏幕反射后被相机抓取的辐射模型；步骤二，利用步骤一建立的辐射模型获得投影仪和相机的亮度响应函数及投影仪与相机之间的颜色混合矩阵，具体如下：通过对同一场景在不同曝光率下拍摄一组照片，使用高动态范围方法获得相机在RGB三个通道上的亮度响应函数；利用已经测定好的相机，通过投影256张红色图片，其中红色通道从0逐一递增到255，而绿色和蓝色通道保持为0不变，选取图片上某一点作为参考像素，选取其中红色通道值作为投影仪红色通道的亮度响应函数，绿色和蓝色通道亮度响应函数与此相同；在获得亮度响应函数的基础上，通过投影4张图片获得投影仪与相机之间的颜色混合矩阵；步骤三，通过投影棋盘格图片建立投影仪和相机平面之间的几何映射；步骤四，在投影仪和相机的亮度响应函数及它们之间的颜色混合矩阵已知的情况下，投影两张灰度图片标定出投影表面反射率信息及环境光信息；步骤五，根据步骤三的几何映射和步骤四标定出的投影表面反射信息及环境光信息对投影内容进行矫正后再投影输出。2.根据权利要求1所述的在纹理平面上进行投影显示的方法，其特征是，所述辐射模型，表示如下：C＝A(VP+F)，其中：C表示相机拍摄到的RGB三个通道的亮度值，A表示投影屏幕在RGB三个通道上的反射率，V表示投影仪和相机之间的颜色混合，P是投影仪在RGB三个通道上的输出亮度，F表示环境光和投影仪的背光亮度。3.根据权利要求1所述的在纹理平面上进行投影显示的方法，其特征是，所述使用高动态范围方法获得相机在RGB三个通道上的亮度响应函数，具体为：对同一场景保持光照情况不变，拍摄8张照片，其中曝光时间从2ms逐倍递增到256ms，由于曝光时间与相机的进光量成正比，这8张图片反映了进光量即亮度与相机的输出像素值之间的关系，该关系即为相机的亮度响应函数，选取图片中某个固定位置作为参考点，从这8张图片中，选出所有参考点位置的像素值；由此分别在R、G、B三个通道上，获得了亮度与相机输出像素值之间的8个对应点；把亮度归一化为0.0到1.0之间，对这8个点使用曲线拟合的方法，获得相机在RGB三个通道上的亮度响应函数。4.根据权利要求1所述的在纹理平面上进行投影显示的方法，其特征是，所述通过投影棋盘格图片建立投影仪和相机平面之间的几何映射，具体如下：首先，投影一张棋盘格图片并用相机抓取，使用开源计算机视觉库找到相机抓取图片的棋盘格角点，与投影图片的棋盘格角点匹配；然后，对于每一对互相匹配的四边形面片，确定这两个面片间的单应性矩阵，根据所有匹配面片间的单应...

【专利技术属性】
技术研发人员：杨旭波，肖双九，陈新利，历萌，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31[中国|上海]