基于图像的真实光源获取及重光照的方法技术

一种基于图像的真实光源获取及重光照的方法，其特征在于，包括如下步骤：　步骤一，投影仪采用光线扫描的方法投射出基本光源，基本光源投射到到物体上，由照相机捕捉物体的反射光并采集基图像，建立基本光源的入射光线与物体表面的出射光线的对应关系；　步骤二，利用单应性矩阵建立照相机视角和投影仪视角图像的点点对应关系，在基本光源和真实光源照射下，由照相机分别采集材质均匀的漫反射平面的照片，建立真实光源和基本光源之间的对应关系，其中，基本光源与步骤一的基本光源是同一个光源，真实光源是需要模拟的光源；　步骤三，将步骤一中得到的每根光线对应的基图像与步骤二得到的真实光源与基本光源的对应关系相乘，并把所有图像叠加起来获得重光照的结果。

【技术实现步骤摘要】

本专利技术涉及一种光学
的重光照方法，具体是一种基于图像的真实光 源获取及重光照的方法。
技术介绍
重光照是计算机图形学及计算机视觉中用来计算物体在新的光照情况下的 成像的渲染方法，而对真实光源的获取为重光照提供了光源的属性，这也是计算 机图形学和计算机视觉的一个重要研究领域。基于图像的重光照技术是通过采集 基图片来获得物体表面的反射函数，在输入新的光照时，运用反射函数来计算新 的成像的方法。而对光照的获取是通过对光源采集图像建立光源的属性模型，为 之后的场景渲染提供光照参数，一般光源获取算法所获得的光源属性模型大多用 于基于模型的场景渲染。在现实应用中，重光照一般用于重现或虚拟模拟物体在 一个特定的光照情况下成像，运用重光照技术可以实现真实物体与新环境的结 合。所以重光照技术在图像处理、图像合成、3D渲染、虚拟现实等领域都有着 广泛的运用。经对现有技术的文献检索发现，基于图象得的重光照算法主要分为两个方 向， 一个是对远域光源(far-field light source)的重光照，例如加利福尼亚 大学伯克利分校创造技术学院的图形实验室Paul Debevec等人制作的一系列的 光照舞台(lightstage)就是用来实现远域光的成光照，这项技术一般用于对环 境光的重光照；另一个方向是对近域光源(near-field light source)的重光 照，2005年斯坦福大学Prade印Sen等人写的《Dual Photography》(《双向照 相技术》)，这项研究基于图像的近域光重光照技术可以实现一些人为指定的特殊 图案光照的模拟，但却不能模拟真实光源的光照。而对光源获取的相关技术文献的检索得到，已有的技术主要运用于基于模型 的重光照渲染中，没有能和基于图像的重光照结合起来，因此，还没有能在基于 图像的重光照算法中很好的引入对真实光源的渲染的方法。
技术实现思路
本专利技术针对上述现有技术的不足，提出了一种基于图像的光源获取及重光照 的方法，使用了投影仪和照相机系统，用光线扫描的方法来采集及图像，并且建 立真实光源与基本光源(投影仪光源)之间的对应关系，从而利用物体材质的反 射函数来计算新光源情况下物体的成像。本专利技术是通过如下技术方案实现的，本专利技术包括如下步骤步骤一，投影仪采用光线扫描的方法投射出基本光源，基本光源投射到到物 体上，由照相机捕捉物体的反射光并采集基图像，建立基本光源的出射光线与物 体表面的出射光线的对应关系；歩骤二，利用单应性矩阵建立照相机视角和投影仪视角图像的点点对应关 系，在基本光源和真实光源照射下，由照相机分别采集材质均匀的漫反射平面的 照片，建立真实光源和基本光源之间的对应关系，其中，基本光源与步骤一的基 本光源是同一个光源，真实光源是需要模拟的光源；步骤三，将歩骤一中得到的每根光线对应的基图像与步骤二得到的真实光源 与基本光源的对应关系相乘，并把所有图像叠加起来获得重光照的结果。步骤一中，所述投影仪采用光线扫描的方法透射出射光线到物体上，由照相 机捕捉物体的反射光并采集基图像，具体如下首先，投影仪按顺序依次投出一定数目白色象素点集合方块，象素点数由所 需的精细度来定，越精细单次投出的象素点越少，每一次投射的白色象素点集合 块代表一根基本光源(投影仪光源)出射光线，投射到物体上，经物体反射；然后，由照相机捕捉反射光，完成基图像的采集，并通过调节照相机的光圈 和曝光时间來消除投影仪的底光对基图像的影响，投影仪的底光是指在投影黑色 像素时仍然有的亮光。歩骤一中，所述建立基本光源的出射光线与物体表面的出射光线的对应关 系，具体如下根据照相机采集基图像和投影仪依次投射的白色象素点集合块， 建立入射光线和出射光线的一一对应应关系，以及入射光线和出射光线光强(色 彩)上的对应反射比例关系，具体如下丄c—" (a.,尺)=A—尸(、，少p。( ，>v, &'尺)，其中，。(jCp，力,^,尺)为物体的反射函数，(、，力)记录的是在投影仪 上控制出射光线的白色象素点集合块的坐标，(&,尺)记录的是出射光线在基图像中的成像坐标，其中，A^(、,^)记录了投影仪投出的入射光线投向物体表面的的光强(色彩)和对应的投影仪坐标，；p—。(JC。,尺)记录了照相机捕捉到的从物体表面反射出的出射光线的光强(色彩)和对应的相机坐标。步骤二中，所述利用单应性矩阵建立照相机视角和投影仪视角图像的点点对 应关系，具体为-首先用投影仪投出一个棋盘格图像，由照相机捕捉棋盘格在采集平面上的成像，然后，使用0penCV (开源计算机视觉库)来查找到原始棋盘格和棋盘格在 采集平面上成像的对应角点，对于每一对互相匹配的四边形面片，确定这两个面 片间的单应性矩阵，根据所有匹配面片间的单应性矩阵，建立投影仪和照相机平 面之间的几何映射，并利用所得这些单应性矩阵，建立从采集平面反射出来的光 线和投影仪投出的光线的一一对应关系(、，>>p) —,义)。步骤二中，所述在基本光源和真实光源照射下，由照相机分别采集材质均匀 的漫反射平面的照片，建立真实光源和基本光源之间的对应关系，包括如下具体 步骤首先，分别采集基本光源(即投影仪)和真实光源照射采集平面的成像，具体为先用投影仪投出全屏的白色光，由照相机捕捉采集平面上的图像，然后移 除投影仪，在同样的位置投射出需模拟的真实光源，由相机捕捉此时采集平面上 的图像；然后，利用之前求出的单应性矩阵将基本光源与真实光源的成像映射回投影 仪视角，即将照相机捕捉到的出射光线的的坐标对应回投影仪对应入射光线的坐标；最后，采集完图像后，对采投影仪在采集平面上的成像以及采集真实光源在 采集平面上的成像，利用歩骤一得到的光源入射光线和平面出射光线的一一对应 关系，建立采集平面对投影仪光源的反射方程，具体如下 丄w、(A,X;^丄,i(、，力)/H(、,々,A,jO，建立采集平面对真实光源的反射方 程，具体如下；,_,(^,义)=^—,(JCp，、)U5,、,A,义)，其中，-p表示投影 仪，-r表示真实光源，-s表示采集平面，Z,一p(JCp,^)表示投影仪投出的入射光 线投向物体表面的的光强、色彩和对应的投影仪坐标，Z,—,(Xp,^)表示真实光源 投向物体表面的的光强、色彩和对应的投影仪坐标，上述两式中,(xp，>v^，>0这一项是相同的，均为采集平面的反射函数，由上述两式获得真实光源与基本光源的对应光强关系，具体如下, 、A—,(、，^) 丄,—,Op，^)/w(^，^，^'^) A十,(&,少c)P(X ， _y ) = -——^~ :- -^——^-:-。歩骤三中，所述利用反射方程，将每根光线对应的基图像乘上真实光源与基 本光源的对应关系，最终再把所有图像叠加起来，就得到了重光照的结果，具体如下首先，真实光源的每根入射光线在物体上的光照效果利用如下反射方程来表示ie+。(xc，>g = z^(xp,:^)y;—。(Xp,^,Xc,尺)，其中'-0表示用于重光照物体的反射函数，并对此方程能做如下转化A—,_。 (X,尺)=丄,—r (xp ，力)_/;_。 (xp ，力，xc, _yt.)=p(、 ，,) A本文档来自技高网...

【技术保护点】
一种基于图像的真实光源获取及重光照的方法，其特征在于，包括如下步骤：　步骤一，投影仪采用光线扫描的方法投射出基本光源，基本光源投射到到物体上，由照相机捕捉物体的反射光并采集基图像，建立基本光源的入射光线与物体表面的出射光线的对应关系；　步骤二，利用单应性矩阵建立照相机视角和投影仪视角图像的点点对应关系，在基本光源和真实光源照射下，由照相机分别采集材质均匀的漫反射平面的照片，建立真实光源和基本光源之间的对应关系，其中，基本光源与步骤一的基本光源是同一个光源，真实光源是需要模拟的光源；　步骤三，将步骤一中得到的每根光线对应的基图像与步骤二得到的真实光源与基本光源的对应关系相乘，并把所有图像叠加起来获得重光照的结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨旭波，肖双九，陈一帆，丁晓东，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31