一种室外场景光照参数恢复装置及其工作方法制造方法及图纸

本发明专利技术公开了一种室外场景光照参数恢复装置及其工作方法。该装置由一台计算机和一台摄像机构成。其基本工作方法是由摄像机拍摄室外场景的图像或视频流，输入至计算机，由计算机进行处理，然后输出场景的光照参数的恢复结果。该过程分为预处理阶段和在线阶段。该装置的工作原理是任意一张室外场景图像均可表示成太阳光和天空光基图像的线性组合，从而将图像中太阳光和天空光入射光亮度值的恢复问题归结为一个可实时求解的最优化问题。该方法不需要场景的三维几何信息和材质信息，可实时获取室外场景中的太阳光和天空光入射光亮度值。本方法除了可以直接用于增强现实系统，还可用作室外场景视频序列处理如图像分割、模式识别等的预处理。

【技术实现步骤摘要】

本专利技术涉及室外场景光照参数恢复，尤其涉及。
技术介绍
E. Nakamae于1986年首次提出将一个计算机生成的虚拟物体合成到真实场景的 照片中[NHIN86]。作者通过用户简单交互场景中一些漫射材质的阴影点和非阴影点建立方 程组分别求解出太阳光和天空光的红、绿、蓝色道的数值，再用恢复出来的这两个光源绘制 虚拟物体，使虚拟物体和真实照片的光照看起来一致。这种方法对于一帧或者几帧图像的 光照恢复尚具可操作性，对于在线的视频流则无法进行交互操作，从而完全无法进行处理。 此后，由于场景的外貌很大程度上受到入射光照的影响，在逆向绘制、从明暗恢复形状以及 本征图像分析等领域，都有一些获取光照参数的工作。下面对这些方法进行简单的介绍。 1、逆向绘制 在逆向绘制中，为了避免直接求解的复杂性，[LDR2000]采用手工测量的方法获得室内场景中光源的位置、颜色和强度大小。借助于仪器，这种方法可以获得较为准确的光照参数。但是显而易见，这种方法对于获取室外光照是不可行的。为了获得复杂场景和复杂光照环境下的光照参数，[DYB98]提出一种基于图像的方法。该方法把一个镜面球放入场景中来获得镜面球所在处的全向(360° )入射光，通过对镜面球拍摄若干张曝光度不同的图像，可以获得场景的全向的高动态范围的光照，把这幅图像映射到球面或者立方体上就可以对虚拟物体进行绘制。这种基于图像的光照环境的获取方法在绘制算法中得到了广泛的应用，极大地方便了复杂环境下光照环境的获取。但是，这种方法并不适合于恢复室外场景的光照环境。原因有两个1)、室外光照中，晴朗天气下太阳光的强度非常大，对现有相机而言，即使采用最小曝光速度，太阳在镜面球上的反射光仍然会过饱和，难以恢复太阳光的正确亮度，导致光照恢复的失败。2)、室外场景中经常有云飘过，或者有微风拂过，这样难以保证用不同曝光度拍摄的多张照片的像素是完全静止或者是完全对齐的，因此获得的高动态范围图像往往不准确。 2、基于物理的方法 图像里一个物体的外貌是由物体表面的材质属性(BRDF)，物体几何以及光照共 同决定的。如果已知场景的几何和材质属性，则可以求解场景的光照。这种基于物理的求 解方法往往利用图像像素的亮度信息、阴影、关键点等来求取光照参数。采用可控光源， [NKGR06]将一张场景图像分解成两张图像，分别为直射光照射下的场景图像和全局光照 下的场景图像。此外，在sh即e from shading中也有一些工作恢复场景的光照参数，如 [SJ08]。上述基于物理模型的光照求解方法在室内环境下如可控的实验室内能取得令人满 意的效果。但是，由于这些方法大都需要场景的三维建模，因此不适合于室外场景的光照分 析 3、本征图像分析 近年来，本征图像分析受到越来越多的计算机图形和计算机视觉研究者的关注 [TFA05]。本征图像分解技术将一张自然图像分解成一张材质图像(本征图像)和一张光 照图像，其中光照图像是光照参数与场景几何的乘积。本征图像分析的主要用途是提取出 场景中光照不变的量即材质属性，可以允许用户对材质图像做进一步的编辑操作等。由于 光照图像是光照参数与场景几何的乘积，因此这种方法并不能显式地求解出光照参数。此 外，现有的从单幅图像里恢复场景的本征图像技术还不够鲁棒和精确，而且计算复杂度较 高，不能实时进行。 4、室外场景的光照分析 近年来，室外场景的光照分析越来越受到人们的重视，[SMPR07]将一个静态场景 随时间流逝而拍摄的视频体分解成3幅材质图像，两个基曲线，以及一个可压縮的阴影表 示，视频体里任意张图像都可以由上述要素重构出来。由于受到假设条件的影响，即认为在 晴朗天气条件下，所有像素的外貌向量在差了一个偏移量和一个尺度因子的意义下是相同 的，因此这种方法只适合用于晴朗天气下的视频分解。进一步的，[SRM08]提出将室外光源 的颜色分布表示为三维线性空间中的一个二维线性子空间，通过阴影提取等方法获得场景 光源的色度。上述两种方法对室外场景图像进行了分析，但是没有求出明确的光照参数且 没有用光照参数对虚拟物体进行绘制。此外，由于这两种方法是在视频体上进行求解的，因 此只适用于对视频进行后处理，不能在线实时处理视频。 与本专利技术最为相关的工作是[AJM06]。这篇文章的目标也是向一个真实的场景中 添加虚拟物体，当场景的光照变化时能实时的改变虚拟物体的光照。该工作把太阳光模拟 为平行光，天空光模拟为泛光，通过对场景建立3D模型，可以确定出图像上每一个像素所 对应的场景点，将室外光照模拟为Phong模型，建立方程组求解太阳光和天空光的值。通过 在离线阶段进行一系列的预处理，并采用基于图像的绘制方法，使得对虚拟物体的嵌入可 以达到实时的效果。这种方法的缺点是需要已知场景的三维模型，而如前所述室外场景的 建模非常困难，因此在实际应用中具有很大的局限性。 室外场景的光照分析主要存在两个方面的挑战(1)几何复杂性。与室内场景相 比，室外场景的规模要大得多。另外，室外场景通常包括一些造型复杂如树木、地形等难以 建模的物体。而现有的室内光照算法一般都要求已知场景的三维表示，因此室内的光照分 析方法并不适合于室外场景的光照分析。(2)光照复杂性。室外场景中的自然光源(太阳 光和天空光)具有一些特殊的属性，如室外场景的光照受云层、天气条件的影响较大，而且 不能人为控制，由于场景结构复杂直接根据精确的光照明模型来反求光照参数难以进行， 更难以满足实时性要求。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种室外场景光照参数恢复装置及 其工作方法。该装置简便易行，由一台计算机及一台摄像机构成。该方法在不需要已知三 维场景的几何信息和材质信息的前提下，能实时地获取室外场景的光照参数，使得计算机 生成的虚拟物体可以无缝地融合到任意时刻的真实场景的图像序列中。光照参数是指太阳 光和天空光的亮度值。 —种室外场景光照参数恢复装置，包括计算机和摄像机，计算机和摄像机通过数据线连接。 —种室外场景光照参数恢复装置的工作方法，方法如下 1)摄像机拍摄场景的一张阴天图像，作为天空光基图像，并输入计算机； 2)根据天空光基图像，采用交互的方式确定天空光亮度值的单位； 3)摄像机拍摄任意天气情况下场景的图像序列，实时传送至计算机，计算机对当前帧进行处理； 4)通过权重函数计算当前帧的每一像素所对应的权重值； 5)根据当前帧所有像素所对应的权重值计算天空光亮度值； 6)当前帧图像的像素值减去天空光亮度值与天空光基图像对应像素值的乘积，得 到当前帧图像对应像素的太阳光分量值； 7)判断当前帧是否为图像序列的第一帧？是，则令太阳光亮度值为l，太阳光分 量值即为太阳光基图像；否，则用当前帧图像的太阳光分量除以太阳光基图像得到太阳光 亮度值，通过当前帧图像的太阳光分量值，得到更新的太阳光基图像； 8)判断当前帧是否为最后一帧？是，工作结束；否，则下一帧作为当前帧，重复步 骤(3)至(7)。 具体介绍本专利技术的五个方面 1)室外光照场景下的图像线性表示模型 在太阳光为平行光源，天空光为均匀分布的面光源的假设下，室外场景中任一三 维点x处的光亮度L(x， A)都可表示成由太阳光照射的亮度部分C，(x， A)与由天空光照本文档来自技高网...

【技术保护点】
一种室外场景光照参数恢复装置，包括计算机和摄像机，其特征在于，计算机和摄像机通过数据线连接。

【技术特征摘要】
一种室外场景光照参数恢复装置，包括计算机和摄像机，其特征在于，计算机和摄像机通过数据线连接。2. 权利要求1所述的一种室外场景光照参数恢复装置的工作方法，其特征在于，工作 方法如下1) 摄像机拍摄场景的一张阴天图像，作为天空光基图像，并输入计算机；2) 根据天空光基图像，采用交互的方式确定天空光亮度值的单位；3) 摄像机拍摄任意天气情况下场景的图像序列，实时传送至计算机，计算机对当前帧 进行处理；4) 通过权重函数计算当前帧的每一像素所对应的权重值；5) 根据当前...

【专利技术属性】
技术研发人员：秦学英，刘艳丽，彭群生，邢冠宇，
申请(专利权)人：山东大学，
类型：发明
国别省市：88[中国|济南]