本发明专利技术公开了一种视频场景的虚实光照融合方法，包括如下步骤：从视频中按照相等的时间间隔抽取视频关键帧，然后分别以视频关键帧图像中的天空、地面以及垂直表面作为线索，估计出每个线索计算推断得到的太阳所在位置的概率分布图，并联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图；通过光照参数滤波算法，利用视频关键帧的光照估计结果，修正视频非关键帧的光照估计结果，实现视频场景的虚实光照融合。其有效平滑了生成虚实融合视频的光影效果。
【技术实现步骤摘要】
本专利技术涉及图像处理和增强现实技术，具体地说是。
技术介绍
虚拟现实是近年来不断发展的研究领域，通过以计算机科学与技术为核心的高新科技，生成与真实环境在视、听、触感等方面高度近似的逼真虚拟环境，使用户在虚拟环境获得身临其境的感受和体验。传统的虚拟现实技术主要强调虚拟场景建模和虚拟场景表现，较少将虚拟环境直接融入到客观存在的真实世界，这在一定程度上影响了虚拟现实技术的发展和应用。增强现实是虚拟现实的进一步拓展，借助必要的硬件和软件设备，使计算·机生成的虚拟景物与客观存在的真实环境共存于同一个增强现实系统中，从感官和体验效果上给用户呈现出虚拟景物与真实环境融为一体的增强现实环境。增强现实是正在迅速发展的新研究方向，该方向的关键问题包括虚拟对象与真实场景的有效融合。因此，基于视频的虚实融合场景，及其光照效果生成技术不仅成为虚拟现实和增强现实方向的技术发展趋势，也是图形学、计算机视觉、视频处理、模拟仿真等相关领域方向国际发展前沿的研究热点。在虚实融合场景中，影响虚实融合逼真效果的重要方面就是虚拟对象光照效果与真实场景光照信息的逼近程度。为了使计算机生成的虚拟对象具有真实感，达到与真实场景有效融合的效果，需要保持虚拟对象与真实场景间几何和光照的一致性。其中光照一致性是指，根据真实环境中的光照分布和虚拟对象的表面材质，计算虚拟对象的表面光照效果，以及虚拟对象在真实场景中生成的虚拟阴影效果。为了使虚拟对象的光照效果能够接近真实场景的光照效果，现有的基于视频的虚实融合场景，及其光照效果生成技术主要通过人工在真实场景中设置一些光学标志物来采集真实场景的光照信息，利用光学标识物采集得到的光照信息，表示真实场景的光照条件，并且确定虚拟对象的光照参数，进而完成虚拟对象表面光照效果和虚拟阴影效果的计算。近年来，一些基于场景理解的虚实融合方法，力求从真实场景素材本身的几何特征与光照特征推断出真实场景的几何信息与光照信息，并建立光照模型表示真实场景的光照条件，从而可以不借助任何光照信息采集设备，完成虚实融合场景及其光照效果的生成。但目前，基于场景理解的虚实融合方法还不能满足虚实无缝融合视频处理的要求。在视频真实场景中，场景对象与真实光照条件随时间发生变化，会影响基于单帧图像的光照条件估计，而现有的虚实融合技术往往忽略了视频帧的虚实融合光照效果差异性，从而导致虚实融合场景的光照效果抖动现象，大大降低了虚实融合光照效果的逼真性。近年来，一些视频场景的虚实光照融合方法都力求从场景素材本身推断出其中蕴含的光照信息，并建立光照模型，从而不借助任何光照信息采集设备，完成虚实光照融合。2006年，丹麦奥尔堡大学的Tommy Jensen等人，提出了一种无标识物的增强现实虚实光照融合方法，该方法基于户外场景，利用真实物体的表面图像获取真实环境的光照信息，针对虚拟物体与真实光照条件的不一致现象，给出了虚拟物体表面光照效果的修正方法，能够使虚拟物体的光照效果接近真实环境的光照条件，完成虚实光照融合。但该方法只能处理单个真实场景光源，如太阳，且需要已知场景的粗略三维模型和高动态范围环境图。2009年,卡耐基梅隆大学的Jean-Francois Lalonde等人,提出了一种基于视频图像剪贴库的虚实光照融合方法。利用网络摄像头拍摄的延时视频序列，构建了拥有大量图像数据的“视频图像剪贴库”，针对库中的每幅图像进行辐射度和几何上的标定，并计算出视频序列图像中每一帧的高动态范围环境图。基于已知几何信息及光照信息的“场景图像剪贴库”，给定一副已具有光照效果的二维图像，可以在库中搜索出与其光照条件最匹配的场景，进行场景与对象的融合；还可以用库中的场景重光照三维图形，即完成虚实融合的效果。2009年，浙江大学的刘艳丽等人还提出了一种针对静态户外场景的虚实光照融合方法，该方法的最大优势在于无需预知场景的几何、材质及纹理信息。对一个静态户外场景，用固定视角的相机经过长时间拍摄得到了涵盖场景不同光照情况的图像数据集。通过学习的方法从中得到分别依靠太阳光和天空光产生的阴影效果作为基图像来反映场景的几何属性及材质属性进行光照估计，并完成虚实光照融合，但是该方法只能处理静态固定视角的视频。 2011年,伊利诺伊大学厄巴纳一香槟分校的Kevin Karsch等人提出了一种需要用户交互的虚实光照融合方法。该方法通过用户手工标注出场景中一些重要的几何信息以及场景中光源的位置作为输入，能够恢复出场景基本的几何模型，建立场景的光照模型，并能够计算出场景中反射表面的材质以及相机参数，进而可以完成虚实光照融合的处理。该方法的虚实光照融合效果十分逼真，不但能够完成虚拟物体在真实场景中的光影绘制，并且对于真实物体的阴影投射到虚拟物体上，以及虚拟物体的阴影投射到真实物体的情况也能够完成很好的融合绘制效果。但该方法需要用户参与程度较大，影响了该方法的自动化程度，并且针对的场景大部分为室内真实场景。综上所述，目前的虚实光照融合技术大多需要预先获取场景光照信息，或者需要使用特殊设备来获取场景的高动态范围图像，并需要已知场景的部分几何信息甚至是全部三维模型，对真实场景的光照参数及几何属性估算的正确与否直接影响到虚实融合的结果。进一步地，从视频处理而言，现有的技术大多忽略了视频帧与帧之间的关联性，在逐帧进行光照估计时，单帧的估算信息难免存在差异，从而造成生成视频场景中虚拟物体光影效果的不连续性，即视频中相邻帧在虚实光照及虚实阴影一致上存在着差异。
技术实现思路
根据上述实际需求和关键问题，本专利技术的目的在于本专利技术提出，在保持视频帧间关联关系的前提下，完成对场景的光照估计以及虚实光照融合，能在场景中绘制虚拟三维物体并生成一定的虚实光照无缝融合效果。为实现本专利技术目的而提供的，该方法包括以下步骤步骤S100，从视频中按照相等的时间间隔抽取视频关键帧，然后分别以视频关键帧图像中的天空、地面以及垂直表面作为线索，估计出每个线索计算推断得到的太阳所在位置的概率分布图，并联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图；步骤S200，通过光照参数滤波算法，利用视频关键帧的光照估计结果，修正视频非关键帧的光照估计结果，实现视频场景的虚实光照融合。较优地，作为一种可实施例，所述步骤SlOO包括如下步骤步骤S110，首先将输入视频，按照预设的时间间隔分为多段等时间间隔的视频区间,对每一个视频区间从中抽取关键帧；步骤S120，利用图像分割的方法，分割出关键帧中天空、地面以及垂直建筑物部分；步骤S130，将分割出关键帧图像中的天空部分，建立概率模型，由天空的明暗程度推断出太阳所在位置的概率分布图； 将分割出关键帧图像中的地面部分，并提取出地面部分的阴影轮廓线，建立概率模型，由地面阴影线的走向推断出太阳所在位置的概率分布图；将分割出关键帧图像中的垂直建筑物部分，建立概率模型，由建筑物表面受太阳光照的明暗程度推断出太阳所在位置的概率分布图；步骤S140，联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图。较优地，作为一种可实施例，所述步骤S130包括如下步骤通过视频图像中的主体部本文档来自技高网...
【技术保护点】
一种视频场景的虚实光照融合方法，其特征在于，包括如下步骤：步骤S100，从视频中按照相等的时间间隔抽取视频关键帧，然后分别以视频关键帧图像中的天空、地面以及垂直表面作为线索，估计出每个线索计算推断得到的太阳所在位置的概率分布图，并联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图；步骤S200，通过光照参数滤波算法，利用视频关键帧的光照估计结果，修正视频非关键帧的光照估计结果，实现视频场景的虚实光照融合。
【技术特征摘要】
1.一种视频场景的虚实光照融合方法，其特征在于，包括如下步骤 步骤S100，从视频中按照相等的时间间隔抽取视频关键帧，然后分别以视频关键帧图像中的天空、地面以及垂直表面作为线索，估计出每个线索计算推断得到的太阳所在位置的概率分布图，并联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图； 步骤S200，通过光照参数滤波算法，利用视频关键帧的光照估计结果，修正视频非关键帧的光照估计结果，实现视频场景的虚实光照融合。2.根据权利要求I所述的视频场景的虚实光照融合方法，其特征在于，所述步骤SlOO包括如下步骤 步骤S110，首先将输入视频，按照预设的时间间隔分为多段等时间间隔的视频区间，对每一个视频区间从中抽取关键巾贞； 步骤S120，利用图像分割的方法，分割出关键帧中天空、地面以及垂直建筑物部分；步骤S130，将分割出关键帧图像中的天空部分，建立概率模型，由天空的明暗程度推断出太阳所在位置的概率分布图； 将分割出关键帧图像中的地面部分，并提取出地面部分的阴影轮廓线，建立概率模型，由地面阴影线的走向推断出太阳所在位置的概率分布图； 将分割出关键帧图像中的垂直建筑物部分，建立概率模型，由建筑物表面受太阳光照的明暗程度推断出太阳所在位置的概率分布图； 步骤S140，联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图。3.根据权利要求2所述的视频场景的虚实光照融合方法，其特征在于，所述步骤S130包括如下步骤 通过视频图像中的主体部分天空像素S、地面像素G和垂直表面像素V来推断出太阳位置的概率分布； 视频场景的光照情况I可以通过两个参数来表示 =ψ ,其中θ s表示太阳的天顶角，Δ代表示太阳相对于...
【专利技术属性】
技术研发人员：陈小武，赵沁平，杨梦夏，王珂，金鑫，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。