一种场景动态光照实时采集方法及装置制造方法及图纸

本发明专利技术公开了一种场景动态光照实时采集方法及装置，涉及混合现实和增强现实技术领域，本发明专利技术包括调节竖直支架的长度，调节连接镜面球的竖直支架与各相机竖直支架的横杆的长度，使镜面球整体清晰呈现在所有相机的拍摄画面中；利用各相机对镜面球进行拍摄，并调节相机曝光度，得到各相机不同曝光度的图片；将各相机曝光度设置为一个特定的曝光度值，对镜面球进行在线实时拍摄，得到实时LDR图；将图片和实时LDR图传输至数据处理终端，通过数据处理终端对各图片和实时LDR图进行处理分析，解析得到场景动态光照信息，本发明专利技术实现了对场景光照的动态实时捕获，使得用捕获的光照绘制虚拟物体，将虚拟物体融入真实场景以获得具备较高真实感的虚实融合效果。

A method and device for real-time collection of scene dynamic illumination

The invention discloses a real-time collection method and device of scene dynamic light, which relates to the technical field of hybrid reality and augmented reality. The invention includes adjusting the length of the vertical bracket, adjusting the length of the horizontal bar connecting the vertical bracket of the mirror ball and the vertical bracket of each camera, so that the mirror ball as a whole can be clearly displayed in the shooting pictures of all cameras; using each camera to shoot the mirror ball Take and adjust the exposure of the camera to get pictures with different exposure of each camera; set the exposure of each camera to a specific exposure value, take online real-time pictures of the mirror ball to get real-time LDR pictures; transfer the pictures and real-time LDR pictures to the data processing terminal to process and analyze the pictures and real-time LDR pictures through the data processing terminal to get dynamic light of the scene Illumination information, the invention realizes the dynamic real-time capture of scene illumination, so that the virtual object is drawn with the captured illumination, and the virtual object is integrated into the real scene to obtain the virtual reality fusion effect with a higher sense of reality.

【技术实现步骤摘要】
一种场景动态光照实时采集方法及装置
本专利技术涉及混合现实和增强现实
，更具体的是涉及一种场景动态光照实时采集方法及装置。
技术介绍
近年来，随着增强现实(AR)和混合现实(MR)技术的迅速发展，相关的应用越来越广泛，增强现实技术必须解决三大核心技术问题：几何一致性、光照一致性和合成一致性，其中光照一致性一直是AR研究领域的难题和挑战。光照一致性是指将虚拟世界的物体合成到现实环境中时，来自现实世界的光源与虚拟世界光照表达的一致性、现实物体与物体阴影的一致性、画面视觉效果的一致性。若光照无法保持一致，虚实融合后的效果则会产生不真实感，极大影响用户的体验。为了解决光照一致性问题，直观地我们需要准确地恢复现实世界的光照环境，并将其作为虚拟世界的光照环境用于渲染虚拟物体。因此，面对变化万千的现实世界，如何准确实时地采集和计算现实世界的光照环境成为增强现实应用中亟待解决的问题，尤其在实时性增强应用中尤为重要，例如现场直播类AR电视节目、高成本的AR电影特效、AR演唱会等等，在混合现实、增强现实领域。光照传感器是一种用来测量真实场景光照的仪器，但是该仪器仅能测量来自某一个方向的光照强度(例如太阳光的光强、某一个灯泡的光强等)，无法捕获整个场景的光照分布，然而在实际AR\VR应用中往往需要使用整个场景的光照分布信息对虚拟场景进行绘制，为此光照传感器无法采集到AR\VR应用所需要的光照。在电影电视节目制作领域，可通过镜面球采集场景的光照，该技术主要通过将镜面球固定在三角架上再通过相机拍摄该镜面球从而实现对于场景静态光照的采集，但是该方法主要用来采集场景中某一时刻的光照(即静态光照)，当场景中光照发生变化时就需要重新采集，因此无法捕获场景动态光照；另一方面，该方法目前还没有形成特定的装置。
技术实现思路
本专利技术的目的在于：为了解决通过镜面球采集场景光照时，只能采集场景静态光照，无法采集场景动态光照的问题，本专利技术提供一种场景动态光照实时采集方法及装置，实现对场景光照的动态实时捕获，使得用捕获的光照绘制虚拟物体，将虚拟物体融入真实场景以获得具备较高真实感的虚实融合效果。本专利技术为了实现上述目的具体采用以下技术方案：一种场景动态光照实时采集方法，包括如下步骤：S1：调节用于支撑镜面球和多个不同拍摄角度的相机的竖直支架的长度，调节连接镜面球的竖直支架与各相机竖直支架的横杆的长度，使得镜面球整体清晰呈现在所有相机的拍摄画面中；S2：利用各相机同时对镜面球进行拍摄，同时调节相机曝光度，得到各相机不同曝光度的图片；S3：将各相机曝光度设置为一个特定的曝光度值，对镜面球进行在线实时拍摄，得到实时LDR图；S4：将S2中拍摄得到的图片和S3中的实时LDR图传输至数据处理终端，通过数据处理终端对各图片和实时LDR图进行处理分析，解析得到场景动态光照信息。进一步的，所述S3中，特定的曝光度值的选择条件为：拍摄得到的实时LDR图中所有光源清晰可见。进一步的，所述S3中，对镜面球进行在线实时拍摄，具体为：保持各相机角度不变，以不小于50fps的速度，实时拍摄镜面球。进一步的，所述S4中的处理分析，具体为：S4.1：根据得到的图片生成各相机的高动态范围HDR图片序列；S4.2：检测各高动态范围HDR图片序列中的共同特征点，依据共同特征点对各高动态范围HDR图片序列进行匹配，合成最初环境光照图；S4.3：对最初环境光照图和各高动态范围HDR图片序列进行预处理以及图像分割，识别各图中光照的图像区域，并在最初环境光照图上进行标记；S4.4：根据实时LDR图、最初环境光照图和高动态范围HDR图片序列，计算得到场景中的实时光照数据和环境光照数据，最终得到场景动态光照信息。进一步的，所述4.1中的高动态范围HDR图片序列生成方法为：将场景中所有灯光调整至最亮和最暗时分别进行拍摄，得到各相机的最亮图片和最暗图片，进而得到各相机的高动态范围HDR图片序列，记为：(Env_brightingness1,Env_dark1)(Env_brightingness2,Env_dark2)……(Env_brightingnessn,Env_darkn)其中，n为相机个数，Env_brightingnessn为最亮图片，Env_darkn为最暗图片。进一步的，所述S4.2中以场景中具有明显几何特征信息的点作为特征点，检测各高动态范围HDR图片序列中共有的特征点作为共同特征点。进一步的，所述S4.2中合成最初环境光照图具体为：S4.2.1：设定采用相机1和相机2，根据各相机放置的角度，制作合成现实场景掩膜图；S4.2.2：根据现实场景掩膜图和匹配后的各高动态范围HDR图片序列，合成最初环境光照图，所述最初环境光照图为HDR图或立方体贴图，表示为：C＝A*alpha+B(1-alpha)其中，C表示最初环境光照图信息，alpha值来源于现实场景掩膜图，A、B分别为相机1和相机2的角度的环境光照图。进一步的，所述S4.3中预处理后，对预处理的图像进行图像分割操作，识别各图中光照的图像区域，并在最初环境光照图上标记为Dynamiclight_source。进一步的，所述S4.4中，计算得到场景中的实时光照数据，具体为：对实时LDR图进行亮度信息提取，获取其中的光源区域信息记为Dynamiclight_current，对比该曝光度值下的最初环境光照图的Dynamiclight_source，进行LDR-HDR光照信息的转换和分析，从而计算得到场景中的实时光照数据，包括光照位置、光照方向、光照颜色及光照强度。进一步的，所述S4.4中，计算得到场景中的环境光照数据，具体为：以高动态范围HDR图片序列中最亮图片为光照最亮值，最暗图片为光照最暗值，利用实时LDR图在光照最亮值和光照最暗值之间进行插值记为l，以l值动态实时更新场景中的环境光照数据。一种场景动态光照实时采集装置，包括数据处理终端、镜面球和不少于两个曝光度可调的相机，所述镜面球和各相机分别设置于对应的竖直支架上，各相机的竖直支架与镜面球的支架之间分别通过横杆连接，所述各竖直支架和横杆均为可伸缩杆，调节竖直支架与横杆的长度，使得镜面球整体清晰呈现在所有相机的拍摄画面中，数据处理终端与各相机之间进行数据通信，数据处理终端用于对各相机拍摄画面进行处理分析，得到场景动态光照信息。本专利技术的有益效果如下：1、本专利技术在混合现实、增强现实领域可实现对于场景光照的动态实时捕获，并用捕获的光照绘制虚拟物体，将虚拟物体融入真实场景以获得具备较高真实感的虚实融合效果；在电影特效领域，可用以捕获拍摄场景的光照，以制作各种影视特效；在虚拟现实领域，可使用捕获的光照绘制虚拟场景以获得具备较高真实感的虚拟绘制场景。2、本专利技术利用普通相机实现了场景动态变化的光照数据和环境光照数据的实时采集，不本文档来自技高网...

【技术保护点】
1.一种场景动态光照实时采集方法，其特征在于，包括如下步骤：/nS1：调节用于支撑镜面球和多个不同拍摄角度的相机的竖直支架的长度，调节连接镜面球的竖直支架与各相机竖直支架的横杆的长度，使得镜面球整体清晰呈现在所有相机的拍摄画面中；/nS2：利用各相机同时对镜面球进行拍摄，同时调节相机曝光度，得到各相机不同曝光度的图片；/nS3：将各相机曝光度设置为一个特定的曝光度值，对镜面球进行在线实时拍摄，得到实时LDR图；/nS4：将S2中拍摄得到的图片和S3中的实时LDR图传输至数据处理终端，通过数据处理终端对各图片和实时LDR图进行处理分析，解析得到场景动态光照信息。/n

【技术特征摘要】
1.一种场景动态光照实时采集方法，其特征在于，包括如下步骤：
S1：调节用于支撑镜面球和多个不同拍摄角度的相机的竖直支架的长度，调节连接镜面球的竖直支架与各相机竖直支架的横杆的长度，使得镜面球整体清晰呈现在所有相机的拍摄画面中；
S2：利用各相机同时对镜面球进行拍摄，同时调节相机曝光度，得到各相机不同曝光度的图片；
S3：将各相机曝光度设置为一个特定的曝光度值，对镜面球进行在线实时拍摄，得到实时LDR图；
S4：将S2中拍摄得到的图片和S3中的实时LDR图传输至数据处理终端，通过数据处理终端对各图片和实时LDR图进行处理分析，解析得到场景动态光照信息。


2.根据权利要求1所述的一种场景动态光照实时采集方法，其特征在于，所述S3中，特定的曝光度值的选择条件为：拍摄得到的实时LDR图中所有光源清晰可见。


3.根据权利要求1所述的一种场景动态光照实时采集方法，其特征在于，所述S3中，对镜面球进行在线实时拍摄，具体为：保持各相机角度不变，以不小于50fps的速度，实时拍摄镜面球。


4.根据权利要求1所述的一种场景动态光照实时采集方法，其特征在于，所述S4中的处理分析，具体为：
S4.1：根据得到的图片生成各相机的高动态范围HDR图片序列；
S4.2：检测各高动态范围HDR图片序列中的共同特征点，依据共同特征点对各高动态范围HDR图片序列进行匹配，合成最初环境光照图；
S4.3：对最初环境光照图和各高动态范围HDR图片序列进行预处理以及图像分割，识别各图中光照的图像区域，并在最初环境光照图上进行标记；
S4.4：根据实时LDR图、最初环境光照图和高动态范围HDR图片序列，计算得到场景中的实时光照数据和环境光照数据，最终得到场景动态光照信息。


5.根据权利要求4所述的一种场景动态光照实时采集方法，其特征在于，所述4.1中的高动态范围HDR图片序列生成方法为：
将场景中所有灯光调整至最亮和最暗时分别进行拍摄，得到各相机的最亮图片和最暗图片，进而得到各相机的高动态范围HDR图片序列，记为：
(Env_brightingness1,Env_dark1)
(Env_brightingness2,Env_dark2)
……
(Env_brightingnessn,Env_darkn)
其中，n为相机个数，Env_brighti...

【专利技术属性】
技术研发人员：邢冠宇，刘艳丽，袁霞，罗天，
申请(专利权)人：四川大学，成都索贝数码科技股份有限公司，
类型：发明
国别省市：四川;51