一种基于物体光照编辑的方法技术

本发明专利技术涉及增强现实领域，提供了一种基于物体的光照编辑方法，首先提出了一种基于物理渲染技术，构建一套大规模、高质量的数据集，用于物体光照编辑任务；将构建的合成数据及其相应的光照信息作为网络的输入，并通过多尺度注意力机制来学习场景中真实物体的阴影信息，为场景中插入的虚拟物体的阴影生成提供参考和指导；通过利用光照交换机制，有效地实现场景中插入的虚拟前景物体光照信息与背景光照信息进行交换，实现前景与背景的光照融合；最后通过生成式对抗学习实现更加真实地场景光照和谐图像并输出。本发明专利技术能够避免任何逆渲染技术且简单、鲁棒、有效地实现物体光照编辑，实现场景的光照和谐。场景的光照和谐。场景的光照和谐。

【技术实现步骤摘要】
一种基于物体光照编辑的方法


[0001]本专利技术属于增强现实领域，尤其涉及一种基于物体光照编辑的方法，直接采用端到端的算法实现物体的光照编辑。

技术介绍

[0002]目前，常用的基于物体的光照编辑方式分为以下几种：一、利用传统的方法，通过对物体和场景的几何、材质和光照信息建模，实现物体的重光照，如在论文“Karschet al”中所提出的技术，尽管该方法能够获得较好的编辑效果，但是其严重依赖于物体和场景的几何、光照等逆渲染信息，一旦几何、光照等信息估计不准就会造成较差的光照编辑结果；二、利用深度学习技术实现物体和场景融合，这类方法主要集中在处理场景中的物体与背景的色调一致性问题，该类方法只考虑到物体与场景的色调一致性，未能从真正意义上解决对物体的光照信息(物体的色温，光照强度及阴影)进行编辑。现有技术中，缺乏一种避免任何逆渲染技术且简单、鲁棒、有效地实现物体光照编辑的方法。

技术实现思路

[0003]本专利技术就是为了解决现有技术地不足，提出了一种基于物体光照编辑的方法，解决了现有的方法对物体的光照编辑泛化能力不强、严重依赖于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像物体的光照编辑方法，其特征在于，包括：步骤1、基于物理渲染构建大规模、高质量的光照数据集；步骤2、将每种数据按照设计的网络输入要求进行划分，最终针对每种数据，获得相应的6元组形式的网络输入；步骤3、提取输入的6元组数据特征，并通过多尺度注意力机制来学习场景中真实物体的阴影信息，从而推导出虚拟物体的合理阴影；步骤4、通过光照交换机制，将插入的虚拟物体的光照信息与其所在的背景的光照信息进行交换并融合；步骤5、根据步骤3和步骤4所述的虚拟物体的合理阴影信息、光照融合信息合成得到物体光照编辑后的光照和谐图像并输出。2.根据权利要求1所述的基于图像物体的光照编辑方法，其特征在于，所述步骤1包括以下子步骤：步骤1.1、首先分别从Laval数据集和互联网上下载并获取具有各种真实场景的HDR全景图数据若干；同时，在互联网上选取7个不同的三维模型；步骤1.2、对于每张全景图，截取任意8个有限的视角，分别作为不同的光照数据背景图像；步骤1.3、根据步骤1.1和步骤1.2所述的不同的三维模型和不同场景的背景图像，通过基于物理的渲染将不同的三维模型在各种光照条件下进行渲染并嵌入到背景图像中得到光照合成图像。3.根据权利要求2所述的基于图像物体的光照编辑方法，其特征在于，所述步骤2包括以下子步骤：步骤2.1、根据步骤1所述的光照数据集，分别对每种数据进行物体的掩模、背景的掩模、物体和背景对应的光照图像以及光照和谐图像的获取；步骤2.2、根据步骤2.1所述的各个数据分量，分别对每种数据进行6元组组合，最终获取每种数据的6元组形式的网络输入，数据6元组包括非光照和谐图像、物体掩模、背景掩模、物体...

【专利技术属性】
技术研发人员：肖春霞，鲍中运，罗飞，
申请(专利权)人：武汉大学，
类型：发明
国别省市：