一种基于语义和材质解析与合成的复杂物体图像重光照方法技术

本发明专利技术提出了一种基于语义和材质解析与合成的复杂物体图像重光照方法，将语义和材质解析与合成、块匹配算法以及局部和全局光照迁移模型相结合。首先利用语义解析把物体图像分割成物体组件，以便通过材质解析寻找到与物体组件材质一致的参考物体图像，然后利用块匹配算法对各参考物体图像进行变形，使之与输入物体图像的各组件形状相匹配；再对输入物体图像的各组件和各变形参考图像经过局部和全局仿射变换之后进行光照迁移，完成输入物体图像的各组件重光照，最后利用语义解析将各重光照组件进行合成，得到重光照后的物体图像。该方法很容易通过软件实现，本发明专利技术可广泛应用推广到计算机视觉、视觉设计、数字娱乐和电影制片等中。

A Reillumination Method for Complex Object Image Based on Semantic and Material Analysis and Synthesis

【技术实现步骤摘要】
一种基于语义和材质解析与合成的复杂物体图像重光照方法
本专利技术属于可视计算、计算机视觉领域，特别是复杂物体光照迁移方法，具体地说是基于语义和材质解析与合成的复杂物体光照迁移方法。
技术介绍
基于物体图像的无3D模型的逼真虚拟重光照已经在可视计算领域广泛地研究，并且在视觉设计、数字娱乐和电影制片等方面得到广泛地应用。2016年，Jin和Tian等人提出了一种简单的物体照明转移方法[参见XinJin,YuluTian,ChaochenYe,JingyingChi,XiaodongLi,GengZhao.ObjectImageRelightingthroughPatchMatchWarpingandColorTransfer.The16thInternationalConferenceonVirtualRealityandVisualization(ICVRV),Hangzhou,China,23-25September,pp.235-241,2016.]。2009年比利时哈瑟尔特大学的Haber等提出一种基于图像的静态对象重光照方法。他利用多视立体方法通过多幅不同视点和不同光照条件下图像来计算对象的几何结构，然后用基于小波的全频域重光照框架来计算每幅图像的入射光和表面顶点的反射属性。该方法需要利用多视角图像获取静态对象精确几何信息来进行重光照，而一般运动对象的精确几何信息难以获取，因此难以推广到视频运动对象的重光照；此外，该方法在分解材质和环境光颜色时效果不佳[参见TomHaber,ChristianFuchs,PhilippeBekaert,Hans-PeterSeidel,MichaelGoeseleandHendrikP.A.Lensch.RelightingObjectsfromImageCollections[A].Proc.CVPR[C],June2009]。基于物体图像的虚拟重光照可以分为以下两类：简单物体图像重光照和复杂物体图像重光照。除了3D重建理论，另外的研究方向是利用参考物体图像更实际的应用到现实世界的应用中。在此方向中，基于多幅物体参考图像的物体重光照是最为普遍的研究方向。在简单物体图像重光照中，在参考物体图像库很容易找到与输入物体图像几何形状相似的参考物体图像。因此，简单物体图像的重光照方法通常采用两幅参考物体图像。然而，复杂的物体图像很难找到在参考物体图像库找到与其几何形状相似的参考物体图像，上述的方法就不再适用。本专利技术从物体语义解析与合成方法中获得了灵感，通过将复杂输入物体图像进行语义分割成各部分组件分别进行重光照，再将重光照的各部分组件进行语义分析合成得到重光照结果。不同于简单物体如杯子具有相同的材质，复杂物体如汽车的各部分组件由不同的材质构成。选择不同材质的参考物体图像对输入物体图像光照迁移有较大影响，本专利技术采用物体材质解析，对组成复杂物体的各部分组件的材质进行分析，进而在参考物体图像库中寻找到材质相同的参考物体图像，如此便可减少材质对后期光照迁移处理的影响。
技术实现思路
本专利技术要解决技术问题为：克服现有技术的不足，提供一种基于语义和材质解析与合成的复杂物体光照迁移方法，该方法能够有效的处理复杂物体图像重光照，降低专利技术成本，而且很大程度提高复杂物体图像重光照效果，大大节约运行时间，提高运行效率。本专利技术采用的技术方案为：一种基于语义和材质解析与合成的复杂物体光照迁移方法，其特征在于实现步骤：(1)首先，将由不同材质组成的复杂物体图像通过物体语义解析分割成物体组件图像A和B，再利用物体材质解析在参考物体图像库中分别选定与输入物体组件图像材质相匹配的参考图像A1(与A光照状态相似)、A2(A的参考光照)和B1(与B光照状态相似)、B2(B的参考光照)，其中A1和A2、B1和B2分别是同一物体图像；(2)其次，将选定的参考物体图像A1、A2和B1、B2分别与输入物体组件图像A和B进行块匹配变形，得到变形后的参考物体图像和(3)然后，将变形后的参考物体图像和与输入物体图像组件A和B通过局部和全局仿射变换模型，将参考物体图像和的光照状态迁移到输入物体图像组件A和B上，得到输入物体图像组件A和B在参考物体图像和光照条件迁移后的重光照结果。(4)最后，将重光照后的输入物体图像组件A和B通过物体语义解析合成为重光照输入物体图像结果。其中，步骤(1)所述物体语义解析分割和物体材质解析方法采取以下步骤：(11)确定复杂输入物体图像的整体语义，进而分析输入物体图像各组件的语义标签；(12)确定输入物体图像各组件的语义标签，对复杂输入物体图像进行分割，得到输入物体图像的各部分组件图像A和B；(13)对输入物体图像的各部分组件图像A和B分别进行材质分析，在参考物体图像库中寻找到与各部分组件材质相同的参考物体图像A1、A2和B1、B2，其中A1和A2、B1和B2分别是同一物体图像。对于每一组件图像，需要找到两个参考物体图像，一个与组件图像光照相似(即A1和B1)，另一个作为组件图像的参考光照(即A2和B2)。其中，步骤(2)所述的块匹配变形方法采取以下步骤：(21)对于复杂输入图像分割后的各部分组件图像A和B，按照L2范数，分别将各部分组件图像A和B分割为边长为2r+1的N块；(22)在参考物体图像A1和B1中遍历寻找与A和B中N块相似的每一块，对应关系如公式其中，(xp,yp)是每个像素在块中的坐标，p为块对应的像素基点，i和j为每个块的坐标位置变化量，r为块边长的基数，‖·‖2为L2范数；(23)参照(22)中方法实现参考物体图像A1和B1的变形，得到变形参考图像和(24)在参考图像A2和B2中遍历寻找与A和B中N块相似的每一块，对应关系如公式(25)参照(24)中方法实现参考图像A2和B2的变形，得到变形参考图像和其中，步骤(3)所述基于局部和全局仿射变换模型的光照迁移方法采取以下步骤：(31)将复杂输入物体组件图像A和B,变形参考物体图像和变形参考图像和在CIELAB色彩空间分离为亮度层和色彩层；(32)在L通道(亮度层)对输入物体组件图像的每一块按照局部迁移公式和进行参考物体图像和与和以及重光照结果图像R与输入物体组件图像A和B块级别的光照迁移，其中，P(·)为一个1×N的矩阵，Pk(·)表示已提到图像的第k块，Tk每个块的局部迁移函数；(33)对块级别完成光照迁移之后，对输入物体组件图像A和B,变形参考图像和变形参考图像和全图范围进行过拟合调整，按照的公式进行全局迁移，得到输入物体组件图像A和B在参考物体图像和光照条件迁移后的重光照结果，其中，a和b为每一项的相关系数，为防止过拟合的最小变量值，G为全局迁移函数，R为重光照结果。其中，步骤(4)所述基于语义分析合成方法采取以下步骤：(41)确定重光照后的输入物体组件图像A和B对象，分析其语义；(42)将重光照后的输入物体组件图像A和B看作部分进行合成，得到最终的重光照物体图像。本专利技术的原理在于：根据简单物体重光照方案的缺陷和不足，可以总结出设计基于语义和材质解析与合成的复杂物体图像重光照方法一些规则，如下所述：(1)不同于简单物体图像，对于复杂物体图像，很难在参考图像库中找到与复杂物体图像几何形状相似的参考物体图像。因此，必须使用本文档来自技高网...

【技术保护点】
1.一种基于语义和材质解析与合成的复杂物体图像重光照方法，其特征在于，包括以下步骤：(1)将由不同材质组成的复杂物体图像通过物体语义解析分割成物体组件图像A和B，再利用物体材质解析在参考物体图像库中分别选定与输入物体组件图像材质相匹配的参考图像A1，即与A光照状态相似的图像、参考图像A2，即拥有A的参考光照的图像和参考图像B1，即与B光照状态相似的图像、参考图像B2，即拥有B的参考光照的图像，其中A1和A2、B1和B2分别是同一物体图像；(2)将选定的参考物体图像A1、A2和B1、B2分别与输入物体组件图像A和B进行块匹配变形，得到变形后的参考物体图像

【技术特征摘要】
1.一种基于语义和材质解析与合成的复杂物体图像重光照方法，其特征在于，包括以下步骤：(1)将由不同材质组成的复杂物体图像通过物体语义解析分割成物体组件图像A和B，再利用物体材质解析在参考物体图像库中分别选定与输入物体组件图像材质相匹配的参考图像A1，即与A光照状态相似的图像、参考图像A2，即拥有A的参考光照的图像和参考图像B1，即与B光照状态相似的图像、参考图像B2，即拥有B的参考光照的图像，其中A1和A2、B1和B2分别是同一物体图像；(2)将选定的参考物体图像A1、A2和B1、B2分别与输入物体组件图像A和B进行块匹配变形，得到变形后的参考物体图像和(3)将变形后的参考物体图像和与输入物体图像组件A和B通过局部和全局仿射变换模型，将参考物体图像和的光照状态迁移到输入物体图像组件A和B上，得到输入物体图像组件A和B在参考物体图像和光照条件迁移后的重光照结果；(4)将重光照后的输入物体图像组件A和B通过物体语义解析合成为重光照输入物体图像结果。2.根据权利要求1所述的基于语义和材质解析与合成的复杂物体图像重光照方法，其特征在于：步骤(1)所述物体语义解析分割和物体材质解析方法采取以下步骤：(11)确定复杂输入物体图像的整体语义，进而分析输入物体图像各组件的语义标签；(12)确定输入物体图像各组件的语义标签，对复杂输入物体图像进行分割，得到输入物体图像的各部分组件图像A和B；(13)对输入物体图像的各部分组件图像A和B分别进行材质分析，在参考物体图像库中寻找到与各部分组件材质相同的参考物体图像A1、A2和B1、B2，其中A1和A2、B1和B2分别是同一物体图像；对于每一组件图像，需要找到两个参考物体图像，一个与组件图像光照相似，即A1和B1；另一个作为组件图像的参考光照，即A2和B2。3.根据权利要求1所述的基于语义和材质解析与合成的复杂物体图像重光照方法，其特征在于：步骤(2)所述块匹配变形方法采取以下步骤：(21)对于复杂...

【专利技术属性】
技术研发人员：金鑫，宁宁，韩瑞，李晓东，田玉露，张晓昆，
申请(专利权)人：中共中央办公厅电子科技学院北京电子科技学院，
类型：发明
国别省市：北京,11