图像合成方法及设备技术

提供了一种图像合成方法和设备，所述方法包括：获取第一图像和第二图像；将第一图像分解为第一光照图像和第一反射图像；根据第一光照图像将第二图像变换为第一图像的光照条件下的图像；将变换后的第二图像合成到第一图像中。通过该图像合成方法和设备能够将在不同光照条件下得到的两幅图像合成在一起，并且使合成后的图像呈现自然的效果。

【技术实现步骤摘要】

本公开总体涉及计算机视觉领域，具体涉及图像合成方法及设备。
技术介绍
图像合成指的是将多幅图像合成为一幅新的图像，并且使合成后的图像尽可能显得自然真实。例如，从一幅图像中提取出前景对象图像(下文中简称前景图像)，并将其合成到另一幅背景图像以形成一幅新的图像就是一个典型的图像合成。图像合成在图像与视频编辑应用中具有重要的意义，其使得用户可以将一幅图像中提取出的对象无缝地合成到另外一幅图像中，因而在例如增强现实、视频会议等需要将人或其他对象与虚拟背景进行合成的许多场合中有着广泛的应用。关于图像合成，本领域中的常用方法包括泊松图像编辑、颜色传递等。前者利用泊松方程将图像合成问题表示为插值问题，但是利用该方法合成的图像中可能存在颜色偏移问题。后者应用在PhotoShop的MatchColor功能中，其通过将待合成的例如前景图像和背景图像的颜色直方图的均值和方差对齐来进行合成。但是，由于该方法将图像的光照和反射性质合并在一起处理，因此前景图像会受到背景图像的干扰而导致合成后的结果呈现不自然的效果。另一方面，通常待合成的各幅图像是在不同的时间、地点、场景下获得的，因而具有不同的光照条件。因此如果在图像合成时不考虑光照问题而直接将一副图像添加到另一幅图像中，则由于光照条件的不一致，将导致生成的合成图像有明显的人工合成痕迹，显得不自然不真实。本领域中上述的两种常用合成方法均未能够很好地解决这一问题。
技术实现思路
鉴于以上问题而提出了本公开。根据本公开的一个方面的实施例，提供了一种图像合成方法，包括：获取第一图像和第二图像；将第一图像分解为第一光照图像和第一反射图像；>根据第一光照图像将第二图像变换为第一图像的光照条件下的图像；将变换后的第二图像合成到第一图像中。根据本公开的另一个方面的实施例，提供了一种图像合成设备，包括：获取部件，配置为获取第一图像和第二图像；分解部件，配置为将第一图像分解为第一光照图像和第一反射图像；变换部件，配置为根据第一光照图像将第二图像变换为第一图像的光照条件下的图像；合成部件，配置为将变换后的第二图像合成到第一图像中。根据本公开的另一个方面的实施例，提供了一种图像合成设备，包括：处理器；存储器；和存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤：获取第一图像和第二图像；将第一图像分解为第一光照图像和第一反射图像；根据第一光照图像将第二图像变换为第一图像的光照条件下的图像；将变换后的第二图像合成到第一图像中。通过根据本公开的上述方面的图像合成方法和设备，能够将不同光照条件下的两幅图像合成在一起，并且使合成后的图像呈现自然的效果。附图说明通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示意性地示出了根据本专利技术实施例的图像合成技术的可能的应用场景。图2示出了根据本公开实施例的图像合成方法的流程图。图3例示了示例性的背景图像以及由该背景图像分解得到的背景光照图像和背景反射图像。图4示出了根据本公开实施例的、根据背景光照图像将前景图像变换为背景图像的光照条件下的图像的处理的流程图。图5例示了示例性的前景图像以及由该前景图像分解得到的前景光照图像和前景反射图像。图6示出了根据本公开实施例的、根据背景光照图像将前景光照图像变换为背景图像的光照条件下的图像的处理的流程图。图7示出了由示例的变换后的前景光照图像和前景反射图像合成得到变换后的前景图像的示例情形。图8示出了将示例的变换后的前景图像合成到背景图像中的示例情形。图9示出了根据本公开实施例的图像合成设备的功能配置框图。图10示出了用于实现根据本公开实施例的示例性图像合成设备的计算设备框图。具体实施方式下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。图1示意性地示出了根据本专利技术实施例的图像合成技术的可能的应用场景。如图1所示，用户站在摄像头101的摄像范围内，该摄像头101对用户进行拍摄，该摄像头101可以是2D或3D摄像头。诸如计算机的处理设备102对由摄像头101拍摄的图像进行分析，提取前景对象，将前景对象与某一背景图像进行合成，生成新的合成图像。投影仪103和投影屏幕104用于显示目的，例如显示器，电视等的其他显示设备亦可作此用途。需要说明的是，图1仅仅图示了本专利技术的一种可能的应用场景，根据实际情况，应用场景中的装置可以相应地增加或减少，并具有不同的配置。如前所述，图像合成用于将多幅图像合成为一幅新的图像。在下文中，为了便于描述，以将从一副图像中提取的前景对象的图像(以下简称前景图像)与一副背景图像合成为例，对根据本专利技术的图像合成技术进行描述，其中包含所述前景图像的图像和所述背景图像是在不同的时间、地点和场景下获得的，因而具有不同的光照条件。下面参考图2对根据本公开实施例的图像合成方法进行描述。图2示出了根据本公开实施例的图像合成方法的流程图。如图2所示，在步骤S210，获取前景图像和背景图像。在该步骤中，可以通过任何方式获取要合成的前景图像和背景图像。例如，可以从外部输入所述前景图像和背景图像，也可以拍摄得到所述前景图像和背景图像。在步骤S220，将背景图像分解为背景光照图像和背景反射图像。根据EdwardLand于1986年提出的Retinex颜色恒常性理论，一幅图像可以如表达式(1)所示被分解为光照(illumination)图像和反射(reflectance)图像。I(x，y)＝S(x，y)·R(x，y)...(1)其中，S(x,y)表示光照图像，R(x,y)表示反射图像，(x,y)为图像中像素的坐标。目前，在计算机视觉领域中，对于图像分解的技术已经进行了许多研究，并提出了许多具体的图像分解方法。例如，ArjanGijsenij在2011年发表的“ColorconstancyusingNaturalImageStatisticsandSceneSemantics”、NikolaBanic在2013年发表的“Usingtherandomspraysretinexalgorithmforglobalilluminationestimation”，SeanBell在2014年发表的“Intrinsicimagesinthewild”等文章中均给出了具体的图像分解方法。在本专利技术中，作为示例，采用SeanBell所提出的图像分解方法。下面仅仅是为了说明的完整，对该图像分解方法进行简单的介绍。根据SeanBell提出的方法，图像分解即寻找最符合如下概率分布p的反射图像R和光照图像S：满足其中表示颜色通道c∈{r，g，b本文档来自技高网...

【技术保护点】
一种图像合成方法，包括：获取第一图像和第二图像；将第一图像分解为第一光照图像和第一反射图像；根据第一光照图像将第二图像变换为第一图像的光照条件下的图像；将变换后的第二图像合成到所述第一图像中。

【技术特征摘要】
1.一种图像合成方法，包括：获取第一图像和第二图像；将第一图像分解为第一光照图像和第一反射图像；根据第一光照图像将第二图像变换为第一图像的光照条件下的图像；将变换后的第二图像合成到所述第一图像中。2.如权利要求1所述的图像合成方法，其中所述根据第一光照图像将第二图像变换为第一图像的光照条件下的图像进一步包括：将第二图像分解为第二光照图像和第二反射图像；根据第一光照图像将第二光照图像变换为第一图像的光照条件下的图像；合成变换后的第二光照图像与第二反射图像以得到变换后的第二图像。3.如权利要求2所述的图像合成方法，其中所述根据第一光照图像将第二光照图像变换为第一图像的光照条件下的图像进一步包括：确定第一图像中、第二图像将被合成到其中的区域；计算第一光照图像中与所述区域对应区域的局部直方图；计算第二光照图像的直方图；以第一光照图像的局部直方图作为目标直方图，对第二光照图像的直方图进行规定化，以得到变换后的第二光照图像。4.如权利要求3所述的图像合成方法，其中计算第一光照图像中与所述区域对应的区域的局部直方图包括：将第一光照图像中与所述区域对应的区域划分为m×n个小块；针对每个所述小块计算直方图。5.如权利要求4所述的图像合成方法，其中计算第二光照图像的直方图包括...

【专利技术属性】
技术研发人员：刘丽艳，赵颖，陈超，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP