本发明专利技术涉及图像处理，并且具体地，涉及用于基于输入图像对人或对象的新视图进行合成的图像再合成，以解决诸如对来自新视点和新姿态的人或对象的视图进行预测的任务。技术结果在于提高基于至少一个输入图像的图像再合成的准确度。提供了一种图像再合成系统、一种用于训练将在图像再合成系统中使用的间隙填充模块的系统、一种图像再合成方法、一种计算机程序产品和一种计算机可读介质。所述图像再合成系统包括源图像输入模块、前向扭曲模块和间隙填充模块，其中，前向扭曲模块被配置为针对每个源图像像素对目标图像中的对应位置进行预测，前向扭曲模块被配置为对与所述源图像对准的前向扭曲场进行预测，间隙填充模块被配置为填充从前向扭曲模块的应用产生的间隙。所述图像再合成方法包括以下步骤：输入源图像，针对每个源图像像素对目标图像中的对应位置进行预测，其中，与所述源图像对准的前向扭曲场被预测出；对从前向扭曲产生的间隙的二元掩模进行预测，通过借助于针对纹理图像中的每个像素对所述源图像中的一对坐标进行预测生成纹理图像，基于所述间隙的二元掩模对间隙进行填充，并且使用后向扭曲将完整纹理映射回新姿态。态。态。
【技术实现步骤摘要】
【国外来华专利技术】使用前向扭曲、间隙鉴别器和基于坐标的修复的图像再合成
[0001]本专利技术总体上涉及图像处理，并且更具体地，涉及用于使用机器学习技术基于输入图像来对人或对象的新视图进行合成的图像再合成。
技术介绍
[0002]近来，对基于学习的图像再合成的兴趣日益增长。在这个背景下，机器学习的任务是学习基于人或对象的一个或更多个输入图像来对例如特定类型的人或对象的新视图进行合成。在极端情况下，仅一个输入视图可用。在这个意义上，新视图对应于新相机位置和/或人的新身体姿态。在图像再合成中，测量目标视图的质量，并且不关心通常隐式地或显式地与场景的模型(例如，3D重建)对应的中间表示的质量。直接对目标视图质量进行优化通常意味着目标视图质量较高，特别是当场景建模困难时。
[0003]发现了几个趋势。首先，处理伴随图像再合成的硬预测问题需要深度卷积网络(ConvNet)(参见[15])。其次，许多现有技术解决方案避免直接从高维非卷积表示对像素值进行预测。相反，大多数架构诉诸于ConvNet内的某种扭曲(参见例如[5,30,20,3,23])。众所周知，在许多情况下，现有技术使用后向扭曲[13]，其中，在后向扭曲中，针对目标图像中的每个像素，源图像中的像素将被复制的位置被预测出。扭曲处理之后通常是后处理，诸如亮度校正(参见[5])或后处理网络。
[0004]现在将讨论与本专利技术要解决的客观技术问题相关的问题的几种方法。
[0005]基于扭曲的再合成。对使用深度卷积网络来生成逼真图像存在强烈兴趣(参见例如[6])。当通过改变输入图像的几何形状和表观来生成新图像时，已经表明了使用扭曲模块极大地增强了再合成的图像的质量(参见例如[5,30])。在这种情况下，扭曲模块基于作为空间变换器网络(STN)的一部分被首先介绍的可微分(后向)网格采样器层(参见例如[13])。
[0006]对抗图像修复。还存在旨在基于深度卷积网络的图像修复的现有技术解决方案。适应于输入数据中存在间隙的卷积架构的特殊变型包括Shepard卷积神经网络(参见例如[21])、稀疏不变卷积网络(参见例如[25])、具有部分卷积的网络(参见例如[17])、具有门控卷积的网络(参见例如[28])。后一种变型也在本公开中提出的方法中被使用。
[0007]由于修复任务需要图像内容的有条件合成，因此现有技术的修复方法严重依赖于生成对抗学习的变型(参见例如[6])。具体地，现有技术建议使用专注于以两个不同尺度在真示例与假示例之间进行区分的鉴别器对(参见例如[16,11,28,4])，其中，所述尺度中的一个可对应于各个块(类似于来自[12]的块GAN(patch GAN)思想)。这里，介绍了一种新型鉴别器，其中，所述新型鉴别器与一些局部鉴别器和块GAN具有相似架构，然而在两种不同类别的像素(假图像中的已知像素vs.也在假图像中的未知像素)之间进行鉴别。
[0008]面部转正(Face frontalization)。集中于图像再合成(诸如基于单个输入摄影图像或多个输入摄影图像来生成新视图和/或改变3D对象的姿态)的现有技术解决方案使用面部的图像作为主要域。转正的面部视图可被用作标准化表示，以便简化面部识别并增强
其质量。几种现有技术解决方案针对该任务使用后向采样器。例如，可被认为是这样的方法的最典型示例的HF
‑
PIM系统对将纹理图变换为转正的面部视图所需的圆柱形纹理图和后向扭曲场进行预测。然后由另一网络修正扭曲的结果。目前被认为高效的许多其他方法(诸如CAPG
‑
GAN(参见例如[9])、LB
‑
GAN(参见例如[2])、CPF(参见例如[26])、FF
‑
GAN(参见例如[27])基于通过在低维潜在空间中表示图像来直接执行期望的变换的编码器
‑
解码器网络。此外，通常在GAN设置中训练再合成网络，以使输出面部看起来逼真并防止各种伪像。这些方法中的许多方法采用附加信息，诸如地标(参见例如[9,29])、局部块(参见例如[10])、3D形变模型(3DMM，参见例如[1])估计(参见例如[27])。然后，这样的附加信息可被用于通过测量合成图像与可用附加信息相符的程度来调节再合成处理或制定附加损失。
[0009]基于扭曲的全身再合成。在现有技术中，利用扭曲以便在单个输入视图的情况下合成人的新视图(参见例如[24,23,19])。该方法还利用网络内的密集姿态(dense
‑
pose)参数化(参见例如[8])以在再合成图像上呈现人的目标姿态。
[0010]应注意，图像再合成的所有上述类型的现有技术方法都具有某些缺点，并且本专利技术旨在消除或至少减轻现有技术的至少一些缺点。具体地，可用的现有技术解决方案的缺点涉及在图像再合成中使用后向扭曲，其中，在后向扭曲中，针对目标图像中的每个像素，源图像中的像素将被复制的位置被预测出。
技术实现思路
[0011]技术问题
[0012]本专利技术的目的在于提供一种消除或至少减轻现有的先前技术方案的所有或至少一些上述缺点的用于图像再合成的新方法。
[0013]通过本专利技术实现的技术结果在于提高用于基于至少一个输入图像对人或对象的新视图进行合成的图像再合成的准确度。
[0014]技术方案
[0015]在一个方面，通过一种图像再合成系统来实现该目的，其中，所述图像再合成系统包括：源图像输入模块；前向扭曲模块，被配置为针对每个源图像像素对目标图像中的对应位置进行预测，其中，前向扭曲模块被配置为对与所述源图像对准的前向扭曲场进行预测；以及间隙填充模块，被配置为填充从前向扭曲模块的应用产生的间隙。
[0016]在实施例中，间隙填充模块还可包括：扭曲误差校正模块，被配置为校正所述目标图像中的前向扭曲误差。
[0017]有益效果
[0018]所述图像再合成系统还可包括纹理转移架构，其中，纹理转移架构被配置为：预测针对所述源图像和所述目标图像的扭曲场；经由前向扭曲将所述源图像映射到纹理空间，将所述纹理空间恢复为完整纹理；并且使用后向扭曲将所述完整纹理映射回新姿态。
[0019]所述图像再合成系统还可包括纹理提取模块，其中，纹理提取模块被配置为从所述源图像提取纹理。至少前向扭曲模块和间隙填充模块可被实现为深度卷积神经网络。
[0020]在实施例中，间隙填充模块可包括间隙修复器，其中，间隙修复器包括：坐标分配模块，被配置为根据固定的预定义纹理映射向输入图像的每个像素p＝(x,y)分配一对纹理坐标(u,v)，以便提供x值和y值在纹理坐标系中的双通道映射；纹理图完成模块，被配置为
提供完整纹理图，其中，针对每个纹理像素(u,v)，对应图像像素(x[u,v],y[u,v])是已知的；最终纹理生成模块，被配置为通过将来自位置(x[u,v],y[u,v])的图像值映射到位置(u,v)处的纹理来生成最终纹理，以便提供完整颜色最终纹理；最终纹理重新映射模块，被配置为通过提供从图像像素坐标到本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种图像再合成系统，包括：源图像输入模块；前向扭曲模块，被配置为针对每个源图像像素对目标图像中的对应位置进行预测，其中，前向扭曲模块被配置为对与所述源图像对准的前向扭曲场进行预测；以及间隙填充模块，被配置为填充从前向扭曲模块的应用产生的间隙。2.根据权利要求1所述的图像再合成系统，其中，间隙填充模块还包括扭曲误差校正模块，其中，扭曲误差校正模块被配置为校正所述目标图像中的前向扭曲误差。3.根据权利要求1所述的图像再合成系统，还包括：纹理转移架构，被配置为：预测针对所述源图像和所述目标图像的扭曲场；经由前向扭曲将所述源图像映射到纹理空间，将所述纹理空间恢复为完整纹理；并且使用后向扭曲将所述完整纹理映射回新姿态。4.根据权利要求1所述的图像再合成系统，还包括：纹理提取模块，被配置为从所述源图像提取纹理。5.根据权利要求1所述的图像再合成系统，其中，至少前向扭曲模块和间隙填充模块被实现为深度卷积神经网络。6.根据权利要求1所述的图像再合成系统，其中，间隙填充模块包括间隙修复器，其中，间隙修复器包括：坐标分配模块，被配置为根据固定的预定义纹理映射向输入图像的每个像素p＝(x,y)分配一对纹理坐标(u,v)，以便提供x值和y值在纹理坐标系中的双通道映射；纹理图完成模块，被配置为提供完整纹理图，其中，针对每个纹理像素(u,v)，对应图像像素(x[u,v],y[u,v])是已知的；最终纹理生成模块，被配置为通过将来自位置(x[u,v],y[u,v])的图像值映射到位置(u,v)处的纹理来生成最终纹理，以便提供完整颜色最终纹理；最终纹理重新映射模块，被配置为通过提供从图像像素坐标到纹理坐标的不同映射来将所述最终纹理重新映射到新视图。7.根据权利要求5所述的图像再合成系统，其中，所述深度卷积网络中的至少一个深度卷积网络是使用被配置为将真值图像和修复图像区分开的真/假鉴别器而训练出的。8.根据权利要求4所述的图像再合成系统，还包括：图像修正模块，被配置为校正输出...
【专利技术属性】
技术研发人员：阿图尔，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。