基于照相机视角域编码的空间变换图像自动编辑方法技术

一种基于照相机视角域编码的空间变换图像自动编辑方法，通过照相机视角域编码网络从背景图像中提取角度编码，利用图像特征提取网络提取前景图像特征和背景图像特征，将复制平铺后的背景图像角视角域码与前景背景图像特征拼接，得到增强图像特征；将增强图像特征输入空间变换网络得到预测的前景图像的空间变换参数，通过该参数从原始的前景图像中采样，利用双线性差值方法得到扭曲的前景图像，再将扭曲的前景图像和输入的背景图像进行图像合成，得到符合几何透视关系的合成图像。本发明专利技术利用前景和背景图像在照相机视角域上的编码之间的距离，衡量两张图像拍摄时透视角度的相似性，经空间变换后实现前景图像和背景图像具有相似的透视角度。有相似的透视角度。有相似的透视角度。

【技术实现步骤摘要】
基于照相机视角域编码的空间变换图像自动编辑方法


[0001]本专利技术涉及的是一种图像处理领域的技术，具体是一种基于照相机视角域编码的空间变换图像自动编辑方法。

技术介绍

[0002]现有的图像合成技术主要不足在于无法消除前景和背景之间的几何不一致性，如前景在合成图片中的不合理尺寸、位置，以及前景和背景不一致的透视角度。消除合成图像的几何不一致性，需要从背景图像中获取必要的信息，指导前景图像的调整。传统方法利用有关前景物体大小和位置的先验信息来调整前景，没有充分考虑背景图像的信息，合成图像往往不够真实。本专利技术利用背景图像在校正前景透视角度方面的关键指导作用，使合成图像中前景和背景在几何方面的不一致性降低。

技术实现思路

[0003]本专利技术针对现有技术存在的上述不足，提出一种基于照相机视角域编码的空间变换图像自动编辑方法，利用前景和背景图像在照相机视角域上的编码之间的距离，衡量两张图像拍摄时透视角度的相似性，经空间变换后实现前景图像和背景图像具有相似的透视角度。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种基于照相机视角域编码的空间变换图像自动编辑方法，通过照相机视角域编码网络从背景图像中提取角度编码，利用图像特征提取网络提取前景图像特征和背景图像特征，将复制平铺后的背景图像角视角域码与前景背景图像特征拼接，得到增强图像特征；将增强图像特征输入空间变换网络得到预测的前景图像的空间变换参数，通过该参数从原始的前景图像中采样，利用双线性差值方法得到扭曲的前景图像，再将扭曲的前景图像和输入的背景图像进行图像合成，得到符合几何透视关系的合成图像。
[0006]所述的照相机视角域编码网络根据前景或者背景图像，将输入图像映射到照相机视角域空间，输出该图像在视角域空间的编码，该编码表示图像拍摄时照相机透视角度的信息，两张图像在视角域空间的编码之间的欧式距离能够表示两张图像透视角度之间的相似性。
[0007]所述的照相机视角域编码网络包括：四个基本单元、设置于基本单元后的一层平均池化层和一层卷积层，其中：四个基本单元根据图像的特征图信息，进行特征提取处理，得到图像的高层特征图结果，平均池化层根据图像的特征图信息，进行池化处理，得到聚合特征图重要信息、降低计算量的结果，卷积层根据经过池化层聚合的图像特征图信息，进行卷积处理，得到图像在相机视角域内的编码。
[0008]每个所述的基本单元包括：一层部分卷积层、一层实例归一化层与一个线性整流单元，其中：部分卷积层根据图像的特征图信息，进行卷积处理，得到图像的高层特征图结果，实例归一化层根据图像的特征图信息，进行归一化处理，保证图像实例独立性同时使数
据分布一致，加速模型收敛，线性整流单元根据归一化后的图像特征图信息，进行线性整流处理，引入非线性运算，使神经网络具备拟合非线性函数的能力。
[0009]所述的图像特征提取网络根据前景或者背景图像，将输入图像映射到特征空间，输出该图像包含空间特征的特征图。
[0010]所述的图像特征提取网络包括：五个串联的基本单元，各个基本单元根据图像的特征图信息，进行特征聚合处理，得到图像的高层特征图结果，每个基本单元包括一层卷积层与一个线性整流单元，其中：卷积层根据图像的特征图信息，进行卷积处理，得到图像的高层特征图结果，线性整流单元根据图像的特征图信息，进行线性整流处理，引入非线性运算，使神经网络具备拟合非线性函数的能力。
[0011]所述的空间变换网络包括：空间变换参数预测网络、采样网格生成网络以及采样网络，其中：空间变换参数预测网络根据原始前景图像、前景背景图像特征图和背景图像照相机视角域编码预测得到空间变换参数，采样网格生成网络根据空间变换参数计算得到空间变换前后图像像素的坐标对应关系，采样网络根据图像像素坐标对应关系进行采样，在原始前景图像上利用双线性差值算法计算得到空间变换之后图像各点的像素值。
[0012]所述的空间变换参数预测网络包括：堆叠的全连接层和线性整流单元。
[0013]所述的照相机视角域编码网络、图像特征提取网络和空间变换网络均使用鉴别器根据真实图像与合成图像输出的对抗损失函数以及基于对比学习的三联体损失函数作为约束，其中：真实图像即数据集中包含与目标前景属于同一类别的前景或包含目标前景，通过直接拍摄得到的图像；合成图像即数据集中不包含同类别前景的背景图像，与经过空间变换网络调整的目标前景按照前景掩码直接合成的图像。
[0014]所述的基于对比学习的三联体损失函数为L1+L2，其中：为经过几何校正的前景图像的视角域编码，为原始的前景图像的视角域编码，z
f
和z
b
分别表示包含该前景的真实图像中前景图像和背景图像的视角域编码，d(
·
，
·
)函数指的是欧氏距离，m表示允许的余量。
[0015]所述的对抗损失函数其中：I
t
为合成图像，I为真实图像，为合成图像对应的数据分布上的数学期望，E
I
[
·
]为真实图像对应的数据分布上的数学期望，D[
·
]为鉴别器网络的输出。
[0016]所述的鉴别器包括：依次堆叠的卷积层和带泄露的线性整流单元(leaky rectified linear units)，其中：卷积层根据图像的特征图信息，进行卷积处理，得到图像的高层特征图结果，线性整流单元根据图像的特征图信息，进行线性整流处理，引入非线性运算，使神经网络具备拟合非线性函数的能力。
[0017]所述的鉴别器由对抗损失函数约束，使得目标，即对抗损失函数L
D
取得最小值，该对抗损失函数其中：I
t
为合成图像，为合成图像对应的数据分布上的数学期望，p
t
为空间变换网络预测的空间变换参数，||
·
||2为L2范数，D[
·
]为鉴别器网络的输出。
技术效果
[0018]本专利技术通过三联体损失函数限制的照相机视角域编码器，利用背景图像的照相机视角域编码并自动估计前景图像空间变换的参数，这些特性使得本专利技术在图像编辑领域具有较大实际应用价值。
附图说明
[0019]图1为本专利技术流程图；
[0020]图2为本专利技术照相机视角域编码网络的网络结构图；
[0021]图3为本专利技术图像特征提取网络的网络结构图；
[0022]图4为本专利技术与其他方法实例效果对比示意图；
[0023]图5为本专利技术中照相机视角域编码器有效性验证实验的结果图。
具体实施方式
[0024]如图1所示，为本实施例涉及一种基于照相机视角域编码的空间变换图像自动编辑方法，包括：
[0025]步骤1.照相机视角域编码提取：为了提取不规则形状区域的视角域编码，通过视角域编码网络将输入图像映射到照相机视角域空间，采用前景或者背景图像作为输入，输出该图像在视角域空间的编码，该视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于照相机视角域编码的空间变换图像自动编辑方法，其特征在于，通过照相机视角域编码网络从背景图像中提取角度编码，利用图像特征提取网络提取前景图像特征和背景图像特征，将复制平铺后的背景图像角视角域码与前景背景图像特征拼接，得到增强图像特征；将增强图像特征输入空间变换网络得到预测的前景图像的空间变换参数，通过该参数从原始的前景图像中采样，利用双线性差值方法得到扭曲的前景图像，再将扭曲的前景图像和输入的背景图像进行图像合成，得到符合几何透视关系的合成图像；所述的照相机视角域编码网络根据前景或者背景图像，将输入图像映射到照相机视角域空间，输出该图像在视角域空间的编码，该编码表示图像拍摄时照相机透视角度的信息，两张图像在视角域空间的编码之间的欧式距离能够表示两张图像透视角度之间的相似性；所述的图像特征提取网络根据前景或者背景图像，将输入图像映射到特征空间，输出该图像包含空间特征的特征图。2.根据权利要求1所述的基于照相机视角域编码的空间变换图像自动编辑方法，其特征是，所述的照相机视角域编码网络包括：四个基本单元、设置于基本单元后的一层平均池化层和一层卷积层，其中：四个基本单元根据图像的特征图信息，进行特征提取处理，得到图像的高层特征图结果，平均池化层根据图像的特征图信息，进行池化处理，得到聚合特征图重要信息、降低计算量的结果，卷积层根据经过池化层聚合的图像特征图信息，进行卷积处理，得到图像在相机视角域内的编码。3.根据权利要求2所述的基于照相机视角域编码的空间变换图像自动编辑方法，其特征是，每个所述的基本单元包括：一层部分卷积层、一层实例归一化层与一个线性整流单元，其中：部分卷积层根据图像的特征图信息，进行卷积处理，得到图像的高层特征图结果，实例归一化层根据图像的特征图信息，进行归一化处理，保证图像实例独立性同时使数据分布一致，加速模型收敛，线性整流单元根据归一化后的图像特征图信息，进行线性整流处理，引入非线性运算，使神经网络具备拟合非线性函数的能力。4.根据权利要求1所述的基于照相机视角域编码的空间变换图像自动编辑方法，其特征是，所述的图像特征提取网络包括：五个串联的基本单元，各个基本单元根据图像的特征图信息，进行特征聚合处理，得到图像的高层特征图结果，每个基本单元包括一层卷积层与一个线性整流单元，其中：卷积层根据图像的特征图信息，进行卷积处理，得到图像的高层特征图结果，线性整流单元根据图像的特征图信息，进行线性整流处理，引入非线性运算，使神经网络具备拟合非线性函数的能力。5.根据权利要求1所述的基于照相机视角域编码的空间变换图像自动编辑方法，其特征是，所述的空间变换网络包括：空间变换参数预测网络、采样网格生成网络以及采样网络，其中：空间变换参数预测网络根据原...

【专利技术属性】
技术研发人员：张丽清，刘悦，牛力，丛文艳，招浩华，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：