一种基于背景风格迁移的图像和谐化方法及系统技术方案

本发明专利技术属于图像处理技术领域，为了解决现有的图像和谐化中存在的视觉不一致、前景语义信息改变的问题，提出了一种基于背景风格迁移的图像和谐化方法及系统，将所提取的背景风格特征分别与待优化的合成图像的多尺度前景语义特征进行拼接，得到融合特征；将所得到的融合特征、融合特征所对应尺度的前景语义特征进行归一化操作，得到前景语义固定、前景风格改变的和谐化前景特征；将所述和谐化前景特征与待优化的合成图像的背景区域进行拼接，得到和谐化图像。在保持前景语义不变的基础上，根据背景风格特征来标准化前景风格，从而实现整体图像视觉上一致。图像视觉上一致。图像视觉上一致。

【技术实现步骤摘要】
一种基于背景风格迁移的图像和谐化方法及系统


[0001]本专利技术属于图像处理
，尤其涉及一种基于背景风格迁移的图像和谐化方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]将图像A上的目标物体剪切，粘贴在图像B上形成新的合成图像是计算机视觉领域的一项基本操作。图像和谐化旨在根据背景调整合成图像的前景，实现合成图像的整体协调，可广泛应用于数据增强、图像编辑、人像换背景等多种任务及领域中。
[0004]传统的图像和谐化方法主要通过低层次的外观特征变换来改进合成图像，如颜色统计数据和梯度信息，但是它们无法处理源图像与目标有较大的外观或语义差距的复杂情况。
[0005]随着深度学习的发展，更多的基于深度神经网络的方法被提出。虽然现有的基于卷积神经网络的图像和谐化方法在改进合成图像方面已经取得了不错的性能，但其仍存在不足之处。
[0006]现有的基于深度神经网络的图像和谐化方法及系统主要可分为两类：基于通道或空间分离的注意力模块来学习背景重要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于背景风格迁移的图像和谐化方法，其特征在于，包括：获取待优化的合成图像，以及所对应的背景图像、前景掩膜；利用第一编码器
‑
第一解码器提取待优化的合成图像的多尺度特征，将前景掩膜与第一编码器
‑
第一解码器所提取的多尺度特征进行运算，得到多尺度前景语义特征；利用第二编码器提取所述背景图像的背景风格特征；将所提取的背景风格特征与多尺度前景语义特征进行背景风格迁移操作；其中，背景风格迁移操作为：将所提取的背景风格特征分别与多尺度前景语义特征进行拼接，得到融合特征；将所得到的融合特征、融合特征所对应尺度的前景语义特征进行归一化操作，得到前景语义固定、前景风格改变的和谐化前景特征；将所述和谐化前景特征与待优化的合成图像的背景区域进行拼接，得到和谐化图像。2.如权利要求1所述的一种基于背景风格迁移的图像和谐化方法，其特征在于，所述第一编码器
‑
第一解码器采用U
‑
Net网络，在U
‑
Net网络的第一解码器的层与层之间均进行背景风格迁移操作。3.如权利要求1所述的一种基于背景风格迁移的图像和谐化方法，其特征在于，将背景风格特征与所对应尺度的前景语义特征进行拼接，然后利用线性变换得到融合特征。4.如权利要求1所述的一种基于背景风格迁移的图像和谐化方法，其特征在于，将所得到的融合特征、融合特征所对应尺度的前景语义特征进行归一化操作，得到前景语义固定、前景风格改变的和谐化前景特征，具体为：根据所述融合特征计算融合特征的通道均值和通道方差；将融合特征所对应尺度的前景语义特征与融合特征的通道方差相乘，将相乘结果与融合特征的通道均值相加，得到前景语义固定、前景风格改变的和谐化前景特征。5.如权利要求4所述的一种基于背景风格迁移的图像和谐化方法，其特征在于，根据所述融合特征计算融合特征的通道均值和方差，具体为：根据前景语义卷积特征的通道均值以及背景风格特征的通道均值，利用线性变换得到融合特征的通道均值；根据前景语义卷积特征的通道方差以及背景风格特征的通道方差，利用线性变换得到融合特征的通道方差。6.如权利要求1所述的一种基于背景风格迁移的图像和谐化方法，其特征在于，将所述和谐化前景特征与待优化的合成图像的背景区域进行拼接，得到和谐化图像，具体为：将所述和谐化前景特征、所述和谐化前景特征对应的前景掩膜进行第一相乘...

【专利技术属性】
技术研发人员：张友梅，智昱旻，李彬，杨姝慧，周大正，张明亮，刘丽霞，张瑜，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：