图像替换方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种图像替换方法、装置、计算机设备和存储介质。所述方法包括：获取输入图像和参考图像；基于所述输入图像的语义特征，将所述参考图像进行语义对齐，得到所述参考图像对应的对齐特征图；基于所述输入图像的语义特征，将所述参考图像对应的对齐特征图进行语义融合，得到所述对齐特征图对应的融合特征图；根据所述融合特征图，将所述输入图像的输入内容替换至所述参考图像中，得到具有所述输入内容的目标图像。采用本方法，可充分利用各个参考图像的特性，实现对输入图像中图像内容的准确替换，进而有效提高图像替换准确度。

【技术实现步骤摘要】
图像替换方法、装置、计算机设备和存储介质
本申请涉计算机视觉
，特别是涉及一种图像替换方法、装置、计算机设备和存储介质。
技术介绍
随着计算机视觉技术的不断发展，图像替换技术已逐渐成为当前人工智能领域的研究热点，并被广泛应用于各种社交应用及网站平台，如将某用户面部表情、姿态等替换至另一人脸中，或将人脸替换至动物头像中，以获取不同应用场景所需的替换图像。传统技术中的图像替换方法，通常需要特定变换的多张训练图片进行模型训练，且需较长训练过程方能被应用，无法满足多场景图像替换的实时性需求。而在面对图像替换训练数据缺失时，往往通过神经网络提取各样本特征向量求取平均值的方式来获取替换后的目标图像，替换质量不高、准确率较低。因此，传统技术中的图像替换方法存在图像替换准确度低的问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高图像替换准确度的图像替换方法、装置、计算机设备和存储介质。一种图像替换方法，所述方法包括：获取输入图像和参考图像；基于所述输入图像的语义特征，将所述参本文档来自技高网...

【技术保护点】
1.一种图像替换方法，所述方法包括：/n获取输入图像和参考图像；/n基于所述输入图像的语义特征，将所述参考图像进行语义对齐，得到所述参考图像对应的对齐特征图；/n基于所述输入图像的语义特征，将所述参考图像对应的对齐特征图进行语义融合，得到所述对齐特征图对应的融合特征图；/n根据所述融合特征图，将所述输入图像的输入内容替换至所述参考图像中，得到具有所述输入内容的目标图像。/n

【技术特征摘要】
1.一种图像替换方法，所述方法包括：
获取输入图像和参考图像；
基于所述输入图像的语义特征，将所述参考图像进行语义对齐，得到所述参考图像对应的对齐特征图；
基于所述输入图像的语义特征，将所述参考图像对应的对齐特征图进行语义融合，得到所述对齐特征图对应的融合特征图；
根据所述融合特征图，将所述输入图像的输入内容替换至所述参考图像中，得到具有所述输入内容的目标图像。


2.根据权利要求1所述的方法，其特征在于，所述基于所述输入图像的语义特征，将所述参考图像进行语义对齐，得到所述参考图像对应的对齐特征图，包括：
基于所述输入图像的语义特征，提取所述参考图像的语义特征，得到所述参考图像的参考特征图，以及所述输入图像的输入特征图；
将所述输入特征图与所述参考特征图进行语义对齐，得到所述对齐特征图。


3.根据权利要求2所述的方法，其特征在于，所述基于所述输入图像的语义特征，提取所述参考图像的语义特征，得到所述参考图像的参考特征图，以及所述输入图像的输入特征图，包括：
基于生成对抗神经网络中的分层编码器，提取所述输入图像的语义特征，并根据所述输入图像的语义特征，提取所述参考图像的语义特征，得到所述分层编码器对应的输入特征图和参考特征图。


4.根据权利要求2所述的方法，其特征在于，所述将所述输入特征图与所述参考特征图进行语义对齐，得到所述对齐特征图，包括：
基于生成对抗神经网络中的语义对齐模块，分别将所述输入特征图与所述参考特征图进行语义对齐，得到所述语义对齐模块对应的光流图；
根据所述光流图与所述参考特征图，确定所述对齐特征图。


5.根据权利要求4所述的方法，其特征在于，所述基于生成对抗神经网络中的语义对齐模块，分别将所述输入特征图与所述参考特征图进行语义对齐，得到所述语义对齐模块对应的光流图，包括：
确定所述生成对抗神经网络中的语义对齐模块；所述语义对齐模块包括高层语义对齐模块、中层语义对齐模块以及低层语义对齐模块；
在所述高层语义对齐模块中，将所述输入特征图与所述参考特征图进行语义对齐，得到高层光流图；
在所述中层语义对齐模块中，将所述高层光流图进行优化处理，得到中层光流图；
在所述低层语义对齐模块中，将所述中层光流图进行优化处理，得到低层光流图。


6.根据权利要求5所述的方法，其特征在于，所述在所述中层语义对齐模块中，将所述高层光流图进行优化处理，得到中层光流图，包括：
通过所述中层语义对齐模块，获取所述高层光流图；
将所述高层光流图进行像素偏移处理，得到高层偏移光流图；
根据所述高层偏移光流图，对所述参考特征图进行扭曲优化，得到扭曲特征图；
将所述扭曲特征图与所述输入特征图进行语义对齐，并与所述高层偏移光流图进行累加，得到所述中层光流图。


7.根据权利要求4所述的方法，其特征在于，所述光流图包括高层光流图、中层光流图以及低层光流图，所述根据所述光流图与所述参考特征图，确定所述对齐特征图，包括：
根据所述高层光流图、所述中层光流图以及所述低层光流图，分别对所述参考特征图进行扭曲优化，得到高层对齐特征图、中层对齐特征图以及低层对齐特征图；
确定所述高层对齐特...

【专利技术属性】
技术研发人员：吴锐正，陶鑫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44