图像合成和图像合成模型训练的方法、装置、设备和介质制造方法及图纸

本发明专利技术实施例公开了一种图像合成和图像合成模型训练的方法、装置、设备和介质。该图像合成方法，通过获取待合成的原始图像；确定所述原始图像的目标图像属性；获取图像合成模型，其中，所述图像合成模型包括特征检测器和图像生成器；将所述原始图像输入所述特征检测器进行特征检测，以得到原始图像特征；将所述原始图像特征与所述目标图像属性输入所述图像生成器进行处理，以生成具有所述目标图像属性的目标图像，解决图像添加特效单一且无法自定义的问题，实现为用户提供多种图像属性选择，并自动生成带有该自定义图像属性的目标图像的效果。

【技术实现步骤摘要】
图像合成和图像合成模型训练的方法、装置、设备和介质
本专利技术实施例涉及图像处理技术，尤其涉及一种图像合成和图像合成模型训练的方法、装置、设备和介质。
技术介绍
对图像进行特效合成的技术正逐步在娱乐软件中普及。特别是对人脸图像的特效合成的应用越来越丰富，比如添加表情，改变年龄，改变性别和美颜等特效合成的应用。但在实际应用中，基于用户输入图片或视频进行特效处理的程度和效果有限，很多变化都无法做得自然或自定义化，无法达到较好的用户体验。
技术实现思路
本专利技术提供一种图像合成和图像合成模型训练的方法、装置、设备和介质，以实现自动生成带有自定义图像属性的目标图像。第一方面，本专利技术实施例提供了一种图像合成方法，该图像合成方法包括：获取待合成的原始图像；确定所述原始图像的目标图像属性；获取图像合成模型，其中，所述图像合成模型包括特征检测器和图像生成器；将所述原始图像输入所述特征检测器进行特征检测，以得到原始图像特征；将所述原始图像特征与所述目标图像属性输入所述图像生成器进行处理，以生成具有所述目标图像属性的目标图像。进一步的，所述图像合成方法应用于直播平台，获取待合成的原始图像，包括：从主播端上传的直播流中获取待合成的原始图像；确定所述原始图像的目标图像属性，包括：根据主播端的设置确定所述原始图像的目标图像属性；在将所述原始图像特征与所述目标图像属性输入所述图像生成器进行处理，以生成具有所述目标图像属性的目标图像之后，还包括：根据所述目标图像生成合成后的直播流，并将所述合成后的直播流发送至客户端显示。进一步的，所述原始图像和目标图像为人脸图像，所述目标图像属性至少包括：年龄、表情、性别和头饰其中之一。第二方面，本专利技术实施例提供了一种图像合成模型训练方法，该图像合成模型训练方法包括：获取训练样本集，所述训练样本集中包括训练原始图像和训练目标图像，所述训练原始图像设置有训练原始属性，所述训练目标图像设置有训练目标属性；根据所述训练原始图像、所述训练原始属性、所述训练目标图像和所述训练目标属性训练生成对抗网络，所述生成对抗网络中包括相互对抗的特征检测器、图像生成器和属性判别器；根据训练得到的所述特征检测器和所述图像生成器生成图像合成模型，所述图像合成模型用于将所述训练原始图像合成为训练目标图像。进一步的，根据所述训练原始图像、所述训练原始属性、所述训练目标图像和所述训练目标属性训练生成对抗网络，包括：将所述训练原始图像输入所述特征检测器进行处理，以提取训练图像特征；将所述训练图像特征输入所述属性判别器，以识别所述训练原始图像的原始属性；根据所述原始属性与所述训练原始属性计算第一损失值；将所述训练图像特征和所述训练目标图像的训练目标属性输入所述图像生成器进行处理，以生成训练合成图像；根据所述训练合成图像与所述训练目标图像计算第二损失值；判断所述第一损失值与所述第二损失值是否满足预设的迭代条件；若是，则确定生成对抗网络训练完成；若否，则更新所述特征检测器、所述图像生成器和所述属性判别器，返回所述将所述训练原始图像输入所述特征检测器进行处理，以提取训练图像特征。进一步的，根据所述原始属性与所述训练原始属性计算第一损失值，包括：根据所述原始属性与所述训练原始属性，进行均方误差损失函数的计算；将计算结果作为第一损失值。进一步的，根据所述训练合成图像与所述训练目标图像计算第二损失值，包括：获取感知网络模型；将所述训练合成图像与所述训练目标图像分别输入所述感知网络模型，以得到所述训练合成图像的第一感知向量与所述训练目标图像的第二感知向量；根据两个所述感知向量进行均方误差损失函数的计算，以将计算结果作为第二损失值。进一步的，根据训练得到的所述特征检测器和所述图像生成器生成图像合成模型，包括：使用第一网络模型学习所述特征检测器的部分模型参数，其中，所述第一网络模型的结构小于所述特征检测器；将学习得到的所述第一网络模型代替所述特征检测器；使用第二网络模型学习所述图像生成器的部分模型参数，其中，所述第二网络模型的结构小于所述图像生成器；将学习得到的所述第二网络模型代替所述图像生成器；将代替的所述特征检测器和所述图像生成器，作为图像合成模型。进一步的，所述特征检测器和属性判别器均采用残差网络结构。第三方面，本专利技术实施例提供了一种图像合成装置，该图像合成装置包括：原始图像获取模块，用于获取待合成的原始图像；目标图像属性确定模块，用于确定所述原始图像的目标图像属性；图像合成模型获取模块，用于获取图像合成模型，其中，所述图像合成模型包括特征检测器和图像生成器；原始图像特征提取模块，用于将所述原始图像输入所述特征检测器进行特征检测，以得到原始图像特征；目标图像生成模块，用于将所述原始图像特征与所述目标图像属性输入所述图像生成器进行处理，以生成具有所述目标图像属性的目标图像。第四方面，本专利技术实施例提供了一种图像合成模型训练装置，该图像合成模型训练装置包括：训练样本集获取模块，用于获取训练样本集，所述训练样本集中包括训练原始图像和训练目标图像，所述训练原始图像设置有训练原始属性，所述训练目标图像设置有训练目标属性；对抗网络生成模块，用于根据所述训练原始图像、所述训练原始属性、所述训练目标图像和所述训练目标属性训练生成对抗网络，所述生成对抗网络中包括相互对抗的特征检测器、图像生成器和属性判别器；图像合成模型生成模块，用于根据训练得到的所述特征检测器和所述图像生成器生成图像合成模型，所述图像合成模型用于将所述训练原始图像合成为训练目标图像。第五方面，本专利技术实施例提供了一种图像合成设备，该图像合成设备包括：存储器以及一个或多个处理器；所述存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的图像合成方法。第六方面，本专利技术实施例提供了一种图像合成模型训练设备，该图像合成模型训练设备包括：存储器以及一个或多个处理器；所述存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第二方面中任一所述的图像合成模型训练方法。第七方面，本专利技术实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面中任一所述的图像合成方法。第八方面，本专利技术实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第二方面中任一所述的图像合成模型训练方法。本专利技术实施例通过获取待合成的原始图像；确定所述原始图像的目标图像属性；获取图像合成模型，其中，所述图像合成模型包括特征检测器和图像生成器；将所述原始图像输入所述特征检测器进行特征检测，以得到原始图像特征；将所述原始图像特征与所述目标图像属性输入所述图像生成器进行处理，以生成具有所述目标图像属性的目标图像，解决图像添加特效单一且无法自定义的问题，实现为用户提供多种图像属性选择，并自动生成带有该自定义图像属性的目标图像的效果。附图说明图1为本专利技术实施例一提供的一种图像合成方法的流程图；图2为本专利技术实施例二提供的一种图像合成方法的流程图；图3A为本专利技术实施例三提供的一种图像合成模型训练方法的流程图；图3B为本专利技术实施例三提本文档来自技高网...

【技术保护点】
1.一种图像合成方法，其特征在于，包括：获取待合成的原始图像；确定所述原始图像的目标图像属性；获取图像合成模型，其中，所述图像合成模型包括特征检测器和图像生成器；将所述原始图像输入所述特征检测器进行特征检测，以得到原始图像特征；将所述原始图像特征与所述目标图像属性输入所述图像生成器进行处理，以生成具有所述目标图像属性的目标图像。

【技术特征摘要】
1.一种图像合成方法，其特征在于，包括：获取待合成的原始图像；确定所述原始图像的目标图像属性；获取图像合成模型，其中，所述图像合成模型包括特征检测器和图像生成器；将所述原始图像输入所述特征检测器进行特征检测，以得到原始图像特征；将所述原始图像特征与所述目标图像属性输入所述图像生成器进行处理，以生成具有所述目标图像属性的目标图像。2.根据权利要求1所述的方法，其特征在于，所述图像合成方法应用于直播平台，获取待合成的原始图像，包括：从主播端上传的直播流中获取待合成的原始图像；确定所述原始图像的目标图像属性，包括：根据主播端的设置确定所述原始图像的目标图像属性；在将所述原始图像特征与所述目标图像属性输入所述图像生成器进行处理，以生成具有所述目标图像属性的目标图像之后，还包括：根据所述目标图像生成合成后的直播流，并将所述合成后的直播流发送至客户端显示。3.根据权利要求1或2所述的方法，其特征在于，所述原始图像和目标图像为人脸图像，所述目标图像属性至少包括：年龄、表情、性别和头饰其中之一。4.一种图像合成模型训练方法，其特征在于，包括：获取训练样本集，所述训练样本集中包括训练原始图像和训练目标图像，所述训练原始图像设置有训练原始属性，所述训练目标图像设置有训练目标属性；根据所述训练原始图像、所述训练原始属性、所述训练目标图像和所述训练目标属性训练生成对抗网络，所述生成对抗网络中包括相互对抗的特征检测器、图像生成器和属性判别器；根据训练得到的所述特征检测器和所述图像生成器生成图像合成模型，所述图像合成模型用于将所述训练原始图像合成为训练目标图像。5.根据权利要求4所述的方法，其特征在于，根据所述训练原始图像、所述训练原始属性、所述训练目标图像和所述训练目标属性训练生成对抗网络，包括：将所述训练原始图像输入所述特征检测器进行处理，以提取训练图像特征；将所述训练图像特征输入所述属性判别器，以识别所述训练原始图像的原始属性；根据所述原始属性与所述训练原始属性计算第一损失值；将所述训练图像特征和所述训练目标图像的训练目标属性输入所述图像生成器进行处理，以生成训练合成图像；根据所述训练合成图像与所述训练目标图像计算第二损失值；判断所述第一损失值与所述第二损失值是否满足预设的迭代条件；若是，则确定生成对抗网络训练完成；若否，则更新所述特征检测器、所述图像生成器和所述属性判别器，返回所述将所述训练原始图像输入所述特征检测器进行处理，以提取训练图像特征。6.根据权利要求5所述的方法，其特征在于，根据所述原始属性与所述训练原始属性计算第一损失值，包括：根据所述原始属性与所述训练原始属性，进行均方误差损失函数的计算；将计算结果作为第一损失值。7.根据权利要求5所述的方法，其特征在于，根据所述训练合成图像与所述训练目标图像计算第二损失值，包括：获取感知网络模型；将所述训练合成图像与所述训练目标图像分别输入所述感知网络模型，以得到所述训...

【专利技术属性】
技术研发人员：杨轩，李振，邹昱，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东,44