图像生成方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像生成方法及装置、电子设备和存储介质，所述方法包括：根据与所述待处理图像中第一对象的初始姿态对应的第一姿态信息以及与目标姿态对应的第二姿态信息，获得初始姿态与目标姿态之间的光流图以及目标姿态的可见性图；根据待处理图像、光流图、可见性图和第二姿态信息，生成第一图像。根据本公开的实施例的图像生成方法，可根据第一姿态信息和第二姿态信息获得可见性图，可获得第一对象的各部分的可见性，在生成的第一图像中可显示目标姿态的第一对象的可见的部分，可改善图像失真，减少伪影。

Image Generation Method and Device, Electronic Equipment and Storage Media

【技术实现步骤摘要】
图像生成方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种图像生成方法及装置、电子设备和存储介质。
技术介绍
在相关技术中，通常通过光流等方法，改变图像中的对象的姿态，生成姿态改变后的对象的图像，但在生成的图像中，仅改变了各像素点的位置，难以体现对象姿态的改变。并且，在改变姿态后，所述对象在图像中可呈现出的部分不同，例如，根据对象的正面图像生成该对象的侧面图像，则在生成的图像中，该对象的某些部分不能呈现在生成的图像中，而该对象在正面图像中未呈现的某些部分应呈现在侧面图像中，通过光流等方法无法改变对象的各部分的可见性，从而造成生成的图像失真以及存在伪影等情况。
技术实现思路
本公开提出了一种图像生成方法及装置、电子设备和存储介质。根据本公开的一方面，提供了一种图像生成方法，包括：根据与待处理图像中第一对象的初始姿态对应的第一姿态信息以及与待生成的目标姿态对应的第二姿态信息，获得所述初始姿态与所述目标姿态之间的光流图以及所述目标姿态的可见性图；根据所述待处理图像、所述光流图、所述可见性图和所述第二姿态信息中的一个或多个，生成第一图像，所述第一图像中第一对象的姿态为所述目标姿态。根据本公开的实施例的图像生成方法，可根据第一姿态信息和第二姿态信息获得可见性图，可获得第一对象的各部分的可见性，在生成的第一图像中可显示目标姿态的第一对象的可见的部分，可改善图像失真，减少伪影。在一种可能的实现方式中，根据所述待处理图像、所述光流图、所述可见性图和所述第二姿态信息中的一个或多个，生成第一图像，包括：根据所述待处理图像、所述光流图和所述可见性图中的一个或多个，获得所述第一对象的外观特征图；根据所述外观特征图以及所述第二姿态信息，生成所述第一图像。在一种可能的实现方式中，根据所述待处理图像、所述光流图和所述可见性图中的一个或多个，获得所述第一对象的外观特征图，包括：对所述待处理图像进行外观特征编码处理，获得所述待处理图像的第一特征图；根据所述光流图和所述可见性图，对所述第一特征图进行特征变换处理，获得所述外观特征图。通过这种方式，可根据光流图对第一特征图进行位移处理，并根据可见性图确定可见部分和不可见部分，可改善图像失真，减少伪影。在一种可能的实现方式中，根据所述外观特征图以及所述第二姿态信息，生成第一图像，包括：对所述第二姿态信息进行姿态编码处理，获得所述第一对象的姿态特征图；对所述姿态特征图和所述外观特征图进行解码处理，生成所述第一图像。通过这种方式，可对由第二姿态信息进行姿态特征编码处理获得的姿态特征图以及已区分可见部分与不可见部分的外观特征图进行解码，获得第一图像，使第一图像中的第一对象的姿态为目标姿态，并可改善图像失真，减少伪影。在一种可能的实现方式中，所述方法还包括：根据所述光流图、所述可见性图以及所述待处理图像中的一个或多个，对所述第一图像进行特征增强处理，获得第二图像。在一种可能的实现方式中，根据所述光流图、所述可见性图以及所述待处理图像中的一个或多个，对所述第一图像进行特征增强处理，获得第二图像，包括：根据所述光流图，对所述待处理图像进行像素变换处理，获得第三图像；根据所述第三图像、所述第一图像、所述光流图和所述可见性图中的一个或多个，获得权重系数图；根据所述权重系数图，对所述第三图像和所述第一图像进行加权平均处理，获得所述第二图像。通过这种方式，可通过加权平均的方式将待检测图像中的高频细节添加至第一图像中，获得第二图像，提高生成的图像的质量。在一种可能的实现方式中，所述方法还包括：对待处理图像进行姿态特征提取，得到与所述待处理图像中第一对象的初始姿态对应的第一姿态信息。在一种可能的实现方式中，所述方法通过神经网络实现，所述神经网络包括光流网络，所述光流网络用于获得所述光流图以及所述可见性图。在一种可能的实现方式中，所述方法还包括：根据预设的第一训练集，训练所述光流网络，所述训练集中包括所述多个样本图像。在一种可能的实现方式中，根据预设的第一训练集，训练所述光流网络，包括：对所述第一训练集中的第一样本图像与第二样本图像进行三维建模，分别获得第一三维模型和第二三维模型；根据所述第一三维模型和所述第二三维模型，获得所述第一样本图像与所述第二样本图像之间的第一光流图以及所述第二样本图像的第一可见性图；对所述第一样本图像与所述第二样本图像分别进行姿态特征提取，获得所述第一样本图像中对象的第三姿态信息以及所述第二样本图像中对象的第四姿态信息；将所述第三姿态信息和所述第四姿态信息输入所述光流网络，获得预测光流图和预测可见性图；根据所述第一光流图和预测光流图以及第一可见性图和预测可见性图，确定所述光流网络的网络损失；根据所述光流网络的网络损失，训练所述光流网络。通过这种方式，可训练光流网络根据任意姿态信息生成光流图和可见性图，可为生成任意姿态的第一对象的第一图像提供依据，通过三维模型训练的光流网络具有较高的准确性，且使用训练后的光流网络生成可见性图和光流图可节省处理资源。在一种可能的实现方式中，所述神经网络还包括图像生成网络，所述图像生成网络用于生成图像。在一种可能的实现方式中，所述方法还包括：根据预设的第二训练集以及已训练的光流网络，对抗训练所述图像生成网络以及对应的判别网络。在一种可能的实现方式中，根据预设的第二训练集以及已训练的光流网络，对抗训练所述图像生成网络以及对应的判别网络，包括：对所述第二训练集中的第三样本图像与所述第四样本图像进行姿态特征提取，获得所述第三样本图像中对象的第五姿态信息以及所述第四样本图像中对象的第六姿态信息；将所述第五姿态信息以及所述第六姿态信息输入所述已训练的光流网络，获得第二光流图和第二可见性图；将第三样本图像、所述第二光流图、所述第二可见性图和所述第六姿态信息输入所述图像处理网络中处理，获得样本生成图像；通过所述判别网络对所述样本生成图像或第四样本图像进行判别处理，获得所述样本生成图像的真实性判别结果；根据所述第四样本图像、所述样本生成图像、所述真实性判别结果，对抗训练判别网络以及所述图像生成网络。根据本公开的另一方面，提供了一种图像生成装置，包括：第一获得模块，用于根据与所述待处理图像中第一对象的初始姿态对应的第一姿态信息以及与待生成的目标姿态对应的第二姿态信息，获得所述初始姿态与所述目标姿态之间的光流图以及所述目标姿态的可见性图；生成模块，用于根据所述待处理图像、所述光流图、所述可见性图和所述第二姿态信息中的一个或多个，生成第一图像，所述第一图像中第一对象的姿态为所述目标姿态。在一种可能的实现方式中，所述生成模块被进一步配置为：根据所述待处理图像、所述光流图和所述可见性图中的一个或多个，获得所述第一对象的外观特征图；根据所述外观特征图以及所述第二姿态信息，生成所述第一图像。在一种可能的实现方式中，所述生成模块被进一步配置为：对所述待处理图像进行外观特征编码处理，获得所述待处理图像的第一特征图；根据所述光流图和所述可见性图，对所述第一特征图进行特征变换处理，获得所述外观特征图。在一种可能的实现方式中，所述生成模块被进一步配置为：对所述第二姿态信息进行姿态编码处理，获得所述第一对象的姿态特征图；对所述姿态特征图和所述外观特征图进行解码处理，生成所述第本文档来自技高网...

【技术保护点】
1.一种图像生成方法，其特征在于，包括：根据与待处理图像中第一对象的初始姿态对应的第一姿态信息以及与待生成的目标姿态对应的第二姿态信息，获得所述初始姿态与所述目标姿态之间的光流图以及所述目标姿态的可见性图；根据所述待处理图像、所述光流图、所述可见性图和所述第二姿态信息中的一个或多个，生成第一图像，所述第一图像中第一对象的姿态为所述目标姿态。

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：根据与待处理图像中第一对象的初始姿态对应的第一姿态信息以及与待生成的目标姿态对应的第二姿态信息，获得所述初始姿态与所述目标姿态之间的光流图以及所述目标姿态的可见性图；根据所述待处理图像、所述光流图、所述可见性图和所述第二姿态信息中的一个或多个，生成第一图像，所述第一图像中第一对象的姿态为所述目标姿态。2.根据权利要求1所述的方法，其特征在于，根据所述待处理图像、所述光流图、所述可见性图和所述第二姿态信息，生成第一图像，包括：根据所述待处理图像、所述光流图和所述可见性图中的一个或多个，获得所述第一对象的外观特征图；根据所述外观特征图以及所述第二姿态信息，生成所述第一图像。3.根据权利要求2所述的方法，其特征在于，根据所述待处理图像、所述光流图和所述可见性图中的一个或多个，获得所述第一对象的外观特征图，包括：对所述待处理图像进行外观特征编码处理，获得所述待处理图像的第一特征图；根据所述光流图和所述可见性图，对所述第一特征图进行特征变换处理，获得所述外观特征图。4.根据权利要求2所述的方法，其特征在于，根据所述外观特征图以及所述第二姿态信息，生成第一图像，包括：对所述第二姿态信息进行姿态编码处理，获得所述第一对象的姿态特征图；对所述姿态特征图和所述外观特征图进行解码处理，生成所述第一图像。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：根据所述光流图、所述可见性图以及所述待处理图像中的一个或...

【专利技术属性】
技术研发人员：李亦宁，黄琛，吕健勤，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11