图像的处理方法及装置、数据处理方法制造方法及图纸

本申请公开了一种图像的处理方法及装置、数据处理方法。其中，该方法包括：接收目标对象的第一外观图和目标姿态的姿态信息，其中，第一外观图为目标对象在当前姿态下的图像，目标姿态为目标对象从当前姿态进行转换后的姿态；基于第一外观图和目标姿态的姿态信息，生成目标对象转换为目标姿态时的第二外观图；使用全局残差网络模型对第二外观图和第一外观图进行处理，生成目标对象在目标姿态下的第三外观图，第三外观图的细节特征多于第二外观图的细节特征。本申请解决了由于目前将模特在当前姿势上的图像迁移至其他的目标姿势的模型采用单阶段网络造成的在姿态迁移的过程中存在信息缺失，纹理效果单一的技术问题。纹理效果单一的技术问题。纹理效果单一的技术问题。

【技术实现步骤摘要】
图像的处理方法及装置、数据处理方法


[0001]本申请涉及图像合成领域，具体而言，涉及一种图像的处理方法及装置、数据处理方法。

技术介绍

[0002]电商场景下，用户希望看到服装上身的多姿态多角度展示，但是越多越全面的姿势摆拍也就意味着越大的运营和时间投入。为此通过训练一个生成模型，将模特在当前姿势上的图像迁移到其他的目标姿势上去，实现对于衣着等商品的全面展示。
[0003]目前将模特在当前姿势上的图像迁移至其他的目标姿势的模型一般采用基于深度学习生成对抗模型(Generative A dversatial Networks，GAN)，这种人体姿态转换模型采用单阶段网络，一步式转换人体姿态，但是在外观细节，如头发，衣服纹理，鞋子等细节严重丢失，这种单阶段网络在高层语义如人体姿态迁移上能完成的较好，但是对于低级语义信息的细节纹理恢复较差。
[0004]针对目前将模特在当前姿势上的图像迁移至其他的目标姿势的模型采用单阶段网络，在姿态迁移的过程中存在信息缺失，纹理效果单一的问题，目前尚未提出有效的解决方案。
>
技术实现思路
...

【技术保护点】

【技术特征摘要】
1.一种图像的处理方法，其特征在于，包括：获取目标对象的第一图像和目标旋转角度；按照所述目标旋转角度对所述第一图像进行旋转，生成第二图像；基于所述第一图像和所述第二图像，生成所述目标对象对应的目标图像，所述目标图像的细节特征多于所述第一图像的细节特征，其中，所述第二图像和所述目标图像均包括所述目标对象旋转所述目标旋转角度后的姿态信息。2.一种图像的处理方法，其特征在于，包括：获取目标对象对应的第一多媒体数据，以及用于对所述第一多媒体数据中目标部位进行转换的转换描述数据，其中，所述目标部位为所述目标对象的任意一个部位；基于所述第一多媒体数据和所述转换描述数据，生成所述目标对象对应的第一图像，其中，所述第一图像中包括对所述目标部位按照所述转换描述数据进行转换后的图像；基于所述第一多媒体数据和所述第一图像，生成所述目标对象对应的第二图像，所述第二图像中包括对所述目标部位按照所述转换描述数据进行转换后的图像，所述第二图像中所述目标部位的细节特征多于所述第一图像中所述目标部位的细节特征。3.根据权利要求2所述的方法，其特征在于，所述转换描述数据通过以下方式获取：接收来自所述目标对象输入的转换指令，其中，该转换指令中携带有所述转换描述数据；接收所述目标对象的语音信息，并从所述语音信息中识别出所述转换描述数据。4.一种图像的处理方法，其特征在于，包括：获取在相邻采样时刻采集的第一目标对象的多个图像；确定所述多个图像中所述第一目标对象的姿态变化信息；获取第二目标对象的第一图像；依据所述姿态变化信息对所述第一图像进行转换，生成第二图像；基于所述第一图像和所述第二图像，生成所述第二目标对象对应的目标图像，所述目标图像的细节特征多于所述第一图像的细节特征。5.一种图像的处理方法，其特征在于，包括：接收目标对象的第一外观图和目标姿态的姿态信息，其中，所述第一外观图为所述目标对象在当前姿态下的图像，所述目标姿态为所述目标对象从所述当前姿态进行转换后的姿态；基于所述第一外观图和所述目标姿态的姿态信息，生成所述目标对象转换为所述目标姿态时的第二外观图；使用全局残差网络模型对所述第二外观图和所述第一外观图进行处理，生成所述目标对象在所述目标姿态下的第三外观图，所述第三外观图的细节特征多于所述第二外观图的细节特征。6.根据权利要求5所述的方法，其特征在于，基于所述第一外观图和所述目标姿态的姿态信息，生成所述目标对象转换为所述目标姿态时的第二外观图，包括：使用第一神经网络模型处理所述第一外观图和所述目标姿态的姿态信息，生成所述第二外观图，其中，使用训练样本集对所述神经网络模型进行训练。7.根据权利要求6所述的方法，其特征在于，在使用第一神经网络模型处理所述第一外
观图和所述目标姿态的姿态信息，生成所述第二外观图之前，所述方法还包括：使用所述训练样本集来训练拟合网络模型的模型参数，生成所述第一神经网络模型，其中，所述第一神经网络模型用于生成待识别的目标图像的第二外观图。8.根据权利要求7所述的方法，其特征在于，在使用所述训练样本集来训练拟合网络模型的模型参数之前，所述方法还包括：构建所述训练样本集，其中，所述训练样本集包括多组训练样本，其中，构建所述训练样本集包括：获取多张姿态图像；从所述多张姿态图像中随机抽取具有相同样本对象的第一样本图片和第二样本图片，其中，所述第一样本图片为所述样本对象变换为目标姿态前的图像，所述第二样本图片为所述样本对象变换为所述目标姿态后的图像；从所述第二样本图片中，提取所述目标姿态的姿态图像；基于所述第一样本图片、所述第二样本图片和提取到的姿态图像，构建一组训练样本。9.根据权利要求8所述的方法，其特征在于，在使用全局残差网络模型对所述第二外观图和所述第一外观图进行处理，生成所述目标对象在所述目标姿态下的第二外观图之前，所述方法还包括：构建所述全局残差网络模型，该步骤包括：使用所述第二样本图片的粗略图像和所述第一样本图片，并以所述第二样本图片作为监督图对所述全局残差网络模型的模型参数进行拟合训练，直至所述全局残差网络模型收敛。10.根据权利要求8所述的方法，其特征在于，从所述第二样本图片中，提取所述目标姿态的姿态图像，包括：从所述第二样本图片中提取位于所述目标对象不同位置的多个特征点；按照所述多个特征点在人体中的位置以及所述多个特征点之间的关...

【专利技术属性】
技术研发人员：王攀，高占宁，任沛然，谢宣松，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：