图像处理模型训练方法、图像处理方法、视频处理模型训练方法及视频处理方法技术

本说明书实施例提供图像处理模型训练方法、图像处理方法、视频处理模型训练方法及视频处理方法，该图像处理模型训练方法包括：确定目标对象不同视角下的多个参考图像、各参考图像中目标对象的参考姿态图像、目标对象的目标图像、目标图像中目标对象的目标姿态图像、目标图像对应的噪声图像；获取各参考图像的参考图像特征、各参考姿态图像的参考姿态特征、目标姿态图像的目标姿态特征；根据参考图像特征以及参考姿态特征，获得参考网络特征，并根据参考网络特征、目标姿态特征以及噪声图像，获得目标预测特征；根据目标预测特征，获得预测图像；根据预测图像以及目标图像，对图像处理模型进行训练，获得训练后的图像处理模型；提高图像生成质量。

【技术实现步骤摘要】

本说明书实施例涉及计算机，特别涉及一种图像处理模型训练方法、一种图像处理方法、一种视频处理模型训练方法及一种视频处理方法。

技术介绍

1、在利用机器学习模型实现人像视频生成时，通常仅支持单张参考图的输入，然而在利用单张参考图实现人像视频生成时，仅能生成单视角视频，或者要生成多视角视频的情况下，针对参考图中不存在的视角，需要机器学习模型进行随机生成或通过推测，来获得该视角对应的图像内容。

2、因此，生成的视频通常细节较差，整体的视频质量较差。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种图像处理模型训练方法。本说明书一个或者多个实施例同时涉及另一种图像处理模型训练方法，一种图像处理方法，一种视频处理模型训练方法，另一种视频处理模型训练方法，一种视频处理方法，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的、生成视频细节较差，视频质量较差的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种图像处理模型训练方法，包括：>

3、确定目标本文档来自技高网...

【技术保护点】

1.一种图像处理模型训练方法，包括：

2.根据权利要求1所述的图像处理模型训练方法，所述确定目标对象不同视角下的多个参考图像、各参考图像中目标对象的参考姿态图像、所述目标对象的目标图像、所述目标图像中目标对象的目标姿态图像、所述目标图像对应的噪声图像，包括：

3.根据权利要求1或2所述的图像处理模型训练方法，所述确定目标对象不同视角下的多个参考图像，包括：

4.根据权利要求1所述的图像处理模型训练方法，所述获取所述各参考图像的参考图像特征、各参考姿态图像的参考姿态特征、所述目标姿态图像的目标姿态特征，包括：

5.根据权利要求4所述的图像处理...

【技术特征摘要】

1.一种图像处理模型训练方法，包括：

2.根据权利要求1所述的图像处理模型训练方法，所述确定目标对象不同视角下的多个参考图像、各参考图像中目标对象的参考姿态图像、所述目标对象的目标图像、所述目标图像中目标对象的目标姿态图像、所述目标图像对应的噪声图像，包括：

3.根据权利要求1或2所述的图像处理模型训练方法，所述确定目标对象不同视角下的多个参考图像，包括：

4.根据权利要求1所述的图像处理模型训练方法，所述获取所述各参考图像的参考图像特征、各参考姿态图像的参考姿态特征、所述目标姿态图像的目标姿态特征，包括：

5.根据权利要求4所述的图像处理模型训练方法，所述图像处理模型包括图像特征提取单元以及姿态特征提取单元；

6.根据权利要求1或5所述的图像处理模型训练方法，所述图像处理模型还包括参考网络单元以及去噪网络单元，其中，所述参考网络单元以及所述去噪网络单元具有相同的网络结构和共享初始化权重，且所述参考网络单元以及所述去噪网络单元均包括空间注意力层；

7.根据权利要求5所述的图像处理模型训练方法，所述图像特征提取单元包括第一图像特征提取层以及第二图像特征提取层；

8.根据权利要求7所述的图像处理模型训练方法，所述图像处理模型还包括参考网络单元以及去噪网络单元，其中，所述参考网络单元以及所述去噪网络单元具有相同的网络结构和共享初始化权重，且所述参考网络单元以及所述去噪网络单元均包括空间注意力层以及交叉注意力层；

9.根据权利要求8所述的图像处理模型训练方法，所述参考网络单元包括多个空间注意力层以及多个交叉注意力层；

10.根据权利要求8所述的图像处理模型训练方法，所述去噪网络单元包括多个空间注意力层以及多个交叉注意力层；

11.根据权利要求1所述的图像处理模型训练方法，...

【专利技术属性】
技术研发人员：申震，胡立，张鹏，张邦，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：