本申请公开了一种图像处理方法、装置、设备、存储介质及程序产品，涉及人工智能技术领域，可用于肢体图像的生成，其中，获取参考肢体纹理图像，参考肢体纹理图像用于指示期望生成肢体图像的纹理；获取参考肢体姿势信息，参考肢体姿势信息用于指示期望生成肢体图像的姿势；确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像；根据参考肢体纹理图像和参考肢体姿势信息，通过噪声预测模型获取对应高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。相较于相关技术，本申请能够提高肢体图像的生成灵活性。
【技术实现步骤摘要】
本申请涉及人工智能，具体涉及一种图像处理方法、图像处理装置、电子设备、计算机可读存储介质及计算机程序产品。
技术介绍
1、生成式模型，是近年来在人工智能领域中备受瞩目的一项技术。它不仅可以用于语音合成、图像生成等领域，还能够应用于自然语言处理、机器翻译等方面。
2、其中，图像生成作为生成式模型的一种重要应用，可以用于生成各种类型的图像，例如生成人脸图像、艺术画作、肢体图像等。根据不同的图像生成需求，可以使用不同的生成式模型。然而，在相关技术中，通过生成式模型进行肢体图像的生成时，通常关注于生成的肢体图像的纹理质量，导致生成的肢体图像的肢体姿势单一，灵活性较差。
技术实现思路
1、本申请实施例提供一种图像处理方法、图像处理装置、电子设备、计算机可读存储介质及计算机产品，可以提高生成肢体图像的灵活性。
2、第一方面，本申请提供的图像处理方法，包括：
3、获取参考肢体纹理图像，参考肢体纹理图像用于指示期望生成肢体图像的纹理；
4、获取参考肢体姿势信息，参考肢体姿势信息用于指示期望生成肢体图像的姿势；
5、确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像；
6、根据参考肢体纹理图像和参考肢体姿势信息，通过噪声预测模型获取对应高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。
7、第二方面，本申请提供的图像处理装置，包括：
>8、纹理获取模块，用于获取参考肢体纹理图像，参考肢体纹理图像用于指示期望生成肢体图像的纹理；9、姿势获取模块，用于获取参考肢体姿势信息，参考肢体姿势信息用于指示期望生成肢体图像的姿势；
10、噪声获取模块，用于确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像；
11、图像降噪模块，用于根据参考肢体纹理图像和参考肢体姿势信息，通过噪声预测模型获取对应高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。
12、可选的，在一实施例中，图像降噪模块用于通过噪声预测模型，提取参考肢体纹理图像的纹理特征，以及提取参考肢体姿势信息的姿势特征；以及根据纹理特征和姿势特征，通过噪声预测模型获取高斯噪声图像的预测高斯噪声，并根据预测高斯噪声，对高斯噪声图像进行降噪处理，生成对应的肢体图像。
13、可选的，在一实施例中，图像降噪模块用于通过噪声预测模型，融合纹理特征和姿势特征，得到融合特征；以及根据融合特征，通过噪声预测模型获取高斯噪声图像在第t个时间步的预测高斯噪声，并根据第t个时间步的预测高斯噪声，对高斯噪声图像进行降噪处理，得到第t-1个时间步降噪图像；以及根据融合特征，通过噪声预测模型获取第t个时间步降噪图像在第t个时间步的预测高斯噪声，并根据第t个时间步的预测高斯噪声，对第t个时间步降噪图像进行降噪处理，得到第t-1个时间步降噪图像，t∈[t-1，1]；以及根据第0个时间步降噪图像，得到对应的肢体图像。
14、可选的，在一实施例中，图像降噪模块用于根据纹理特征和姿势特征，通过噪声预测模型进行交叉注意力运算，得到注意力权重；以及根据注意力权重，通过噪声预测模型对纹理特征进行加权运算，得到融合特征。
15、可选的，在一实施例中，图像降噪模块用于将纹理特征作为键特征和值特征，将姿势特征作为查询特征，通过噪声预测模型进行交叉注意力运算，得到注意力权重。
16、可选的，在一实施例中，本申请提供的图像处理装置还包括第一模型训练模块，用于获取样本肢体图像，以及获取对应样本肢体图像的样本参考肢体纹理图像和样本参考肢体姿势信息；以及获取对应样本肢体图像的样本高斯噪声，并根据样本高斯噪声，对样本肢体图像进行加噪处理，得到样本加噪图像；以及根据样本参考肢体纹理图像和样本参考肢体姿势信息，通过噪声预测模型获取样本肢体图像在样本时间步的样本预测高斯噪声；以及根据样本预测高斯噪声和样本高斯噪声的差异，更新噪声预测模型的网络参数，直至满足第一预设停止条件。
17、可选的，在一实施例中，纹理获取模块用于确定目标功能模型的训练需求，获取符合训练需求的参考肢体纹理图像；
18、姿势获取模块用于获取符合训练需求的参考肢体姿势信息；
19、本申请提供的图像处理装置还包括第二模型训练模块，用于将生成的肢体图像作为训练样本训练目标功能模型，直至满足第二预设停止条件。
20、可选的，在一实施例中，纹理获取模块用于获取表演对象的肢体的纹理图像作为参考肢体纹理图像；
21、姿势获取模块用于获取表演对象的肢体的姿势信息作为参考肢体姿势信息；
22、本申请提供的图像处理装置还包括贴图模块，用于根据肢体图像，生成对应表演对象的虚拟形象模型的肢体贴图，并将肢体贴图添加至虚拟形象模型。
23、可选的，在一实施例中，纹理获取模块用于获取目标对象的待修复对象图像，待修复对象图像中的肢体区域被遮挡；以及获取对应待修复对象图像的历史对象图像，历史对象图像中的肢体区域未被遮挡；以及截取历史对象图像中肢体区域的图像内容作为参考肢体纹理图像；
24、姿势获取模块用于根据目标对象在历史对象图像中的肢体姿势信息，预测目标对象在待修复对象图像中的肢体姿势信息作为参考肢体姿势信息；
25、本申请提供的图像处理装置还包括修复模块，用于根据肢体图像，对待修复对象图像进行修复，得到目标对象的修复图像。
26、第三方面，本申请提供的电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器用于运行存储器内的计算机程序，实现本申请所提供的图像处理方法中的步骤。
27、第四方面，本申请提供的计算机可读存储介质，存储有计算机程序，该计算机程序适于处理器运行，实现本申请所提供的图像处理方法中的步骤。
28、第五方面，本申请提供的计算机程序产品，包括计算机程序，该计算机程序适于处理器运行，实现本申请所提供的图像处理方法中的步骤。
29、本申请提供的图像处理方案，获取到用于指示期望生成肢体图像的纹理的参考肢体纹理图像，以及获取到用于指示期望生成肢体图像的姿势的参考肢体姿势纹理图像，然后确定期望生成肢体图像的目标图像尺寸，并获取图像尺寸为目标图像尺寸的高斯噪声图像，最后以获取到的参考肢体纹理图像和参考肢体姿势信息为引导，通过噪声预测模型获取到高斯噪声图像“被添加”的预测高斯噪声，并根据该预测高斯噪声对高斯噪声图像进行降噪处理，生成对应的肢体图像。以此，通过将肢体的纹理和姿势解耦，分别作为肢体图像的生成引导，能够有效控制生成肢体图像的纹理和姿势，从而可以生成具有期望姿势和期望纹理的肢体图像，达到提高肢体图像的生成灵活性的目的。
本文档来自技高网...
【技术保护点】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述参考肢体纹理图像和所述参考肢体姿势信息，通过噪声预测模型获取对应所述高斯噪声图像的预测高斯噪声，并根据所述预测高斯噪声，对所述高斯噪声图像进行降噪处理，生成对应的肢体图像，包括：
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述纹理特征和所述姿势特征，通过所述噪声预测模型获取所述高斯噪声图像的预测高斯噪声，并根据所述预测高斯噪声，对所述高斯噪声图像进行降噪处理，生成对应的肢体图像，包括：
4.根据权利要求3所述的图像处理方法，其特征在于，通过所述噪声预测模型，融合所述纹理特征和所述姿势特征，得到融合特征，包括：
5.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述纹理特征和所述姿势特征，通过所述噪声预测模型进行交叉注意力运算，得到注意力权重，包括：
6.根据权利要求3所述的图像处理方法，其特征在于，所述获取参考肢体纹理图像之前，还包括：
7.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述获取参考肢体纹理图像，包括：
8.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述获取参考肢体纹理图像，包括：
9.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述获取参考肢体纹理图像，包括：
10.一种图像处理装置，其特征在于，包括：
11.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述存储器内的计算机程序，以实现权利要求1至9任一项所述的图像处理方法中的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器执行，以实现权利要求1至9任一项所述的图像处理方法中的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的图像处理方法中的步骤。
...
【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述参考肢体纹理图像和所述参考肢体姿势信息，通过噪声预测模型获取对应所述高斯噪声图像的预测高斯噪声，并根据所述预测高斯噪声，对所述高斯噪声图像进行降噪处理，生成对应的肢体图像，包括：
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述纹理特征和所述姿势特征，通过所述噪声预测模型获取所述高斯噪声图像的预测高斯噪声，并根据所述预测高斯噪声，对所述高斯噪声图像进行降噪处理，生成对应的肢体图像，包括：
4.根据权利要求3所述的图像处理方法，其特征在于，通过所述噪声预测模型，融合所述纹理特征和所述姿势特征，得到融合特征，包括：
5.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述纹理特征和所述姿势特征，通过所述噪声预测模型进行交叉注意力运算，得到注意力权重，包括：
6.根据权利要求3所述的图像处理方法，其特征在于，所述获取参考肢体...
【专利技术属性】
技术研发人员：沈雷，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。