图像处理方法、图像处理模型和训练方法技术

本公开提供了一种图像处理方法、图像处理模型和训练方法，人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景。实现方案为：确定包括目标对象的目标图像序列；对所述目标图像序列进行编码，以得到目标离散序列，其中所述目标离散序列中的每个元素对应于所述目标图像序列中的图像的一局部区域；基于各个元素对应的局部区域的解码图像特征确定对应于所述目标图像序列的解码特征序列；对所述解码特征序列进行解码，以得到包括所述目标对象的预测图像序列。象的预测图像序列。象的预测图像序列。

【技术实现步骤摘要】
图像处理方法、图像处理模型和训练方法


[0001]本公开涉及人工智能
，具体为计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于元宇宙、数字人等场景，具体涉及一种图像处理方法、图像处理装置、图像处理模型、对图像处理模型进行训练的方法、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
专利技术内容
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：确定包括目标对象的目标图像序列；对所述目标图像序列进行编码，以得到目标离散序列，其中所述目标离散序列中的每个元素对应于所述目标图像序列中的图像的一局部区域；基于各个元素对应的局部区域的解码图像特征确定对应于所述目标图像序列的解码特征序列；对所述解码特征序列进行解码，以得到包括所述目标对象的预测图像序列。2.如权利要求1所述的图像处理方法，其中，确定包括目标对象的目标图像序列包括：确定包含目标对象的原始图像序列；基于所述原始图像序列确定所述目标对象的原始关键点序列；确定用于对目标对象进行人脸驱动的驱动图像序列；基于所述驱动图像序列确定用于目标对象的驱动表情参数；利用所述表情参数对所述原始关键点序列进行调整，以得到所述目标图像序列。3.如权利要求2所述的图像处理方法，其中，所述预测图像序列包括由所述驱动表情参数驱动的目标对象。4.如权利要求1
‑
3中任一项所述的图像处理方法，其中，对所述目标图像序列进行编码包括：利用图像编码器对所述目标图像序列中的各个图像进行编码，以得到分别对应于各个图像的各个全局编码图像特征，其中每个全局编码图像特征包括多个局部图像特征；对所述各个全局编码图像特征中的局部图像特征进行重排，以得到局部图像特征序列；利用时序模型对所述局部图像特征序列进行处理，以得到所述目标离散序列。5.如权利要求1
‑
3中任一项所述的图像处理方法，其中，基于各个元素对应的局部区域的解码图像特征确定对应于所述目标图像序列的解码特征序列包括：对所述各个元素对应的解码图像特征进行重排，以得到对应于所述目标图像序列中各个图像的全局解码特征，基于所述目标图像序列对所述全局解码特征进行排列以得到所述解码特征序列。6.如权利要求1
‑
3中任一项所述的图像处理方法，其中，所述各个元素对应的解码图像特征是通过以下方式确定的：通过在特征字典中进行查找确定各个元素对应的特征图作为解码图像特征。7.如权利要求6所述的图像处理方法，其中所述元素为整数，所述特征字典指示整数与预定的特征图之间的映射关系。8.一种图像处理模型，包括：目标确定单元，被配置成确定包括目标对象的目标图像序列；编码单元，所述编码单元被配置成对目标图像序列进行编码，以得到目标离散序列，其中所述目标离散序列中的每个元素对应于所述目标图像序列中的图像的一局部区域；映射单元，被配置成基于各个元素对应的局部区域的解码图像特征确定对应于所述目标图像序列的解码特征序列；以及解码单元，被配置成对所述解码特征序列进行解码，以得到包括所述目标对象的预测
图像序列。9.如权利要求8所述的图像处理模型，其中，所述目标处理单元被配置成：确定包含目标对象的原始图像序列；基于所述原始图像序列确定所述目标对象的原始关键点序列；确定用于对目标对象进行人脸驱动的驱动图像序列；基于所述驱动图像序列确定用于目标对象的驱动表情参数；利用所述表情参数对所述原始关键点序列进行调整，以得到所述目标图像序列。10.如权利要求9所述的图像处理模型，其中，所述预测图像序列包括由所述驱动表情参数驱动的目标对象。11.如权利要求8
‑
10中任一项所述的图像处理模型，其中，所述编码单元包括图像编码器和时序模型的级联结构，所述对所述目标图像序列进行编码包括：利用所述图像编码器对所述目标图像序列中的各个图像进行编码，以得到分别对应于各个图像的各个全局编码图像特征，其中每个全局编码图像特征包括多个局部图像特征；对所述各个全局编码图像特征中的局部图像特征进行重排，以得到局部图像特征序列；利用所述时序模型对所述局部图像特征序列进行处理，以得到所述目标离散序列。12.如权利要求8
‑
10中任一项所述的图像处理模型，其中，基于各个元素对应的局部区域的解码图像特征确定对应于所述目标图像序列的解码特征序列包括：对所述各个元素对应的解码图像特征进行重排，以得到对应于所述目标图像序列中各个图像的全局解码特征，基于所述目标图像序列对所述全局解码特征进行排列以得到所述解码特征序列。13.如权利要求8
‑
10中任一项所述的图像处理模型，其中，所述各个元素对应的解码图像特征是通过以下方式确定的：通过在特征字典中进行查找确定各个元素对应的解码图像特征。14.如权利要求13所述的图像处理模型，其中所述元素为整数，所述特征字典指示整数与预定的特征图之间的映射关系。15.一种对图像处理模型进行训练的方法，其中，训练样本集合为包括目标对象的原始图像序列，所述方法包括：利用所述图像处理模型中的编码单元对样本图像序列进行编码，以得到样本离散序列，其中所述样本离散序列中的每个元素对应于所述样本图像序列中的样本图像的一局部区域，利用所述图像处理模型中的映射单元基于各个元素对应的局部区域的解码图像特征确定对应于所述样本图像序列的解码特征序列；利用所述图像处理模型中的解码单元对所述样本图像序列的解码特征序列进行解码，以得到包括所述目标对象的重建图像序列；基于所述重建图像序列与所述样本图像序列之间的差异调整所述编码单元的参数。
16.如权利要求15所述的方法，其中，所述编码单元包括图像编码器和时序模型的级联结构，利用所述图像处理模型中的编码单元对所述样本图像序列进行编码，以得到样本离散序列包括：利用图像编码...

【专利技术属性】
技术研发人员：周航，王凯思源，刘经拓，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：