【技术实现步骤摘要】
本公开涉及数据处理方法、电子设备、可读存储介质及程序产品。
技术介绍
1、数字形象是运用数字技术创造出来的与人类形象相接近的数字化形象，例如与人类有相同外形的虚拟形象，以及与动物或者其他事物有相同外形的虚拟形象。
2、在生成数字形象时，通常需要使用给定的情感标签来控制生成的数字形象的表情和图像。如果情感标签与音频中表达的情感不相符，则可能会使得生成的数字形象在图像上和声音上的情感表达不相匹配，导致生成的数字视频无法准确表达出期望的内容。
技术实现思路
1、为了解决上述技术问题中的至少一个，本公开提供了数据处理方法、装置、电子设备、可读存储介质及计算机程序产品。
2、本公开第一方面提出了一种数据处理方法，包括：基于第一音频得到表情特征，所述表情特征能够表示数字人物形象中用于表达信息的目标部位的表情；基于所述表情特征和第一视频的图像数据得到所述目标部位的第一图像数据，所述第一视频的视频内容中包含有所述目标部位；以及基于所述第一图像数据和所述目标部位在所述第一视频的相应图像中的位置信息得到输出视频。
3、根据本公开的一个实施方式，所述用于表达信息的目标部位对应于数字人物形象的面部。
4、根据本公开的一个实施方式，所述表情特征用于表征以下一项或多项：面部的表情，面部的口型。
5、根据本公开的一个实施方式，基于第一音频得到表情特征，包括：基于第一音频确定所述第一音频的内容所对应的情感类型；以及基于所述情感类型的信息和至少部分的所述第
6、根据本公开的一个实施方式，基于所述情感类型的信息和至少部分的所述第一音频得到表情特征，包括：对至少部分的所述第一音频进行编码得到语义特征向量；以及基于情感编码和所述语义特征向量得到表情特征，所述情感编码基于所述情感类型的信息得到。
7、根据本公开的一个实施方式，基于所述表情特征和第一视频的图像数据得到所述目标部位的第一图像数据，包括：基于所述表情特征和外观特征得到所述目标部位的三维形象特征，所述外观特征基于所述第一视频得到且用于表征第一视频的图像数据中所述目标部位的外观；以及对所述三维形象特征进行光栅化渲染得到所述目标部位的第一图像数据。
8、根据本公开的一个实施方式，所述外观特征包括以下一项或多项：几何特征，纹理特征，位姿特征，光照特征。
9、根据本公开的一个实施方式，基于所述第一图像数据和所述目标部位在所述第一视频的相应图像中的位置信息得到输出视频，包括：基于所述第一图像数据和所述表情特征来进行所述目标部位的渲染得到第二图像数据；以及基于所述第二图像数据和所述目标部位在所述第一视频的相应图像中的位置信息进行图像融合，得到输出视频。
10、根据本公开的一个实施方式，基于所述第一图像数据和所述表情特征来进行所述目标部位的渲染得到第二图像数据，包括：对所述第一图像数据进行下采样得到隐空间特征编码；以及基于情感编码和所述隐空间特征编码进行上采样得到第二图像数据，所述情感编码基于所述情感类型的信息得到。
11、本公开第二方面提出了一种数据处理装置，包括：表情特征获取模块，用于基于第一音频得到表情特征，所述表情特征能够表示数字人物形象中用于表达信息的目标部位的表情；图像数据获取模块，用于基于所述表情特征和第一视频的图像数据得到所述目标部位的第一图像数据，所述第一视频的视频内容中包含有所述目标部位；以及视频生成模块，用于基于所述第一图像数据和所述目标部位在所述第一视频的相应图像中的位置信息得到输出视频。
12、本公开第三方面提出了一种电子设备，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述任一实施方式所述的数据处理方法。
13、本公开第四方面提出了一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述任一实施方式所述的数据处理方法。
14、本公开第五方面提出了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述任一实施方式所述的数据处理方法。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述用于表达信息的目标部位对应于数字人物形象的面部。
3.根据权利要求1或2所述的方法，其特征在于，基于第一音频得到表情特征，包括：
4.根据权利要求3所述的方法，其特征在于，基于所述情感类型的信息和至少部分的所述第一音频得到表情特征，包括：
5.根据权利要求1、2或4所述的方法，其特征在于，基于所述表情特征和第一视频的图像数据得到所述目标部位的第一图像数据，包括：
6.根据权利要求3所述的方法，其特征在于，基于所述第一图像数据和所述目标部位在所述第一视频的相应图像中的位置信息得到输出视频，包括：
7.根据权利要求6所述的方法，其特征在于，基于所述第一图像数据和所述表情特征来进行所述目标部位的渲染得到第二图像数据，包括：
8.一种电子设备，其特征在于，包括：
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的数据处理方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至7任一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述用于表达信息的目标部位对应于数字人物形象的面部。
3.根据权利要求1或2所述的方法，其特征在于，基于第一音频得到表情特征，包括：
4.根据权利要求3所述的方法，其特征在于，基于所述情感类型的信息和至少部分的所述第一音频得到表情特征，包括：
5.根据权利要求1、2或4所述的方法，其特征在于，基于所述表情特征和第一视频的图像数据得到所述目标部位的第一图像数据，包括：
6.根据权利要求3所述的方法，其特征在于，基于所述第一图像数...
【专利技术属性】
技术研发人员：李梅，孙瑜博，唐旻杰，陈云琳，吴玉虎，
申请(专利权)人：上海墨百意信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。