【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种数据处理方法及相关设备。
技术介绍
1、随着元宇宙概念的提出，“虚拟数字人”被视为未来人类进入元宇宙的介质，随之站上舆论风口。随着驱动技术的成熟，虚拟数字人必将在虚拟客服、虚拟导购、虚拟讲解员等更多实际能够变现的场景中得到更广泛的应用。
2、目前，在如何驱动虚拟数字人模仿人类行为上，主要有几种主流方法：纯人工建模、动捕建模。其中，纯人工建模方式在超写实的虚拟人或者明星的虚拟人上应用较多，但人工制作周期较长，且成本非常高。动捕建模方式通过借助于外部扫描设备采集模型数据来完成驱动，相比于纯人工建模的方式，时间与成本会低很多，常用于影视、直播等泛娱乐化行业，但需要真人演员参与，无法提升生产效率。
3、因此，如何实现不同风格在动画动作之间进行迁移是亟待解决的技术问题。
技术实现思路
1、本申请实施例提供了一种数据处理方法及相关设备。用于实现在不改变原图像序列其他特征的情况下进行风格化的动画编辑，提升动画的风格迁移效果。
2、本申请实施例第一方面提供了一种数据处理方法，可以应用于动画的风格迁移等场景。该方法可以由数据处理设备执行，也可以由数据处理设备的部件(例如处理器、芯片、或芯片系统等)执行。该方法包括：获取第一风格信息；获取第一图像序列的动作信息；基于第一风格信息与动作信息生成第二图像序列，第二图像序列与第一图像序列的动作类型相同，第二图像序列具有第一风格信息。其中，上述的风格信息可以理解为是对图像序列的风格描述，该风格包
3、本申请实施例中，通过风格信息与动作信息的分离获取，并基于该第一风格信息与动作信息生成第二图像序列。以实现在不改变原图像序列其他特征的情况下进行风格化的动画编辑，提升动画的风格迁移效果。
4、可选地，在第一方面的一种可能的实现方式中，上述步骤获取第一风格信息之前，方法还包括：获取第三图像序列；获取第一风格信息，包括：基于第三图像序列获取第一风格信息。
5、该种可能的实现方式中，通过其他第三图像序列获取第一风格信息，可以弥补用户对某一类风格信息难以描述的缺陷。
6、可选地，在第一方面的一种可能的实现方式中，上述步骤：基于第三图像序列获取第一风格信息，包括：提取第三图像序列的第二风格信息；基于第二风格信息确定第一风格信息。
7、该种可能的实现方式中，直接将第三图像序列的风格信息作为后续要迁移至第一图像序列上的风格信息，进而使得生成的第二图像序列的风格与第三图像序列的风格类似或相同，从而满足风格的精准迁移。
8、可选地，在第一方面的一种可能的实现方式中，上述步骤：基于第二风格信息确定第一风格信息，包括：将第二风格信息作为第一风格信息。
9、该种可能的实现方式中，直接将第三图像序列的风格信息作为后续要迁移至第一图像序列上的风格信息，进而使得生成的第二图像序列的风格与第三图像序列的风格类似或相同，弥补用户对某一类风格信息难以描述的缺陷，从而满足风格的精准迁移。
10、可选地，在第一方面的一种可能的实现方式中，上述步骤：基于第二风格信息确定第一风格信息，包括：向用户显示第二语义标签，第二语义标签用于描述第二风格信息；基于用户的第一操作将第二语义标签修改为第一语义标签，第一语义标签用于描述第一风格信息；基于第一语义标签确定第一风格信息。
11、该种可能的实现方式中，用户在第三图像序列的基础上，通过操作修改语义标签，以实现风格信息的描述与保证用户需求，实现后续生成的第二图像序列可以满足用户对图像序列的风格需求。或者理解为，使用标签显式化风格信息，可让用户对风格信息有个定量及定性的分析，进而清楚地知道如何量化描述自己的需求。此外，通过对用户需求的解析，配合视频能覆盖任意风格的优势，使得本申请实施例能生成任意定制化的风格化数字人动画。
12、可选地，在第一方面的一种可能的实现方式中，上述第三图像序列为二维动画的图像序列，第二风格信息为二维风格信息，第一风格信息为三维风格信息，第一图像序列与第二图像序列为三维动画的图像序列。
13、该种可能的实现方式中，2d视频的存量够大，可以实现将2d视频的任意风格信息迁移至3d原始视频以得到3d目标视频。
14、可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：向用户显示第一界面，第一界面包括多个语义标签，多个语义标签用于描述不同图像序列的不同风格信息，多个语义标签与风格信息一一对应；获取第一风格信息，包括：基于用户的第二操作从多个语义标签中确定第一语义标签；基于第一语义标签确定第一风格信息。
15、该种可能的实现方式中，该种可能的实现方式中，可以理解为离线完成从视频中提取任意风格，并生成特征库。用户只需上传要求的个性化风格的语义标签，进而实现自动从特征库中识别标签对应的风格信息。
16、可选地，在第一方面的一种可能的实现方式中，上述步骤：基于第一风格信息与动作信息生成第二图像序列，包括：融合第一风格信息与动作信息以得到第一运动特征；基于第一运动特征获取第二图像序列。
17、该种可能的实现方式中，将第一语义标签表示的第一风格信息与原图像序列的动作信息进行融合以得到第一运动特征。因此，基于该第一运动特征获取的第二图像序列，在不改变原图像序列其他特征的情况下实现风格迁移。
18、可选地，在第一方面的一种可能的实现方式中，上述动作信息包括以下一项或多项：面部表情序列、肢体图像序列。
19、该种可能的实现方式中，该种可能的实现方式中，该方法不仅可以应用于肢体动作的风格迁移，还可以应用于面部表情的风格迁移等，适用场景广泛。
20、可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：将第二图像序列渲染至虚拟物体以得到动画。
21、该种可能的实现方式中，该种可能的实现方式中，可以适用于2d动画至2d动画、2d动画至3d动画或3d动画至3d动画的风格迁移场景。
22、可选地，在第一方面的一种可能的实现方式中，上述图像序列的风格信息包括显式风格信息与隐式风格信息，第二语义标签具体用于关联第二风格信息中的显式风格信息。
23、该种可能的实现方式中，通过将风格信息进行显式与隐式的分解，进而可以实现用户对显式风格信息的编辑。并将编辑后的显式风格信息与隐式风格信息生成修改后的风格信息。
24、可选地，在第一方面的一种可能的实现方式中，上述步骤：提取第一图像序列的动作信息，包括：将第一图像序列输入内容编码器以得到动作信息；提取第三图像序列的第二风格信息，包括：将第三图像序列输入风格编码器以得到第二风格信息。
25、可本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取第一风格信息之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述第三图像序列获取所述第一风格信息，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第二风格信息确定所述第一风格信息，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述第二风格信息确定所述第一风格信息，包括：
6.根据权利要求2至5中任一项所述的方法，其特征在于，所述第三图像序列为二维动画的图像序列，所述第二风格信息为二维风格信息，所述第一风格信息为三维风格信息，所述第一图像序列与所述第二图像序列为三维动画的图像序列。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述基于所述第一风格信息与所述动作信息生成第二图像序列，包括：
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述动作信息包括以下一项或多
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述方法还包括：
11.一种数据处理设备，其特征在于，所述数据处理设备包括：
12.根据权利要求11所述的设备，其特征在于，所述获取单元，还用于获取第三图像序列；
13.根据权利要求12所述的设备，其特征在于，所述获取单元，具体用于提取所述第三图像序列的第二风格信息；
14.根据权利要求13所述的设备，其特征在于，所述获取单元，具体用于将所述第二风格信息作为所述第一风格信息。
15.根据权利要求13所述的设备，其特征在于，所述获取单元，具体用于向用户显示第二语义标签，所述第二语义标签用于描述所述第二风格信息；
16.根据权利要求12至15中任一项所述的设备，其特征在于，所述第三图像序列为二维动画的图像序列，所述第二风格信息为二维风格信息，所述第一风格信息为三维风格信息，所述第一图像序列与所述第二图像序列为三维动画的图像序列。
17.根据权利要求11所述的设备，其特征在于，所述数据处理设备还包括：
18.根据权利要求11至17中任一项所述的设备，其特征在于，所述生成单元，具体用于融合所述第一风格信息与所述动作信息以得到第一运动特征；
19.根据权利要求11至18中任一项所述的设备，其特征在于，所述动作信息包括以下一项或多项：面部表情序列、肢体图像序列。
20.根据权利要求11至19中任一项所述的设备，其特征在于，所述数据处理设备还包括：
21.一种数据处理设备，其特征在于，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序或指令，当所述程序或指令被所述处理器执行时，使得所述数据处理设备执行如权利要求1至10中任一项所述的方法。
22.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在数据处理设备上运行时，使得所述数据处理设备执行如权利要求1至10中任一项所述的方法。
23.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至10中任一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取第一风格信息之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述第三图像序列获取所述第一风格信息，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第二风格信息确定所述第一风格信息，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述第二风格信息确定所述第一风格信息，包括：
6.根据权利要求2至5中任一项所述的方法，其特征在于，所述第三图像序列为二维动画的图像序列，所述第二风格信息为二维风格信息，所述第一风格信息为三维风格信息，所述第一图像序列与所述第二图像序列为三维动画的图像序列。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述基于所述第一风格信息与所述动作信息生成第二图像序列，包括：
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述动作信息包括以下一项或多项：面部表情序列、肢体图像序列。
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述方法还包括：
11.一种数据处理设备，其特征在于，所述数据处理设备包括：
12.根据权利要求11所述的设备，其特征在于，所述获取单元，还用于获取第三图像序列；
13.根据权利要求12所述的设备，其特征在于，所述获取单元，具体用于提取所述第三图像序列的第二风格信息；
14.根据权利要求13所述的设备，其...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。