一种虚拟人物的合成方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了一种虚拟人物的合成方法、装置、设备及存储介质。该方法在构建预置形象的三维模型时，先基于包含预置形象的二维图片构建人体模型，在此基础上结合二维图片得到三维网格模型，提高了模型的准确度，而且合成虚拟人物时分为两部分，即利用形象驱动参数和包含关键点检测结果的第一图片合成虚拟人物的表情和头部姿态，得到形象合成结果，同时利用骨骼驱动参数驱动三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片，最后将形象合成结果的图片和第三图片进行融合，得到虚拟人物的合成结果，提高了合成结果的准确性。

【技术实现步骤摘要】
一种虚拟人物的合成方法、装置、设备及存储介质
本公开实施例涉及图像处理
，尤其涉及一种虚拟人物的合成方法、装置、设备及存储介质。
技术介绍
在人工智能领域，利用虚拟人物生成视频的需求和应用越来越广泛。通过传统方式合成的虚拟人物的表情和动作真实感较低，无法满足用户的需求。公开内容本公开实施例提供一种虚拟人物的合成方法、装置、设备及存储介质，可以提高虚拟人物合成结果的准确性。第一方面，本公开实施例提供了一种虚拟人物的合成方法，包括：获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；根据所述二维图片获取包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。第二方面，本公开实施例还提供了一种虚拟人物的合成装置，包括：获取模块，用于获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；形象合成结果生成模块，用于根据所述二维图片得到包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；模型生成模块，用于根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；驱动模块，用于根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；融合模块，用于融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。第三方面，本公开实施例还提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时实现如第一方面所述的虚拟人物的合成方法。第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的虚拟人物的合成方法。本公开实施例提供一种虚拟人物的合成方法、装置、设备及存储介质，通过获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；根据所述二维图片得到包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。上述方案在构建预置形象的三维模型时，是先构建预置形象的人体模型，在此基础上得到三维网格模型，提高了模型的准确度，而且合成虚拟人物时分为两部分，即利用形象驱动参数和包含关键点检测结果的第一图片合成虚拟人物的形象，同时利用骨骼驱动参数驱动三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片，最后将形象合成结果的图片和第三图片进行融合，得到虚拟人物的合成结果，提高了合成结果的准确性。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。图1为本公开实施例一提供的一种虚拟人物的合成方法的流程图；图2为本公开实施例二提供的一种虚拟人物的合成方法的流程图；图3为本公开实施例二提供的一种表情参数和头部姿态参数的确定过程示意图；图4为本公开实施例三提供的一种虚拟人物的合成方法的流程图；图5为本公开实施例四提供的一种虚拟人物的合成方法的流程图；图6为本公开实施例四提供的一种虚拟人物的合成过程示意图；图7为本公开实施例五提供的一种虚拟人物的合成装置的结构图；图8为本公开实施例六提供的一种电子设备的结构图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的对象进行区分，并非用于限定这些对象所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。实施例一图1为本公开实施例一提供的一种虚拟人物的合成方法的流程图，本实施例可适用于合成虚拟人物的情况。该方法可以由虚拟人物的合成装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在具备数据处理功能的电子设备中。如图1所示，该方法可以包括如下步骤：S110、获取人体驱动参数和包含预置人物的二维图片。其中，所述人体驱动参数包括形象驱动参数和骨骼驱动参数。人体驱动参数用于驱动当前选定的形象，使当前选定的形象生成人体驱动参数对应的表情和动作。本实施例中当前选定的形象可以是二维图片中的预置形象，该预置形象可以是真实形象，也可以是虚拟形象，真实形象可以是现实中存在的形象，虚拟形象可以是现实中不存在的形象，例如可以是应用在电视剧、漫画、游戏等作品中的卡通形象或动漫形象等。通过人体驱动参数驱动二维图片中的预置形象，可以使二维图片中的预置形象生成各种各样的表情和动作，有效解决了真实形象无法模仿某种表情和动作的问题本文档来自技高网...

【技术保护点】
1.一种虚拟人物的合成方法，其特征在于，包括：/n获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；/n根据所述二维图片获取包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；/n根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；/n根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；/n融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。/n

【技术特征摘要】
1.一种虚拟人物的合成方法，其特征在于，包括：
获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；
根据所述二维图片获取包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；
根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；
根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；
融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。


2.根据权利要求1所述的方法，其特征在于，所述目标图片用于生成视频，所述获取人体驱动参数，包括：
解析待生成视频的视频文案，得到所述视频文案包含的角色信息以及与所述角色信息对应的台词文本；
针对每一个角色信息，解析与所述角色信息对应的台词文本，得到各时间点对应的骨骼驱动参数；
将与所述角色信息对应的台词文本转换成音频信号，并根据所述音频信号的语音特征生成各时间点对应的第一表情参数和头部姿态参数；
对于所述各时间点中的每个时间点，若当前时间点不存在对应的表情脚本信息，则将所述当前时间点对应的所述第一表情参数作为表情驱动参数；若所述当前时间点存在对应的表情脚本信息，则解析所述对应的表情脚本信息，获取与所述对应的表情脚本信息对应的表情模板，得到第二表情参数；融合所述第一表情参数和第二表情参数，得到表情驱动参数；
将所述表情驱动参数、头部姿态参数和骨骼驱动参数作为与所述角色信息对应的人体驱动参数。


3.根据权利要求2所述的方法，其特征在于，所述融合所述第一表情参数和第二表情参数，得到表情驱动参数，包括：
确定所述表情脚本信息所对应表情出现的时间点以及所述所对应表情存在的持续时间；
根据当前时间点、所述表情脚本信息所对应表情出现的时间点以及所述所对应表情存在的持续时间，确定所述第二表情参数在当前时间点的权重，所述当前时间点为所述持续时间开始和结束之间的时间点；
根据所述权重对所述第二表情参数加权，并将加权后的第二表情参数与当前时间点第一表情参数的和，作为表情驱动参数。


4.根据权利要求1所述的方法，其特征在于，所述获取人体驱动参数，包括：
采集包含样本形象的视频流，得到包含样本形象的图像帧，并确定所述图像帧中样本形象的头部姿态参数、关键点的位置信息以及骨骼驱动参数；
根据设定时间内所述关键点的位置变化确定所述样本形象所处的模式，所述位置变化为所述关键点在所述设定时间内各个时间点的位置变化；
确定与所述模式对应的表情基以及所述表情基的权重，所述表情基包括表情对应的关键点的位置信息；
根据所述表情基和所述表情基的权重，确定所述样本形象在所述模式下的表情驱动参数；
将所述头部姿态参数、表情驱动参数和骨骼驱动参数作为人体驱动参数。


5.根据权利要求4所述的方法，其特征在于，所述模式包括说话模式或表情模式；
所述确定与所述模式对应的表情基以及所述表情基的权重，包括：
当所述模式为说话模式时，获取与所述说话模式对应的第一表情基；根据所述关键点在所述第一表情基中的位置和所述关键点在样本形象中的位置，确定所述第一表情基的权重；
当所述模式为表情模式时，获取与所述表情模式对应的第二表情基；根据所述关键点在所述第二表情基中的位置和所述关键点在样本形象中的位置，确定所述第二表情基的权重。


6.根据权利要...

【专利技术属性】
技术研发人员：焦少慧，张启军，杜绪晗，程京，苏再卿，肖勤，张清源，王悦，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11