本发明专利技术提供一种基于统一驱动的人脸渲染方法、装置、设备及存储介质，涉及人工智能技术领域。该方法包括：获取目标源数据，其中所述目标源数据至少包括：初始人脸图像；将所述初始人脸图像输入预设的驱动模型，输出与所述初始人脸图像对应的三维人脸参数，其中，所述三维人脸参数是所述驱动模型对所述初始人脸图像进行提取和转换得到的；根据预设的渲染策略，对所述三维人脸参数进行渲染，生成目标人脸图像。通过本发明专利技术提供的实施例不仅能提高驱动精度，而且解耦了驱动与渲染。而且解耦了驱动与渲染。而且解耦了驱动与渲染。
【技术实现步骤摘要】
基于统一驱动的人脸渲染方法、装置、设备及存储介质
[0001]本专利技术涉及人工智能
，尤其涉及一种基于统一驱动的人脸渲染方法、装置、设备及存储介质。
技术介绍
[0002]在利用人工智能进行人脸三维重建时，从中间表达的角度分析，当前现有技术中基于人工智能驱动的技术方案主要包括以下几种：第一种，以潜变量（latent）作为中间表达，进行端到端训练。如通过对比学习解耦ID、语音和头部姿态，使生成的驱动视频可以从不同驱动源分别获取ID、嘴形及头部姿态进行可控驱动，经过GAN框架生成图像，通过解耦expression（表情）中的eye blink（眨眼）和mouth（嘴形），结合对比学习连结mouth embedding（嘴开口）和audio embedding（嵌入音频），也能够从不同驱动源分别获取头部姿态，表情及嘴形特征，驱动radience field（辐射场）生成person specific（个人特定）的渲染图像。然而由于整体为基于端到端训练，存在驱动和渲染耦合的情况，即学习出来的2D latent space（2D潜变量空间）跟训练阶段使用的生成器强相关，导致latent难以覆用于其他生成器; 而且因为是端到端的训练，没有对学习出来的latent做约束和监督，所以即使用相同的生成器和网路结构，如果训练数据不同，那么学习出来的latent也没法交叉使用，耦合问题严重。
[0003]第二种，同样以latent作为中间表达，端到端训练，但第一种现有技术的虚拟人建模以图片为主。第二种则以计算机图形学中常用的mesh（网格）和texture（纹理）来表达，也就是说latent（潜变量）中包含了3D几何变化的信息。比如Deep Appearance Models（深度外貌模型）用7306个3维坐标的vertex（顶点）表示几何结构，用2D texture map（2D纹理图）表示纹理，通过person specific（个人特定）的端到端VAE结构训练，使其latent（潜变量）空间编码了以expression（表情）为主的信息，通过geometry（几何图形）和texture（纹理）解码器分别解码出latent（潜变量）对应的几何和纹理信息，也就是改变latent（潜变量）来实现驱动。Authentic Volumetric Avatars（逼真三维头像）则以position map（位置图）取代vertex（顶点）来表示3D几何结构，另加入ID encoder（ID编码器）和gaze encoder（眼神编码器）作ID和gaze的显式控制，支持通用 (非person specific（个人特定）) 的驱动，但中间表达仍然以expression（表情）为主，通过geometry（几何）和appearance（外观）解码器 (condition on ID（以ID作输入）) 分别解码出latent（潜变量）对应的几何和纹理信息。此种方案不仅存在与第一种方案存在相同的问题，而且由于训练数据除图像 (纹理) 外，还额外引入了3D几何坐标作为输入，因此latent空间储存的信息量较第一类丰富，可分别解码出纹理及几何，但构建该训练数据的前期配准成本和工作量巨大。
[0004]第三种，以参数化模型作为中间表达，先对驱动源和被驱动源分别提取每帧人脸的3DMM（三维人脸统计模型）参数，然后将被驱动源的参数替换成驱动源的，由此获得驱动后的3DMM参数，再经过一个conditional decoder（条件式解码器）解码出驱动图像，此种方法驱动效果受制于3DMM表达能力以及fitting（参数匹配）方法，做到了驱动跟渲染解耦，但
以牺牲驱动精度为代价，驱动不够精确。
技术实现思路
[0005]本专利技术提供一种基于统一驱动的人脸渲染方法、装置、设备及存储介质，不仅能提高驱动精度，而且解耦了驱动与渲染。
[0006]第一方面，本专利技术提供一种基于统一驱动的人脸渲染方法，所述方法包括：获取目标源数据，其中所述目标源数据至少包括：初始人脸图像；将所述初始人脸图像输入预设的驱动模型，输出与所述初始人脸图像对应的三维人脸参数，其中，所述三维人脸参数是所述驱动模型对所述初始人脸图像进行提取和转换得到的；根据预设的渲染策略，对所述三维人脸参数进行渲染，生成目标人脸图像。
[0007]优选地，根据本专利技术提供的基于统一驱动的人脸渲染方法，所述获取目标源数据至少包括：获取多个初始数据；根据每一所述初始数据的属性，按照预设属性分类策略对多个所述初始数据进行分类提取处理，得到多个子数据集；从所述子数据集中筛选出目标数据集，并从所述目标数据集中筛选出所述目标源数据。
[0008]优选地，根据本专利技术提供的基于统一驱动的人脸渲染方法，所述驱动模型至少包括：潜变量提取模型、潜变量转换模型；所述将所述初始人脸图像输入预设的驱动模型，输出与所述初始人脸图像对应的三维人脸参数，包括：将所述初始人脸图像输入所述潜变量提取模型，提取出与所述初始人脸图像对应的人脸潜变量特征；利用所述潜变量转换模型将所述人脸潜变量特征转换为对应的三维人脸参数。
[0009]优选地，根据本专利技术提供的基于统一驱动的人脸渲染方法，所述人脸潜变量特征至少包括：第一人脸特征、人脸动作特征；所述将所述初始人脸图像输入所述潜变量提取模型，提取出与所述初始人脸图像对应的人脸潜变量特征，包括：将所述初始人脸图像输入预设的人脸识别模型，并利用所述人脸识别模型中的第一编码器对所述初始人脸图像进行第一提取处理，得到对应的所述第一人脸特征；以及利用所述人脸识别模型中的第二编码器对所述初始人脸图像进行第二提取处理，得到对应的第二人脸特征；对所述第二人脸特征进行解耦处理，生成多个所述人脸动作特征。
[0010]优选地，根据本专利技术提供的基于统一驱动的人脸渲染方法，所述利用所述潜变量转换模型将所述人脸潜变量特征转换为对应的三维人脸参数，包括：获取三维人脸统计模型的多个初始人脸参数；构建每一所述初始人脸参数分别与所述第一人脸特征、所述人脸动作特征之间的
映射关系；基于所述映射关系，利用所述潜变量转换模型的多层感知器，分别将所述第一人脸特征和所述人脸动作特征转换为所述三维人脸参数。
[0011]优选地，根据本专利技术提供的基于统一驱动的人脸渲染方法，所述根据预设的渲染策略，对所述三维人脸参数进行渲染，生成目标人脸图像，包括：根据预设的渲染策略，调用与所述渲染策略对应的图像渲染模型；利用所述图像渲染模型对所述三维人脸参数进行渲染，生成所述目标人脸图像。
[0012]第二方面，本专利技术还提供一种基于统一驱动的人脸渲染装置，所述装置包括：获取模块，用于获取目标源数据，其中所述目标源数据至少包括：初始人脸图像；识别模块，用于将所述初始人脸图像输入预设的驱动模型，输出与所述初始人脸图像对应的三维人脸参数，其中，所述三维人脸参数是所述驱动模型对所述初始人脸图像进行提取和转换得到的；渲染模块，用于根据预设的渲染策略，对所述三维人脸参数进行渲染，生成目标人脸图像。
[0013]第三方面本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于统一驱动的人脸渲染方法，其特征在于，包括：获取目标源数据，其中所述目标源数据至少包括：初始人脸图像；将所述初始人脸图像输入预设的驱动模型，输出与所述初始人脸图像对应的三维人脸参数，其中，所述三维人脸参数是所述驱动模型对所述初始人脸图像进行提取和转换得到的；根据预设的渲染策略，对所述三维人脸参数进行渲染，生成目标人脸图像。2.根据权利要求1所述的基于统一驱动的人脸渲染方法，其特征在于，所述获取目标源数据至少包括：获取多个初始数据；根据每一所述初始数据的属性，按照预设属性分类策略对多个所述初始数据进行分类提取处理，得到多个子数据集；从多个所述子数据集中筛选出目标数据集，并从所述目标数据集中筛选出所述目标源数据。3.根据权利要求1所述的基于统一驱动的人脸渲染方法，其特征在于，所述驱动模型至少包括：潜变量提取模型、潜变量转换模型；所述将所述初始人脸图像输入预设的驱动模型，输出与所述初始人脸图像对应的三维人脸参数，包括：将所述初始人脸图像输入所述潜变量提取模型，提取出与所述初始人脸图像对应的人脸潜变量特征；利用所述潜变量转换模型将所述人脸潜变量特征转换为对应的三维人脸参数。4.根据权利要求3所述的基于统一驱动的人脸渲染方法，其特征在于，所述人脸潜变量特征至少包括：第一人脸特征、人脸动作特征；所述将所述初始人脸图像输入所述潜变量提取模型，提取出与所述初始人脸图像对应的人脸潜变量特征，包括：将所述初始人脸图像输入预设的人脸识别模型，并利用所述人脸识别模型中的第一编码器对所述初始人脸图像进行第一提取处理，得到对应的所述第一人脸特征；以及利用所述人脸识别模型中的第二编码器对所述初始人脸图像进行第二提取处理，得到对应的第二人脸特征；对所述第二人脸特征进行解耦处理，生成多个所述人脸动作特征。5.根据权利要求4所述的基于统...
【专利技术属性】
技术研发人员：王文斓，
申请(专利权)人：北京红棉小冰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。