数字人脸形象更换方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术，揭露一种数字人脸形象更换方法，包括：对待更换人脸视频进行人脸编码处理，得到待更换人脸表征；将从新人脸图像中提取的新人脸的身份特征向量注入待更换人脸表征中，得到替换身份后的人脸表征；将替换身份后的人脸表征与从待更换人脸视频中获取的多通道语音表征图进行特征合并处理，得到合并后的特征图；对合并后的特征图进行解码处理。本发明专利技术还涉及区块链技术，待更换人脸视频存储于区块链中。本发明专利技术能够解决现有技术中，对于数字人脸生成技术主要聚焦于语音驱动数字人说话人脸生成任务，缺少一种生成人脸的形象快速、边界变更的可行方案等问题。边界变更的可行方案等问题。边界变更的可行方案等问题。

【技术实现步骤摘要】
数字人脸形象更换方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种数字人脸形象更换方法、装置、设备及存储介质。

技术介绍

[0002]语音驱动的人脸生成是人工智能研究及数字媒体领域中受到广泛关注的研究课题，是虚拟数字人等应用走向落地过程中涉及的关键技术，有着重要的实用价值和经济价值。比如在面对面对接的客服行业中，人工客服往往按照固定的问询话术为客户提供服务，而这一过程可以结合人工智能技术使用语音驱动的真实感数字人脸生成系统进行替代。这样的系统可以为客户营造一个极其真实的对话形象，不仅可以帮助提高服务质量，而且可以极大地解放人力资源。
[0003]现有的语音驱动数字人脸生成技术方案功能比较单一，虽然可以在给定任意语音和任意目标人脸视频的情况下生成语音和口型高度同步的目标人脸视频。但是为了呈现给客户令人满意的数字形象，这一过程需要录制数字人形象的真人模板视频(即目标人脸视频)。为了得到视觉效果良好的面部动态，录制视频数据这一过程会耗费较多的人力、时间和精力，一旦遇到需要更换形象的情况，会加剧时间成本和沟通成本，不能很好地应对需求的变化。
[0004]从输入的语音数字信号到生成的2D、3D数字人脸是一个跨模态的复杂过程。目前的数字人脸生成技术主要聚焦于语音驱动数字人说话人脸生成任务，即给定任意语音和任意目标人脸视频的情况下生成语音和口型高度同步的目标人脸视频，若想要更改人脸形象，则需要重新录制人形象的真人模板视频，耗费较多的人力、时间和精力，目前缺少一种生成人脸的形象快捷变更的可行方案。

技术实现思路

[0005]本专利技术提供一种数字人脸形象更换方法、装置、设备及存储介质，其主要目的在于能够解决现有技术中，对于数字人脸生成技术主要聚焦于语音驱动数字人说话人脸生成任务，缺少一种生成人脸的形象快速、边界变更的可行方案等问题。
[0006]第一方面，为实现上述目的，本专利技术提供的一种数字人脸形象更换方法，所述方法包括：
[0007]对待更换人脸视频进行人脸编码处理，得到待更换人脸表征；其中，所述待更换人脸表征包括图像背景信息、人脸构成信息和与所述人脸构成信息对应的待更换人脸的身份特征向量；
[0008]将从预先获取的新人脸图像中提取的新人脸的身份特征向量注入所述待更换人脸表征中，得到替换身份后的人脸表征；
[0009]将所述替换身份后的人脸表征与从所述待更换人脸视频中获取的多通道语音表征图进行特征合并处理，得到合并后的特征图；
[0010]对所述合并后的特征图进行解码处理，生成具有新人脸的身份特征并保持所述待更换人脸视频中的图像背景信息的替换人脸视频。
[0011]第二方面，为了解决上述问题，本专利技术还提供一种数字人脸形象更换装置，所述装置包括：
[0012]人脸编码模块，用于对待更换人脸视频进行人脸编码处理，得到待更换人脸表征；其中，所述待更换人脸表征包括图像背景信息、人脸构成信息和与所述人脸构成信息对应的待更换人脸的身份特征向量；
[0013]身份特征注入模块，用于将从预先获取的新人脸图像中提取的新人脸的身份特征向量注入所述待更换人脸表征中，得到替换身份后的人脸表征；
[0014]特征图拼接模块，将所述替换身份后的人脸表征与从所述待更换人脸视频中获取的多通道语音表征图进行特征合并处理，得到合并后的特征图；
[0015]解码模块，用于对所述合并后的特征图进行解码处理，生成具有新人脸的身份特征并保持所述待更换人脸视频中的图像背景信息的替换人脸视频。
[0016]第三方面，为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0017]至少一个处理器；以及，
[0018]与所述至少一个处理器通信连接的存储器；其中，
[0019]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的数字人脸形象更换方法的步骤。
[0020]第四方面，为了解决上述问题，本专利技术还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数字人脸形象更换方法。
[0021]本专利技术提出的数字人脸形象更换方法、装置、设备及存储介质，通过对待更换人脸视频进行预处理，使待更换人脸视频在人脸和声音上实现时序上的对齐，从而得到目标人脸视频，然后通过将从新人脸图像中提取的身份特征向量注入到从目标人脸视频中提取的待更换人脸表征中，从而以新人脸图像的身份特征替换待更换人脸表征中的身份特征，再经过将替换身份后的人脸表征与从目标人脸视频中获取的多通道语音表征图进行特征合并，得到合并后的特征图，经过解码后得到保持待更换人脸视频中的图像背景信息的替换人脸视频，从而弥补了目前缺少对数字人脸形象的快速、便捷更换的可行方案；本专利技术的端到端的人脸更换方式，简化工程实践中复杂的技术流程管线，提升在服务器中部署的运行效率；在保持数字人脸的嘴型生成准确性基础上，赋予其可定制化人脸形象的能力，可以更好地应对不断变化的业务需求，提升系统实际应用中的可靠性；便捷的形象替换，可以减少当前为了更换2D数字人形象所需花费的昂贵人工时间成本，以更少的成本更高的效率帮助客户得到令人满意的服务。
附图说明
[0022]图1为本专利技术一实施例提供的数字人脸形象更换方法的流程示意图；
[0023]图2为本专利技术一实施例提供的数字人脸形象更换装置的模块示意图；
[0024]图3为本专利技术一实施例提供的实现数字人脸形象更换方法的电子设备的内部结构示意图；
[0025]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0026]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0027]本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0028]人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0029]本专利技术提供一种数字人脸形象更换方法。参照图1所示，为本专利技术一实施例提供的数字人脸形象更换方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
[0030]在本实施例中，数字人脸形象更换方法包括：
[0031]步骤S110、对待更换人脸视频进行人脸编码处理，得到待更换人脸表征；其中，待更换人脸表征包括图像背景信息、人脸构成信息和与人脸构成信息对应的待更换人脸的身份特征向量。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字人脸形象更换方法，应用于电子装置，其特征在于，所述方法包括：对待更换人脸视频进行人脸编码处理，得到待更换人脸表征；其中，所述待更换人脸表征包括图像背景信息、人脸构成信息和与所述人脸构成信息对应的待更换人脸的身份特征向量；将从预先获取的新人脸图像中提取的新人脸的身份特征向量注入所述待更换人脸表征中，得到替换身份后的人脸表征；将所述替换身份后的人脸表征与从所述待更换人脸视频中获取的多通道语音表征图进行特征合并处理，得到合并后的特征图；对所述合并后的特征图进行解码处理，生成具有新人脸的身份特征并保持所述待更换人脸视频中的图像背景信息的替换人脸视频。2.根据权利要求1所述的数字人脸形象更换方法，其特征在于，将从预先获取的新人脸图像中提取的新人脸的身份特征向量注入所述待更换人脸表征中，得到替换身份后的人脸表征包括：从所述新人脸图像中提取新人脸的身份特征信息；其中，所述新人脸的身份特征信息包括人脸构成信息和与所述人脸构成信息对应的新人脸的身份特征向量；基于所述新人脸图像与所述待更换人脸表征中相同的人脸构成信息，将所述新人脸的身份特征向量替换所述待更换人脸表征中的待更换人脸的身份特征向量，得到替换身份后的人脸表征。3.根据权利要求2所述的数字人脸形象更换方法，其特征在于，所述基于所述新人脸图像与所述待更换人脸表征中相同的人脸构成信息，将所述新人脸的身份特征向量替换所述待更换人脸表征中的待更换人脸的身份特征向量，得到替换身份后的人脸表征包括：将所述新人脸的身份特征向量与所述待更换人脸表征中的每一人脸特征图作为输入对，得到输入对集；其中，所述待更换人脸表征包括预设数量的人脸特征图；所述人脸特征图对应有所述待更换人脸的身份特征向量；所述待更换人脸的身份特征向量的维度与所述新人脸的身份特征向量的维度数相等；将所述输入对集中的输入对逐次输入预设的身份注入模型中，其中，所述身份注入模型包括全连接层和图片风格迁移层；通过所述全连接层预测出与所述输入对中的新人脸的身份特征向量的维度数相同的计算通道，并在每个所述计算通道内分别计算所述新人脸的身份特征向量的均值及方差和所述待更换人脸的身份特征向量的均值及方差；根据所述全连接层得到的每个计算通道输出的对应维度数的新人脸的身份特征向量的均值及方差和待更换人脸的身份特征向量的均值及方差，通过图片风格迁移层逐个对所述计算通道进行风格迁移计算，统计所有所述计算通道的风格迁移计算结果；基于所有所述计算通道的风格迁移计算结果，得到相应的输出对的替换身份后的人脸特征图；统计所有替换身份后的人脸特征图，得到替换身份后的人脸特征图集，将所述替换身份后的人脸特征图集作为替换身份后的人脸表征。4.根据权利要求1所述的数字人脸形象更换方法，其特征在于，所述待更换人脸视频存储于区块链中，在所述对待更换人脸视频进行人脸编码处理，得到待更换人脸表征之前，还
包括：针对所述待更换人脸视频的每一帧画面，以人脸为中心裁切出包含人脸的图像；将所述包含人脸的图像按照每帧画面...

【专利技术属性】
技术研发人员：周超勇，鲍威弘，吴志勇，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：