本申请实施例提供了一种面部视频编码方法、解码方法及装置。面部视频编码方法包括：获取待编码的目标面部视频帧和与参考面部视频帧对应的三维面部模板；对目标面部视频帧和三维面部模板进行特征提取，得到目标三维面部描述信息；编码目标三维面部描述信息，得到面部视频比特流。本申请实施例，使用三维面部描述信息对面部进行描述，描述信息的准确度更高，进而再基于上述描述准确度较高的三维面部描述信息进行面部视频帧重建，得到的重建面部视频帧与目标面部视频帧间的质量差异则较小。本申请实施例，可以提升面部视频帧重建的质量。可以提升面部视频帧重建的质量。可以提升面部视频帧重建的质量。
【技术实现步骤摘要】
一种面部视频编码方法、解码方法及装置
[0001]本申请实施例涉及计算机
，尤其涉及一种面部视频编码方法、解码方法及装置。
技术介绍
[0002]随着视频编解码技术的不断发展，视频编解码设备已被广泛应用于各种场景中，例如：视频会议、视频直播等等。
[0003]目前，较为传统的视频编解码方法，通常是基于二维特征对面部视频帧进行面部信息提取和描述的，而二维特征本身是对原始三维面部进行映射得到的，其得到过程存在一定的扭曲和失真，因此，基于上述二维特征进行面部视频的编解码操作，最终得到的重建面部视频帧的质量较差。
技术实现思路
[0004]有鉴于此，本申请实施例提供一种面部视频编码方法、解码方法及装置，以至少部分解决上述问题。
[0005]根据本申请实施例的第一方面，提供了一种面部视频编码方法，包括：
[0006]获取待编码的目标面部视频帧和与参考面部视频帧对应的三维面部模板；
[0007]对所述目标面部视频帧和所述三维面部模板进行特征提取，得到目标三维面部描述信息；
[0008]编码所述目标三维面部描述信息，得到面部视频比特流。
[0009]根据本申请实施例的第二方面，提供了一种面部视频解码方法，包括：
[0010]获取面部视频比特流和三维面部模板；所述面部视频比特流是基于目标面部视频帧对应的目标三维面部描述信息得到的；
[0011]解码所述面部视频比特流，得到所述目标三维面部描述信息；
[0012]基于所述目标三维面部描述信息，对所述三维面部模板进行形变处理，得到与所述目标面部视频帧对应的重建面部视频帧。
[0013]根据本申请实施例的第三方面，提供了一种模型训练方法，包括：
[0014]根据目标面部视频帧样本和三维面部模板样本，得到目标三维面部描述样本信息；
[0015]将所述目标三维面部描述样本信息输入待训练的全连接编码模型，得到潜在编码样本信息；
[0016]编码所述潜在编码样本信息，得到面部视频比特流样本；
[0017]对所述面部视频比特流样本进行解码，得到潜在编码样本信息；并将所述潜在编码样本信息输入待训练的全连接解码模型，得到目标三维面部描述样本信息；
[0018]基于所述目标三维面部描述样本信息，对所述三维面部模板样本进行形变处理，得到重建面部视频帧样本；
[0019]根据所述面部视频比特流样本对应的传输码率构建码率损失函数；根据所述重建面部视频帧样本和所述目标面部视频帧样本，构建失真损失函数；
[0020]基于所述码率损失函数和所述失真损失函数得到训练损失函数，以对全连接编码模型和全连接解码模型进行训练。
[0021]根据本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的面部视频编码方法对应的操作，或者，如第二方面所述的面部视频解码方法对应的操作，或者，如第三方面所述的模型训练方法对应的操作。
[0022]根据本申请实施例的第五方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的面部视频编码方法，或者，如第二方面所述的面部视频解码方法，或者，如第三方面所述的模型训练方法。
[0023]根据本申请实施例的第六方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如第一方面所述的面部视频编码方法对应的操作，或者，如第二方面所述的面部视频解码方法对应的操作，或者，如第三方面所述的模型训练方法对应的操作。
[0024]根据本申请实施例提供的面部视频编码方法以及解码方法，在编码阶段，是基于三维面部模板，对目标面部视频帧进行了三维面部描述信息的提取，并通过对上述三维面部描述信息编码得到的面部视频比特流，由于面部本身即为三维的，因此，直接使用三维面部描述信息对面部进行描述，描述信息的准确度更高，进而再基于上述描述准确度较高的三维面部描述信息进行面部视频帧重建，得到的重建面部视频帧与目标面部视频帧间的质量差异则较小。本申请实施例，可以提升面部视频帧重建的质量。
附图说明
[0025]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0026]图1为基于深度视频生成的编解码方法的框架示意图；
[0027]图2为根据本申请实施例提供的面部视频通信的场景示意图；
[0028]图3为根据本申请实施例一的一种面部视频编码方法的步骤流程图；
[0029]图4为图3所示实施例中的一种具体场景示例的示意图；
[0030]图5为根据本申请实施例二的一种面部视频解码方法的步骤流程图；
[0031]图6为图5所示实施例中的一种具体场景示例的示意图；
[0032]图7为根据本申请实施例三的一种模型训练方法的步骤流程图；
[0033]图8为图7所示实施例中的一种场景示例的示意图；
[0034]图9为根据本申请实施例四的一种面部视频编码装置的结构框图；
[0035]图10为根据本申请实施例五的一种面部视频解码装置的结构框图；
[0036]图11为根据本申请实施例六的一种模型训练装置的结构框图；
[0037]图12为根据本申请实施例七的一种电子设备的结构示意图。
具体实施方式
[0038]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0039]参见图1，图1为基于深度视频生成的编解码方法的框架示意图。该方法的主要原理是基于待编码帧的运动对参考帧进行形变，以得到待编码帧对应的重建帧。下面结合图1对基于深度视频生成的编解码方法的基本框架进行说明：
[0040]第一步，编码阶段，编码器采用关键点提取器提取待编码的目标面部视频帧的目标关键点信息，并对目标关键点信息编码；同时，采用传统的图像编码方法(如VVC、HEVC 等)对参考面部视频帧进行编码。
[0041]第二步，解码阶段，解码器中的运动估计模块，通过关键点提取器提取参考面部视频帧的参考关键点信息；并基于参考关键点信息和目标关键点信息进行稠密运动估计，得到稠密运动估计图和遮挡图，其中，稠密运动估计图表征关键点信息表征的特征域中，目标面部视频帧与参考面部视频帧之间的相对运动关系；遮挡图表征目标面部视频本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面部视频编码方法，包括：获取待编码的目标面部视频帧和与参考面部视频帧对应的三维面部模板；对所述目标面部视频帧和所述三维面部模板进行特征提取，得到目标三维面部描述信息；编码所述目标三维面部描述信息，得到面部视频比特流。2.根据权利要求1所述的方法，其中，在所述编码所述目标三维面部描述信息，得到面部视频比特流之前，所述方法还包括：对所述参考面部视频帧和所述三维面部模板进行特征提取，得到参考三维面部描述信息；所述编码所述目标三维面部描述信息，得到面部视频比特流，包括：对所述参考三维面部描述信息和所述目标三维面部描述信息进行差分运算，得到差分三维面部描述信息；对所述差分三维面部描述信息进行编码，得到潜在编码信息，所述潜在编码信息的维度值小于所述差分三维面部描述信息；分别对所述潜在编码信息和所述参考三维面部描述信息进行熵编码，得到面部视频比特流。3.根据权利要求2所述的方法，其中，所述对所述差分三维面部描述信息进行编码，得到潜在编码信息，包括：将所述差分三维面部描述信息输入全连接编码模型，以使所述全连接编码模型输出潜在编码信息。4.根据权利要求2所述的方法，其中，在所述得到潜在编码信息之后，所述方法还包括：获取与所述目标面部视频帧的前一面部视频帧对应的前序潜在编码信息；对所述潜在编码信息和所述前序潜在编码信息进行差分运算，得到差分潜在编码信息；所述分别对所述潜在编码信息和所述参考三维面部描述信息进行熵编码，得到面部视频比特流，包括：分别对所述差分潜在编码信息和所述参考三维面部描述信息进行熵编码，得到面部视频比特流。5.根据权利要求1所述的方法，其中，所述目标三维面部描述信息，包括如下至少一项：三维表情信息、三维平移信息、三维角度信息。6.根据权利要求1所述的方法，其中，所述三维面部模板的获取过程，包括：基于所述参考面部视频帧进行三维面部重建，得到初始三维面部模板；响应于对所述初始三维面部模板的编辑操作，得到三维面部模板。7.一种面部视频解码方法，包括：获取面部视频比特流和三维面部模板；所述面部视频比特流是基于目标面部视频帧对应的目标三维面部描述信息得到的；解码所述面部视频比特流，得到所述目标三维面部描述信息；基于所述目标三维面部描述信息，对所述三维面部模板进行形变处理，得到与所述目标面部视频帧对应的重建面部视频帧。
8.根据权利要求7所述的方法，其中，所述面部视频比特流中还包括编码后参考三维面部描...
【专利技术属性】
技术研发人员：王钊，李彬哲，叶琰，王诗淇，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。