一种面部视频编码方法、解码方法及装置制造方法及图纸

本申请实施例提供了一种面部视频编码方法、解码方法及装置。面部视频编码方法包括：获取待编码的目标面部视频帧和参考面部视频帧；对所述目标面部视频帧进行特征提取，得到目标紧凑特征，所述目标紧凑特征表征所述目标面部视频帧中的关键特征信息；分别对所述目标紧凑特征和所述参考面部视频帧进行编码，得到面部视频比特流。本申请实施例，可以在保证面部视频编码质量的前提下，降低编码码率，更好地满足了低码率面部视频编码的需求。足了低码率面部视频编码的需求。足了低码率面部视频编码的需求。

【技术实现步骤摘要】
一种面部视频编码方法、解码方法及装置


[0001]本申请实施例涉及计算机
，尤其涉及一种面部视频编码方法、解码方法及装置。

技术介绍

[0002]随着视频编解码技术的不断发展，视频编解码设备已被广泛应用于各种场景中，例如：视频会议、视频直播等等。
[0003]目前，较为传统的视频编解码方法通常针对的是普遍的自然场景，采用基于块的运动估计、离散余弦变换等方法进行视频帧的编解码。
[0004]采用传统视频编码方法对面部视频进行编码时，为保证视频编码质量，视频的编码率通常较低，无法满足低码率面部视频编码的需求。

技术实现思路

[0005]有鉴于此，本申请实施例提供一种面部视频编码方法、解码方法及装置，以至少部分解决上述问题。
[0006]根据本申请实施例的第一方面，提供了一种面部视频编码方法，包括：
[0007]获取待编码的目标面部视频帧和参考面部视频帧；
[0008]对所述目标面部视频帧进行特征提取，得到目标紧凑特征，所述目标紧凑特征表征所述目标面部视频帧中的关键特征信息；
[0009]分别对所述目标紧凑特征和所述参考面部视频帧进行编码，得到面部视频比特流。
[0010]根据本申请实施例的第二方面，提供了一种面部视频解码方法，包括：
[0011]获取面部视频比特流，所述面部视频比特流包括：编码后参考面部视频帧和编码后紧凑特征信息；所述编码后紧凑特征信息表征待重建的目标面部视频帧的关键特征信息；
[0012]解码所述编码后参考面部视频帧，并对解码得到的参考面部视频帧进行特征提取，得到参考紧凑特征；
[0013]解码所述编码后紧凑特征信息，得到所述目标面部视频帧的目标紧凑特征；
[0014]基于所述参考紧凑特征和所述目标紧凑特征进行稀疏运动估计，得到稀疏运动估计图，所述稀疏运动估计图表征在预设的稀疏特征域中，所述目标面部视频帧与所述参考面部视频帧之间的相对运动关系；
[0015]根据所述稀疏运动估计图和所述参考面部视频帧，得到与所述目标面部视频帧对应的重建面部视频帧。
[0016]根据本申请实施例的第三方面，提供了一种模型训练方法，包括：
[0017]将目标面部视频帧样本输入特征提取模型，得到目标紧凑特征样本；分别对所述目标紧凑特征样本和参考面部视频帧样本进行编码，得到面部视频比特流样本；
[0018]解码所述面部视频比特流样本，得到所述参考面部视频帧样本和所述目标紧凑特征样本；将所述参考面部视频帧样本输入所述特征提取模型，得到参考紧凑特征样本；
[0019]基于所述参考紧凑特征样本和所述目标紧凑特征样本进行稀疏运动估计，得到稀疏运动估计样本图；将所述稀疏运动估计样本图和所述参考面部视频帧样本输入形变图像预估模型，得到初始重建面部视频帧样本；
[0020]根据所述初始重建面部视频帧样本和所述目标面部视频帧样本，分别构建感知损失函数和对抗损失函数；基于所述初始重建面部视频帧、所述目标面部视频帧样本以及所述目标紧凑特征样本对应的传输码率，得到率失真损失函数；
[0021]对所述感知损失函数、对抗损失函数以及率失真损失函数进行融合，得到训练损失函数；根据所述训练损失函数，对所述特征提取模型和所述形变图像预估模型进行训练。
[0022]根据本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的面部视频编码方法对应的操作，或者，如第二方面所述的面部视频解码方法对应的操作，或者，如第三方面所述的模型训练方法对应的操作。
[0023]根据本申请实施例的第五方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的面部视频编码方法，或者，如第二方面所述的面部视频解码方法，或者，如第三方面所述的模型训练方法。
[0024]根据本申请实施例的第六方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如第一方面所述的面部视频编码方法对应的操作，或者，如第二方面所述的面部视频解码方法对应的操作，或者，如第三方面所述的模型训练方法对应的操作。
[0025]根据本申请实施例提供的面部视频编码方法以及解码方法，在编码阶段，是对目标面部视频帧进行了目标紧凑特征提取，并通过对上述目标紧凑特征的编码得到的面部视频比特流，由于目标紧凑特征是表征目标面部视频帧中的关键特征信息的特征，其通过较小的数据量表征了整个面部视频帧中的关键信息，因此，通过对目标紧凑特征的编码得到的面部视频比特流，其数据量也较小，在进行视频流传输时对应的比特流也较小(码率较低)，另外，在解码阶段，对上述得到的面部视频比特流进行解码，再基于解码得到的表征目标面部视频帧中关键特征信息的目标紧凑特征，进行面部视频帧重构，得到的重构视频帧与目标面部视频帧间的质量差异也较小。综上，本申请实施例，可以在保证面部视频重建质量的前提下，降低编码码率，更好地满足了低码率面部视频编码的需求。
附图说明
[0026]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0027]图1为基于深度视频生成的编解码方法的框架示意图；
[0028]图2为根据本申请实施例一的一种面部视频编码方法的步骤流程图；
[0029]图3为图2所示实施例中的一种场景示例的示意图；
[0030]图4为根据本申请实施例二的一种面部视频解码方法的步骤流程图；
[0031]图5为图4所示实施例中的一种场景示例的示意图；
[0032]图6为图4所示实施例中的另一种场景示例的示意图；
[0033]图7为根据本申请实施例三的一种模型训练方法的步骤流程图；
[0034]图8为图7所示实施例中的一种场景示例的示意图；
[0035]图9为根据本申请实施例四的一种面部视频编码装置的结构框图；
[0036]图10为根据本申请实施例五的一种面部视频解码装置的结构框图；
[0037]图11为根据本申请实施例六的一种模型训练装置的结构框图；
[0038]图12为根据本申请实施例七的一种电子设备的结构示意图。
具体实施方式
[0039]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面部视频编码方法，包括：获取待编码的目标面部视频帧和参考面部视频帧；对所述目标面部视频帧进行特征提取，得到目标紧凑特征，所述目标紧凑特征表征所述目标面部视频帧中的关键特征信息；分别对所述目标紧凑特征和所述参考面部视频帧进行编码，得到面部视频比特流。2.根据权利要求1所述的方法，其中，所述目标面部视频帧为多个连续面部视频帧；所述对所述目标面部视频帧进行特征提取，得到所述目标面部视频帧的紧凑特征，包括：分别对各目标面部视频帧进行特征提取，得到各目标面部视频帧的目标紧凑特征；所述分别对所述目标紧凑特征和所述参考面部视频帧进行编码，得到面部视频比特流，包括：对相邻两个目标面部视频帧的目标紧凑特征进行差分运算，得到目标紧凑特征残差；分别对所述目标紧凑特征残差和所述参考面部视频帧进行编码，得到面部视频比特流。3.根据权利要求2所述的方法，其中，所述分别对各目标面部视频帧进行特征提取，得到各目标面部视频帧的目标紧凑特征，包括：分别将各目标面部视频帧输入特征提取模型，以使所述特征提取模型输出各目标面部视频帧的目标紧凑特征。4.一种面部视频解码方法，包括：获取面部视频比特流，所述面部视频比特流包括：编码后参考面部视频帧和编码后紧凑特征信息；所述编码后紧凑特征信息表征待重建的目标面部视频帧的关键特征信息；解码所述编码后参考面部视频帧，并对解码得到的参考面部视频帧进行特征提取，得到参考紧凑特征；解码所述编码后紧凑特征信息，得到所述目标面部视频帧的目标紧凑特征；基于所述参考紧凑特征和所述目标紧凑特征进行稀疏运动估计，得到稀疏运动估计图，所述稀疏运动估计图表征在预设的稀疏特征域中，所述目标面部视频帧与所述参考面部视频帧之间的相对运动关系；根据所述稀疏运动估计图和所述参考面部视频帧，得到与所述目标面部视频帧对应的重建面部视频帧。5.根据权利要求4所述的方法，其中，所述根据所述稀疏运动估计图和所述参考面部视频帧，得到与所述目标面部视频帧对应的重建面部视频帧，包括：基于所述稀疏运动估计图，对所述参考面部视频帧进行形变处理，得到所述目标面部视频帧对应的初始重建面部视频帧；对所述参考紧凑特征和所述目标紧凑特征进行差分运算，得到紧凑特征差值；根据所述紧凑特征差值和所述初始重建面部视频帧进行稠密运动估计，得到稠密运动估计图，所述稠密运动估计图表征在预设的稠密特征域中，所述目标面部视频帧与所述参考面部视频帧之间的相对运动关系；根据所述稠密运动估计图和所述参考面部视频帧，得到与所述目标面部视频帧对应的重建面部视频帧。6.根据权利要求5所述的方法，其中，所述根据所述紧凑特征差值和所述初始重建面部
视频帧进行稠密运动估计，得到稠密运动估计图，包括：根据所述紧凑特征差值和所述初始重建面部视频帧进行稠密运动估计，得到稠密运动估计图和遮挡图，所述遮挡图表征所述目标面部视频帧中各像素点被遮挡的程度；所述根据所述稠密运动估计图和所述参考面部视频帧...

【专利技术属性】
技术研发人员：王钊，陈柏林，叶琰，王诗淇，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：