面向人脸语义编解码的人脸图像的质量评估方法和系统技术方案

本申请提供了一种面向人脸语义编解码的人脸图像的质量评估方法和系统，该方法应用于图像质量评估技术领域，该方法包括：解码端根据编码端发送的参考人脸图像和当前原始人脸图像的关键点，进行图像重建，生成当前重建人脸图像；解码端通过关键点检测模型获得当前重建人脸图像的关键点；解码端将当前重建人脸图像的关键点和当前原始人脸图像的关键点进行比较，得到当前重建人脸图像的人脸形状偏移指标值；解码端将当前重建人脸图像和参考人脸图像进行相似度比较，得到当前重建人脸图像的人脸身份偏移指标值；解码端基于人脸身份偏移指标值

【技术实现步骤摘要】
面向人脸语义编解码的人脸图像的质量评估方法和系统


[0001]本申请涉及图像质量评估
，特别是一种面向人脸语义编解码的人脸图像的质量评估方法和系统
。

技术介绍

[0002]语义通信技术是借鉴人脑超高图像视频压缩性能机理，将人脑视觉感知
、
认知机理融入通信过程的新一代通信技术，实现了高效语义表征和极低码率下视频的高清晰
、
高流畅度重建
。
人脸语义通信是语义通信技术中的特例，因其应用场景广泛，技术更为成熟，受到更多关注
。
[0003]然而，通信系统的用户体验质量
(Quality of Experience
，
QoE)
评价均是面向传统编解码方法
(
如
H.264
等
)
的评价技术，并不适用于语义编解码，不能直接用于度量人脸语义编解码所生成的视频图像与原始视频图像内容上的语义差距
。
[0004]因此，有必要开发一种面向人脸语义编解码的人脸图像的质量评估方法和系统，以实现对人脸语义编解码的人脸图像的质量评估
。

技术实现思路

[0005]鉴于上述问题，本申请实施例提供了一种面向人脸语义编解码的人脸图像的质量评估方法和系统，以便克服上述问题或者至少部分地解决上述问题
。
[0006]本申请实施例第一方面提供了一种面向人脸语义编解码的人脸图像的质量评估方法，所述方法包括：
[0007]解码端根据编码端发送的参考人脸图像和当前原始人脸图像的关键点，进行图像重建，生成当前重建人脸图像；
[0008]所述解码端通过关键点检测模型获得所述当前重建人脸图像的关键点；
[0009]所述解码端将所述当前重建人脸图像的关键点和所述当前原始人脸图像的关键点进行比较，得到所述当前重建人脸图像的人脸形状偏移指标值；
[0010]所述解码端将所述当前重建人脸图像和所述参考人脸图像进行相似度比较，得到所述当前重建人脸图像的人脸身份偏移指标值；
[0011]所述解码端基于所述人脸身份偏移指标值
、
所述人脸形状偏移指标值以及预设指标值，得到所述当前重建人脸图像的质量评估结果，所述预设指标值包括以下至少一者：设备参数值
、
网络性能参数值
、
播放器应用参数值
、
视频源参数值
。
[0012]在一种可选的实施方式中，所述解码端将所述当前重建人脸图像的关键点和所述当前原始人脸图像的关键点进行比较，得到所述当前重建人脸图像的人脸形状偏移指标值，至少包括：
[0013]所述解码端计算所述当前重建人脸图像的每个关键点和所述当前原始人脸图像中对应关键点之间的距离，并根据关键点个数，计算平均关键点距离，所述平均关键点距离用于表征所述当前重建人脸图像中重建人脸相对于所述当前原始人脸图像中原始人脸的
整体偏移；两个相对应的关键点用于表征人脸上的同一位置点
。
[0014]在一种可选的实施方式中，所述平均关键点距离的计算公式为：
[0015][0016]其中，
AKD
表示所述平均关键点距离，
N
表示关键点个数，
p
i
表示所述当前原始人脸图像中第
i
个关键点，表示所述当前重建人脸图像的第
i
个关键点，
i
大于等于1且小于等于
N。
[0017]在一种可选的实施方式中，所述解码端将所述当前重建人脸图像的关键点和所述当前原始人脸图像的关键点进行比较，得到所述当前重建人脸图像的人脸形状偏移指标值，至少包括：
[0018]所述解码端针对所述当前重建人脸图像的关键点和所述当前原始人脸图像的关键点，对各个关键点位置按所属的部位进行分类，所述部位至少包括五个部位：眉毛，眼睛，鼻子，嘴唇和面部轮廓；
[0019]所述解码端针对所述当前重建人脸图像的关键点和所述当前原始人脸图像的关键点，通过拉普拉斯算子
L
计算每个关键点到其所属部位的中心点的距离，并将计算出的距离确定为该关键点相对于其所属部位的中心点的相对位置；
[0020]所述解码端计算所述当前重建人脸图像中的关键点对应的相对位置和所述当前原始人脸图像中对应的关键点的相对位置之间的偏移量，并对计算出的偏移量求和，得到图
Laplacian
坐标差值
GLCD
，所述图
Laplacian
坐标差值
GLCD
用于表征所述当前重建人脸图像中重建人脸相对于所述当前原始人脸图像中原始人脸的局部偏移，两个相对应的关键点用于表征人脸上的同一位置点
。
[0021]在一种可选的实施方式中，所述相对位置的计算公式为：
[0022][0023]其中，
p
i
表示所述当前重建人脸图像的第
i
个关键点或所述当前原始人脸图像的第
i
个关键点，表示所述当前重建人脸图像的第
i
个关键点或所述当前原始人脸图像的第
i
个关键点的相对位置，
U(p
i
)
表示与第
i
个关键点属于同一部位的关键点的集合，
|U(p
i
)|
表示第
i
个关键点所属部位的关键点个数，
p
j
表示
p
i
所属部位的任一关键点
。
[0024]在一种可选的实施方式中，所述图
Laplacian
坐标差值
GLCD
的计算公式为：
[0025][0026]其中，
p
i
表示所述当前原始人脸图像中第
i
个关键点，表示所述当前重建人脸图像的第
i
个关键点，表示所述当前原始人脸图像的第
i
个关键点的相对位置，表示所述当前重建人脸图像的第
i
个关键点的相对位置，
GLCD
表示所述图
Laplacian
坐标差值
GLCD
，
N
表示关键点个数，
i
大于等于1且小于等于
N。
[0027]在一种可选的实施方式中，所述解码端将所述当前重建人脸图像和所述参考人脸图像进行相似度比较，得到所述当前重建人脸图像的人脸身份偏移指标值，包括：
[0028]所述解码端通过人脸识别模型获得所述当前重建人脸图像的重建人脸向量，并通过所述人脸识别模型获得所述当前参考人脸图像的参考人脸向量；
[0029]所述解码端计算所述重建人脸向量与所述参考人脸向量之间的余弦相似度，将所述余弦相似度确定为人脸相似度<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向人脸语义编解码的人脸图像的质量评估方法，其特征在于，包括：解码端根据编码端发送的参考人脸图像和当前原始人脸图像的关键点，进行图像重建，生成当前重建人脸图像；所述解码端通过关键点检测模型获得所述当前重建人脸图像的关键点；所述解码端将所述当前重建人脸图像的关键点和所述当前原始人脸图像的关键点进行比较，得到所述当前重建人脸图像的人脸形状偏移指标值；所述解码端将所述当前重建人脸图像和所述参考人脸图像进行相似度比较，得到所述当前重建人脸图像的人脸身份偏移指标值；所述解码端基于所述人脸身份偏移指标值
、
所述人脸形状偏移指标值以及预设指标值，得到所述当前重建人脸图像的质量评估结果，所述预设指标值包括以下至少一者：设备参数值
、
网络性能参数值
、
播放器应用参数值
、
视频源参数值
。2.
根据权利要求1所述的质量评估方法，其特征在于，所述解码端将所述当前重建人脸图像的关键点和所述当前原始人脸图像的关键点进行比较，得到所述当前重建人脸图像的人脸形状偏移指标值，至少包括：所述解码端计算所述当前重建人脸图像的每个关键点和所述当前原始人脸图像中对应关键点之间的距离，并根据关键点个数，计算平均关键点距离，所述平均关键点距离用于表征所述当前重建人脸图像中重建人脸相对于所述当前原始人脸图像中原始人脸的整体偏移；两个相对应的关键点用于表征人脸上的同一位置点
。3.
根据权利要求2所述的质量评估方法，其特征在于，所述平均关键点距离的计算公式为：其中，
AKD
表示所述平均关键点距离，
N
表示关键点个数，
p
i
表示所述当前原始人脸图像中第
i
个关键点，表示所述当前重建人脸图像的第
i
个关键点，
i
大于等于1且小于等于
N。4.
根据权利要求1或2所述的质量评估方法，其特征在于，所述解码端将所述当前重建人脸图像的关键点和所述当前原始人脸图像的关键点进行比较，得到所述当前重建人脸图像的人脸形状偏移指标值，至少包括：所述解码端针对所述当前重建人脸图像的关键点和所述当前原始人脸图像的关键点，对各个关键点位置按所属的部位进行分类，所述部位至少包括五个部位：眉毛，眼睛，鼻子，嘴唇和面部轮廓；所述解码端针对所述当前重建人脸图像的关键点和所述当前原始人脸图像的关键点，通过拉普拉斯算子
L
计算每个关键点到其所属部位的中心点的距离，并将计算出的距离确定为该关键点相对于其所属部位的中心点的相对位置；所述解码端计算所述当前重建人脸图像中的关键点对应的相对位置和所述当前原始人脸图像中对应的关键点的相对位置之间的偏移量，并对计算出的偏移量求和，得到图
Laplacian
坐标差值
GLCD
，所述图
Laplacian
坐标差值
GLCD
用于表征所述当前重建人脸图像中重建人脸相对于所述当前原始人脸图像中原始人脸的局部偏移，两个相对应的关键点用于表征人脸上的同一位置点
。
5.
根据权利要求4所述的质量评估方法，其特征在于，所述相对位置的计算公式为：其中，
p
i
表示所述当前重建人脸图像的第
i
个关键点或所述当前原始人脸图像的第
i
个关键点，表示所述当前重...

【专利技术属性】
技术研发人员：程宝平，陶晓明，徐桦，林嘉铭，葛宁，段一平，
申请(专利权)人：中移，
类型：发明
国别省市：