一种自适应人脸图像修复方法和装置制造方法及图纸

本发明专利技术公开了一种自适应人脸图像修复方法，根据实时获取视频中的人脸图像获取待修复人脸图像；将所述待修复人脸图像输入至预设的修复模型，以使所述修复模型分别对所述待修复人脸图像进行至少两次人脸特征值提取和质量评估，获得至少两个不同维度的人脸特征图像和对应的人脸质量特征，再根据各人脸特征图像的维度大小，由小到大将各人脸特征图像和对应的人脸质量特征依次进行升维卷积获取至少两个重建人脸图像，并根据最终获得的重建人脸图像和待修复人脸图像获取修复后的人脸图像

【技术实现步骤摘要】
一种自适应人脸图像修复方法和装置


[0001]本专利技术涉及图像修复领域，尤其涉及一种自适应人脸图像修复方法和装置
。

技术介绍

[0002]目前对于视频会议等使用越来越频繁，由于硬件设备的限制或者网络等因素，人脸图像往往可能不清晰
。
[0003]现有技术中基于深度学习的人脸高清方法目的是将受到真实噪声污染的低质量人脸图像修复为高质量图像，该方法通常需要低质量和高质量的配对图像来学习两者的映射关系
。
在真实世界场景人脸修复中，由于很难采集到相同环境下的配对图像，因此常使用高质量图像加上一些退化操作如模糊，高斯噪声，随机上下采样等，来模拟真实世界的噪声以构建低质量图像
。
将这些配对数据送入已构建好的基于卷积或
transformer
的神经网络，来学习低质量图像到高质量图像的映射关系，以实现人脸高清的目的
。
[0004]但是在视频会议场景中，由于受到网络带宽，会议设备，会议环境等影响，噪声并不是一成不变
。
如果按照上述方法制作数据来训练模型，那模型学习到的能力将会比较单一，不能自动的调整人脸清晰度和保真度的平衡
。
在人脸图像质量比较差的情况下，确实能够恢复细节，提升人脸图像清晰度，但是在人脸图像质量本身比较好的情况下，会对人脸造成一些额外的抹平甚至失真
。

技术实现思路

[0005]本专利技术提供了一种自适应人脸图像修复方法和装置，以解决当前无法在视频会议中根据人脸图像的质量不同自适应实现人脸高清的问题
。
[0006]第一方面，本申请提供了一种自适应人脸图像修复方法，包括：
[0007]根据实时获取视频中的人脸图像获取待修复人脸图像；
[0008]将所述待修复人脸图像输入至预设的修复模型，以使所述修复模型分别对所述待修复人脸图像进行至少两次人脸特征值提取和质量评估，获得至少两个不同维度的人脸特征图像和对应的人脸质量特征，再根据各人脸特征图像的维度大小，将各人脸特征图像和对应的人脸质量特征进行融合并通过卷积获取至少两个重建人脸图像，并根据最终获得的重建人脸图像和待修复人脸图像进行融合获取修复后的人脸图像
。
[0009]其中，上一次进行升维卷积获取的重建人脸图像用于在下一次进行升维卷积时获取下一个重建人脸图像
。
[0010]这样通过预设的修复模型获取待修复人脸图像的多个人脸特征图像和人脸质量特征，根据所有人脸特征图像和人脸质量特征进行升维卷积对人脸进行重建
。
实现根据待修复人脸图像的图像质量针对性的评估，并根据评估后得到的人脸质量特征恢复人脸特征图像，从而根据图像质量有区别的消除噪声的影响，实现视频中不同质量的人脸图像获取修复后的人脸图像
。
[0011]进一步的，所述修复模型分别对所述待修复人脸图像进行至少两次人脸特征值提
取和质量评估，具体为：
[0012]通过所述修复模型的主分支对待修复人脸图像进行至少两次特征值提取，并通过所述修复模型的子分支对待修复人脸图像进行至少两次质量评估；
[0013]其中，每次特征值提取后的人脸特征图像作为下一次特征值提取的待提取图像，且每次特征值提取后会减小人脸特征图像的维度并增加所述人脸特征图像的图像通道数
。
[0014]这样通过修复模型对待修复人脸图像进行特征值提取，可以在减少图像特征图尺寸的基础上加深网络通道数，这样既可以保留图像的信息也可以减少后续计算的计算量
。
[0015]进一步的，所述通过所述修复模型的子分支对待修复人脸图像进行至少两次质量评估，具体为：
[0016]所述修复模型的子分支中包括至少两个卷积层用于对待修复人脸图像进行至少两次质量评估获取至少两个人脸质量特征；
[0017]其中，将所述待修复人脸图像输入卷积层获得人脸质量特征，再将所述人脸质量特征作为输入下一个卷积层的待评估特征用于获取下一个人脸质量特征；
[0018]其中，卷积层的数量和特征值提取的次数相同且各个卷积层的步长均相同
。
[0019]进一步的，所述预设的修复模型是根据通过对高清人脸图像随机添加噪声获取的模糊图像作为训练数据，由相对应的损失函数迭代训练获得
。
[0020]进一步的，所述修复模型是根据对高清人脸图像随机添加噪声获取的模糊图像，根据相对应的损失函数而迭代训练获得，具体为：
[0021]获取至少两高清人脸图像，根据至少一种噪声生成函数对所述高清人脸图像添加噪声获取对应的模糊人脸图像，由所述至少两高清人脸图像和对应的模糊人脸图像组成所述训练数据；
[0022]每次迭代训练时，根据所述训练数据，由修复模型计算每次迭代训练时的损失函数值；
[0023]当所述损失函数值满足预设要求或者达到迭代次数后，确定所述修复模型训练完成
。
[0024]进一步的，所述根据至少一种噪声生成函数对所述高清人脸图像添加噪声获取模糊人脸图像，具体为：
[0025]LQ
＝
[RS(RC(Blur,Noise,JPEG,Resize))]HQ
；
[0026]其中，
LQ
为模糊人脸图像
、HQ
为高清人脸图像
、Blur
为高斯模糊函数
、Noise
为高斯噪声函数
、JPEG
为压缩噪声函数
、Resize
为随机上下采样函数
、RC
为随机选择至少一种噪声生成函数，
RS
为将选择到的噪声生成函数进行随机排序
。
[0027]进一步的，所述每次迭代训练时，根据所述训练数据，由修复模型计算每次迭代训练时的损失函数值，具体为：
[0028]根据当前迭代训练的训练数据中模糊人脸图像，由所述修复模型获取所述模糊人脸图像对应的人脸质量特征；
[0029]获取所述模糊人脸图像在本地模型上得出的本地质量分数；
[0030]由质量分数
、
本地质量分数
、
本次迭代获取的修复后人脸图像和所述模糊人脸图像对应的高清图像获取本次迭代的损失函数值
。
[0031]进一步的，所述由质量分数
、
本地质量分数
、
本次迭代获取的修复后人脸图像和所
述模糊人脸图像对应的高清图像获取本次迭代的损失函数值，具体为：
[0032][0033]其中，
out
为本次迭代获取的修复后人脸图像；
HQ
为模糊人脸图像对应的高清图像；
Net(LQ)
为模糊人脸图像在本地模型上得出的本地质量分数；
q
为所述模糊人脸图像对应的质量分数；
L
p
为感知损失；
λ1为感知损失的权重系数；
...

【技术保护点】

【技术特征摘要】
1.
一种自适应人脸图像修复方法，其特征在于，包括：根据实时获取视频中的人脸图像获取待修复人脸图像；将所述待修复人脸图像输入至预设的修复模型，以使所述修复模型分别对所述待修复人脸图像进行至少两次人脸特征值提取和质量评估，获得至少两个不同维度的人脸特征图像和对应的人脸质量特征，再根据各人脸特征图像的维度大小，将各人脸特征图像和对应的人脸质量特征进行融合并通过卷积获取至少两个重建人脸图像，并根据最终获得的重建人脸图像和待修复人脸图像进行融合获取修复后的人脸图像
。2.
根据权利要求1所述的自适应人脸图像修复方法，其特征在于，所述修复模型分别对所述待修复人脸图像进行至少两次人脸特征值提取和质量评估，具体为：通过所述修复模型的主分支对待修复人脸图像进行至少两次特征值提取，并通过所述修复模型的子分支对待修复人脸图像进行至少两次质量评估；其中，每次特征值提取后的人脸特征图像作为下一次特征值提取的待提取图像，且每次特征值提取后会减小人脸特征图像的维度并增加所述人脸特征图像的图像通道数
。3.
根据权利要求2所述的自适应人脸图像修复方法，其特征在于，所述通过所述修复模型的子分支对待修复人脸图像进行至少两次质量评估，具体为：所述修复模型的子分支中包括至少两个卷积层用于对待修复人脸图像进行至少两次质量评估获取至少两个人脸质量特征；其中，将所述待修复人脸图像输入卷积层获得人脸质量特征，再将所述人脸质量特征作为输入下一个卷积层的待评估特征用于获取下一个人脸质量特征；其中，卷积层的数量和特征值提取的次数相同且各个卷积层的步长均相同
。4.
根据权利要求1所述的自适应人脸图像修复方法，其特征在于，所述预设的修复模型是根据通过对高清人脸图像随机添加噪声获取的模糊图像作为训练数据，由相对应的损失函数迭代训练获得
。5.
根据权利要求4所述的自适应人脸图像修复方法，其特征在于，所述修复模型是根据对高清人脸图像随机添加噪声获取的模糊图像，根据相对应的损失函数而迭代训练获得，具体为：获取至少两高清人脸图像，根据至少一种噪声生成函数对所述高清人脸图像添加噪声获取对应的模糊人脸图像，由所述至少两高清人脸图像和对应的模糊人脸图像组成所述训练数据；每次迭代训练时，根据所述训练数据，由修复模型计算每次迭代训练时的损失函数值；当所述损失函数值满足预设要求或者达到迭代次数后，确定所述修复模型训练完成
。6.
一种自适应人脸图像修复装置，...

【专利技术属性】
技术研发人员：叶瑞乾，
申请(专利权)人：厦门亿联网络技术股份有限公司，
类型：发明
国别省市：