【技术实现步骤摘要】
一种自适应人脸图像修复方法和装置
[0001]本专利技术涉及图像修复领域,尤其涉及一种自适应人脸图像修复方法和装置
。
技术介绍
[0002]目前对于视频会议等使用越来越频繁,由于硬件设备的限制或者网络等因素,人脸图像往往可能不清晰
。
[0003]现有技术中基于深度学习的人脸高清方法目的是将受到真实噪声污染的低质量人脸图像修复为高质量图像,该方法通常需要低质量和高质量的配对图像来学习两者的映射关系
。
在真实世界场景人脸修复中,由于很难采集到相同环境下的配对图像,因此常使用高质量图像加上一些退化操作如模糊,高斯噪声,随机上下采样等,来模拟真实世界的噪声以构建低质量图像
。
将这些配对数据送入已构建好的基于卷积或
transformer
的神经网络,来学习低质量图像到高质量图像的映射关系,以实现人脸高清的目的
。
[0004]但是在视频会议场景中,由于受到网络带宽,会议设备,会议环境等影响,噪声并不是一成不变
。
如果按照上述方法制作数据来训练模型,那模型学习到的能力将会比较单一,不能自动的调整人脸清晰度和保真度的平衡
。
在人脸图像质量比较差的情况下,确实能够恢复细节,提升人脸图像清晰度,但是在人脸图像质量本身比较好的情况下,会对人脸造成一些额外的抹平甚至失真
。
技术实现思路
[0005]本专利技术提供了一种自适应人脸图像修复方法和装置,以解决当前无法在视频会议中根据人脸
【技术保护点】
【技术特征摘要】
1.
一种自适应人脸图像修复方法,其特征在于,包括:根据实时获取视频中的人脸图像获取待修复人脸图像;将所述待修复人脸图像输入至预设的修复模型,以使所述修复模型分别对所述待修复人脸图像进行至少两次人脸特征值提取和质量评估,获得至少两个不同维度的人脸特征图像和对应的人脸质量特征,再根据各人脸特征图像的维度大小,将各人脸特征图像和对应的人脸质量特征进行融合并通过卷积获取至少两个重建人脸图像,并根据最终获得的重建人脸图像和待修复人脸图像进行融合获取修复后的人脸图像
。2.
根据权利要求1所述的自适应人脸图像修复方法,其特征在于,所述修复模型分别对所述待修复人脸图像进行至少两次人脸特征值提取和质量评估,具体为:通过所述修复模型的主分支对待修复人脸图像进行至少两次特征值提取,并通过所述修复模型的子分支对待修复人脸图像进行至少两次质量评估;其中,每次特征值提取后的人脸特征图像作为下一次特征值提取的待提取图像,且每次特征值提取后会减小人脸特征图像的维度并增加所述人脸特征图像的图像通道数
。3.
根据权利要求2所述的自适应人脸图像修复方法,其特征在于,所述通过所述修复模型的子分支对待修复人脸图像进行至少两次质量评估,具体为:所述修复模型的子分支中包括至少两个卷积层用于对待修复人脸图像进行至少两次质量评估获取至少两个人脸质量特征;其中,将所述待修复人脸图像输入卷积层获得人脸质量特征,再将所述人脸质量特征作为输入下一个卷积层的待评估特征用于获取下一个人脸质量特征;其中,卷积层的数量和特征值提取的次数相同且各个卷积层的步长均相同
。4.
根据权利要求1所述的自适应人脸图像修复方法,其特征在于,所述预设的修复模型是根据通过对高清人脸图像随机添加噪声获取的模糊图像作为训练数据,由相对应的损失函数迭代训练获得
。5.
根据权利要求4所述的自适应人脸图像修复方法,其特征在于,所述修复模型是根据对高清人脸图像随机添加噪声获取的模糊图像,根据相对应的损失函数而迭代训练获得,具体为:获取至少两高清人脸图像,根据至少一种噪声生成函数对所述高清人脸图像添加噪声获取对应的模糊人脸图像,由所述至少两高清人脸图像和对应的模糊人脸图像组成所述训练数据;每次迭代训练时,根据所述训练数据,由修复模型计算每次迭代训练时的损失函数值;当所述损失函数值满足预设要求或者达到迭代次数后,确定所述修复模型训练完成
。6.
一种自适应人脸图像修复装置,...
【专利技术属性】
技术研发人员:叶瑞乾,
申请(专利权)人:厦门亿联网络技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。