一种基于参考图像的人脸图像超分辨率处理方法及系统技术方案

本发明专利技术公开了基于参考图像的人脸图像超分辨率处理方法及系统，包括：判断各第一像素点和对应的第二像素点是否符合待处理的第一人脸图像和参考图像之间的匹配关系；若当前第一像素点和参考图像中与当前第一像素点对应的第二像素点符合匹配关系，则将当前第二像素点的特征信息作为当前第一像素点的特征信息，否则将第一人脸图像中与当前第一像素点对应的第三像素点的特征信息作为当前第一像素点的特征信息；根据确定特征信息的所有第一像素点生成并显示第一修复图像。本发明专利技术在视频会议场景下基于参考图像和第一人脸图像之间的匹配关系，对第一人脸图像进行特征迁移和特征融合，实现对第一人脸图像的超分辨率处理，提升超分辨率处理效率和效果。超分辨率处理效率和效果。超分辨率处理效率和效果。

【技术实现步骤摘要】
一种基于参考图像的人脸图像超分辨率处理方法及系统


[0001]本专利技术涉及视频会议图像处理领域，尤其涉及一种基于参考图像的人脸图像超分辨率处理方法及系统。

技术介绍

[0002]人脸超分辨率的技术方案可以分为无参考图片的方法和有参考图片的方法。其中，无参考图片的方法的输入仅有低分辨图像，一般通过构建深度神经网络输出高分辨率图像或者通过迭代的方法逐步提升分辨率，而有参考图片的方法除了低分辨率图像之外，还有一张高分辨率的图像作为参考，参考图像与低分辨率图可以在尺度、角度、光照、背景等维度存在差异，只要有部分内容相似可提供细节纹理作为参考即可，其重点在于建立低分辨率图和参考图之间的匹配关系并转换，常用的方法是用深度神经网络建模。
[0003]然而，无参考图片的方法为了较好地恢复出面部细节，往往依靠较深的卷积神经网络模型或者通过迭代优化的方式逐步提升。这增加了模型的复杂度，提高了计算耗时，然而在视频会议场景下要求视频必须实时处理和显示，该方案不能很好地平衡效果和速度两个方面。至于有参考图片的方法通常是采用深度神经网络，建立低分辨率图和参考图之间的匹配关系并转换，虽然可以达到不错的效果，但是其效果依赖于较深的网络结果，计算耗时大，很难满足实时性要求，并且这种方式是让模型隐式地建立匹配关系，能否学习到正确的匹配关系是不可控制的。

技术实现思路

[0004]本专利技术提供了一种基于参考图像的人脸图像超分辨率处理方法及系统，在视频会议场景下实时向用户反馈第一人脸图像的超分辨率处理结果，并提升第一人脸图像的超分辨率处理结果的分辨率。
[0005]为了解决上述技术问题，本专利技术实施例提供了一种基于参考图像的人脸图像超分辨率处理方法，包括：
[0006]建立待处理的第一人脸图像和参考图像之间的匹配关系，并判断各个第一像素点和对应的第二像素点是否符合所述匹配关系，以确定各所述第一像素点的特征信息；
[0007]若当前所述第一像素点和当前所述第一像素点对应的所述第二像素点符合所述匹配关系，则将当前所述第一像素点对应的所述第二像素点的特征信息作为当前所述第一像素点的特征信息；
[0008]若当前所述第一像素点和当前所述第一像素点对应的所述第二像素点不符合所述匹配关系，则将当前所述第一像素点对应的第三像素点的特征信息作为当前所述第一像素点的特征信息；
[0009]根据确定特征信息的所有所述第一像素点，对所述第一人脸图像进行修复，获得并实时显示对应的第一修复图像，以完成对所述第一人脸图像的超分辨率处理；
[0010]其中，所述参考图像是在视频会议过程中由发送端发送的高分辨率人脸图像，各
所述第二像素点是所述参考图像中与各所述第一像素点一一对应的像素点，各所述第三像素点是所述第一人脸图像中与各所述第一像素点一一对应的像素点。
[0011]实施本专利技术实施例，在视频会议场景下，将发送端发送的高分辨率人脸图像作为参考图像，并根据第一人脸图像和参考图像之间的匹配关系，修复第一人脸图像，以实现借助高分辨率的参考图像，更好地恢复出第一人脸图像的细节纹理，从而提高第一修复图像的分辨率，提升第一人脸图像的超分辨率处理效果。此外，从参考图像的多个第二像素点的特征信息中，选取符合第一人脸图像和参考图像之间的匹配关系的特征信息，用于修复第一人脸图像，能够减少修复过程的数据计算量，减短图像的修复时长，进而提高第一人脸图像的超分辨率处理效率，保证在视频会议场景下能够实时向用户反馈第一人脸图像的超分辨率处理结果。
[0012]作为优选方案，所述根据确定特征信息的所有所述第一像素点，对所述第一人脸图像进行修复，获得并实时显示对应的第一修复图像，以完成对所述第一人脸图像的超分辨率处理，具体为：
[0013]根据确定特征信息的所有所述第一像素点，生成对应的第一迁移特征图，并按照预设的融合算法，融合所述第一迁移特征图和所述第一人脸图像对应的第一特征图，获得对应的第一融合特征图；
[0014]将所述第一融合特征图输入至第一卷积块，以使所述第一卷积块输出对应的所述第一修复图像，并实时显示所述第一修复图像，以完成对所述第一人脸图像的超分辨率处理；
[0015]其中，所述第一卷积块包括若干个卷积层。
[0016]实施本专利技术实施例的优选方案，根据确定特征信息的所有第一像素点，构成第一迁移特征图，并将融合第一迁移特征图和第一人脸图像得到的第一融合特征图，输入至仅包括若干个卷积层的第一卷积块，以通过较轻量的模型结构，快速且实时地完成视频会议场景下大量待处理的第一人脸图像的超分辨率处理工作。
[0017]作为优选方案，所述第一卷积块的获取，具体为：
[0018]获取训练数据集；其中，所述训练数据集包括若干组训练数据，每一组所述训练数据包括第二人脸图像、参考图像、以及所述第二人脸图像对应的目标图像；
[0019]根据所有所述第二人脸图像和参考图像，生成各所述第二人脸图像对应的第二迁移特征图，并按照预设的融合算法，融合各所述第二人脸图像和各所述第二人脸图像对应的所述第二迁移特征图，获得各所述第二人脸图像对应的第二融合特征图；
[0020]分别将各所述第二人脸图像对应的所述第二融合特征图输入至预构建的第二卷积块，以使所述第二卷积块分别输出各所述第二人脸图像对应的第二修复图像；其中，所述第二卷积块是基于卷积神经网络构建得到的；
[0021]利用预设的损失函数，结合所有所述第二人脸图像对应的所述第二修复图像和所有所述第二人脸图像对应的所述目标图像，计算得到所述第二卷积块对应的损失值，并采用随机梯度下降算法，结合所述损失值，对所述第二卷积块的参数进行优化，以获得所述第一卷积块。
[0022]实施本专利技术实施例的优选方案，通过参考图像、若干张第二人脸图像、以及各第二人脸图像完成修复后得到的目标图像，结合随机梯度下降算法，对基于卷积神经网络构建
得到的第二卷积块进行参数优化，以优化第一卷积块的图像修复性能，从而提升第一人脸图像的超分辨率处理效果。
[0023]作为优选方案，所述建立待处理的第一人脸图像和参考图像之间的匹配关系，具体为：
[0024]通过人脸关键点检测算法，分别对所述第一人脸图像和所述参考图像进行人脸关键点检测，以获得所述第一人脸图像对应的多个第一关键点坐标和所述参考图像对应的多个第二关键点坐标；
[0025]根据所有所述第一关键点坐标和所有所述第二关键点坐标，建立所述第一人脸图像和所述参考图像之间的所述匹配关系。
[0026]实施本专利技术实施例的优选方案，通过分别检测第一人脸图像和参考图像上的关键点，更好地确定图像中的面部细节点，并且根据这些关键点的坐标建立第一人脸图像和参考图像之间的匹配关系，用于对参考图像的特征信息进行筛选，然后利用筛选结果修复第一人脸图像，不仅提取了图像中能够表征人脸细节的关键点，还减少数据计算量，从而同时兼顾超分辨率处理效果和超分辨率处理速度。
[0027]作为优选方案，所述的一种基于参考图像的人脸图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于参考图像的人脸图像超分辨率处理方法，其特征在于，包括：建立待处理的第一人脸图像和参考图像之间的匹配关系，并判断各个第一像素点和对应的第二像素点是否符合所述匹配关系，以确定各所述第一像素点的特征信息；若当前所述第一像素点和当前所述第一像素点对应的所述第二像素点符合所述匹配关系，则将当前所述第一像素点对应的所述第二像素点的特征信息作为当前所述第一像素点的特征信息；若当前所述第一像素点和当前所述第一像素点对应的所述第二像素点不符合所述匹配关系，则将当前所述第一像素点对应的第三像素点的特征信息作为当前所述第一像素点的特征信息；根据确定特征信息的所有所述第一像素点，对所述第一人脸图像进行修复，获得并实时显示对应的第一修复图像，以完成对所述第一人脸图像的超分辨率处理；其中，所述参考图像是在视频会议过程中由发送端发送的高分辨率人脸图像，各所述第二像素点是所述参考图像中与各所述第一像素点一一对应的像素点，各所述第三像素点是所述第一人脸图像中与各所述第一像素点一一对应的像素点。2.如权利要求1所述的一种基于参考图像的人脸图像超分辨率处理方法，其特征在于，所述根据确定特征信息的所有所述第一像素点，对所述第一人脸图像进行修复，获得并实时显示对应的第一修复图像，以完成对所述第一人脸图像的超分辨率处理，具体为：根据确定特征信息的所有所述第一像素点，生成对应的第一迁移特征图，并按照预设的融合算法，融合所述第一迁移特征图和所述第一人脸图像对应的第一特征图，获得对应的第一融合特征图；将所述第一融合特征图输入至第一卷积块，以使所述第一卷积块输出对应的所述第一修复图像，并实时显示所述第一修复图像，以完成对所述第一人脸图像的超分辨率处理；其中，所述第一卷积块包括若干个卷积层。3.如权利要求2所述的一种基于参考图像的人脸图像超分辨率处理方法，其特征在于，所述第一卷积块的获取，具体为：获取训练数据集；其中，所述训练数据集包括若干组训练数据，每一组所述训练数据包括第二人脸图像、参考图像、以及所述第二人脸图像对应的目标图像；根据所有所述第二人脸图像和参考图像，生成各所述第二人脸图像对应的第二迁移特征图，并按照预设的融合算法，融合各所述第二人脸图像和各所述第二人脸图像对应的所述第二迁移特征图，获得各所述第二人脸图像对应的第二融合特征图；分别将各所述第二人脸图像对应的所述第二融合特征图输入至预构建的第二卷积块，以使所述第二卷积块分别输出各所述第二人脸图像对应的第二修复图像；其中，所述第二卷积块是基于卷积神经网络构建得到的；利用预设的损失函数，结合所有所述第二人脸图像对应的所述第二修复图像和所有所述第二人脸图像对应的所述目标图像，计算得到所述第二卷积块对应的损失值，并采用随机梯度下降算法，结合所述损失值，对所述第二卷积块的参数进行优化，以获得所述第一卷积块。4.如权利要求1所述的一种基于参考图像的人脸图像超分辨率处理方法，其特征在于，所述建立待处理的第一人脸图像和参考图像之间的匹配关系，具体为：
通过人脸关键点检测算法，分别对所述第一人脸图像和所述参考图像进行人脸关键点检测，以获得所述第一人脸图像对应的多个第一关键点坐标和所述参考图像对应的多个第二关键点坐标；根据所有所述第一关键点坐标和所有所述第二关键点坐标，建立所述第一人脸图像和所述参考图像之间的所述匹配关系。5.如权利要求1所述的一种基于参考图像的人脸图像超分辨率处理方法，其特征在于，还包括：通过特征提取网络模型，分别对所述第一人脸图像和所述参考图像进行特征提取，获得所述第一人脸图像对应的第一特征图和所述参考图像对应的第二特征图；其中，所述第一特征图包括所有所述第三像素点的特征信息，所述第二特征图包括所有所述第二像素点的特征信息。6.一种基于参考图像的人脸图像超分辨率处理系统，其特...

【专利技术属性】
技术研发人员：黄杰，
申请(专利权)人：厦门亿联网络技术股份有限公司，
类型：发明
国别省市：