【技术实现步骤摘要】
用于处理人脸图像的方法和装置
[0001]本申请涉及图像处理
，更具体地，涉及一种用于处理人脸图像的方法和电子装置。
技术介绍
[0002]近年来，人脸超分辨率(Facial super
‑
resolution，FSR)技术由于深度神经网络技术的发展已经获得显著进步。当前FSR方法主要包括：基于CNN的方法、基于GAN的方法、基于集成学习的方法和基于强化学习的方法，为了提高FSR性能，需要设计复杂的FSR网络结构，然而这会导致内存、计算量和参数的增加，从而增加网络的训练时间和计算成本。此外，虽然可利用面部先验信息来提高FSR性能，然而，现有的利用面部先验信息的FSR方法要求额外的人脸先验信息注释。
[0003]因此，亟需一种能够在降低FSR网络复杂度且无需额外的人脸先验信息注释的同时提高FSR性能的方法。
技术实现思路
[0004]本专利技术的目的在于提供一种用于处理人脸图像的方法和电子装置，以至少解决上述相关技术中的问题，也可以不解决任何上述问题。
[0005]根据本...
【技术保护点】
【技术特征摘要】
1.一种用于处理人脸图像的方法，包括：基于人脸图像的多级特征图获得所述人脸图像的初始图像特征矩阵；基于所述多级特征图中的最后一级特征图获得所述人脸图像的初始面部先验特征矩阵；基于所述初始图像特征矩阵和所述初始面部先验特征矩阵利用级联的至少一个编码器，获得所述人脸图像的超分辨图像和/或所述人脸图像的关键点坐标。2.如权利要求1所述的方法，其中，所述获得所述人脸图像的超分辨图像的步骤包括：利用所述至少一个编码器包括的交叉注意力模块，基于所述初始图像特征矩阵和所述初始面部先验特征矩阵，获得融合后的图像特征矩阵；利用所述至少一个编码器包括的第一可变形注意力模块，基于所述融合后的图像特征矩阵，获得所述人脸图像的更新后的图像特征矩阵；基于所述更新后的图像特征矩阵和所述人脸图像，获得所述人脸图像的超分辨图像。3.如权利要求2所述的方法，其中，所述获得所述人脸图像的关键点坐标的步骤包括：利用所述至少一个编码器包括的交叉注意力模块，基于所述初始图像特征矩阵和所述初始面部先验特征矩阵，获得融合后的图像特征矩阵；利用所述至少一个编码器包括的第二可变形注意力模块，基于所述融合后的图像特征矩阵和所述初始面部先验特征矩阵，获得所述人脸图像的更新后的面部先验特征；基于所述更新后的面部先验特征和所述人脸图像的初始关键点坐标，预测所述人脸图像的关键点坐标，其中，所述人脸图像的初始关键点坐标基于所述初始面部先验特征矩阵获得。4.如权利要求3所述的方法，其中，所述至少一个编码器中的每个编码器包括第一网络、第二网络和第三网络，第一网络包括交叉注意力模块，第二网络包括第一可变形注意力模块，第三网络包括第二可变形注意力模块，其中，获得所述人脸图像的超分辨图像和/或所述人脸图像的关键点坐标的步骤包括：对于每个编码器，基于当前编码器对应的图像特征矩阵和面部先验特征矩阵，利用第一网络获取当前编码器的融合后的图像特征矩阵；基于当前编码器的融合后的图像特征矩阵和当前编码器对应的面部先验特征矩阵，利用第二网络获取当前编码器的更新后的面部先验特征矩阵；基于当前编码器的融合后的图像特征矩阵，利用第三网络获取当前编码器的更新后的图像特征矩阵；基于至少一个编码器中的最后一个编码器的更新后的图像特征矩阵和所述人脸图像，获得所述人脸图像的超分辨图像；和/或，基于最后一个编码器的更新后的面部先验特征矩阵和所述人脸图像的初始关键点坐标，预测所述人脸图像的关键点坐标；其中，当当前编码器为至少一个编码器中的第一个编码器时，所述当前编码器对应的图像特征矩阵为所述初始图像特征矩阵，所述当前编码器对应的面部先验特征矩阵为所述初始面部先验特征矩阵；当当前编码器不是第一个编码器时，所述当前编码器对应的图像特征矩阵为所述当前编码器的上一个编码器的更新后的图像特征矩阵，所述当前编码器对应的面部先验特征矩阵为所述当前编码器的上一个编码器的更新后的面部先验特征矩阵。
5.如权利要求4所述的方法，其中，获得所述人脸图像的超分辨图像和/或所述人脸图像的关键点坐标的步骤包括：基于所述级联的最后一个编码器对应的更新后的图像特征矩阵，利用上采样放大网络获取第一偏移，并基于第一偏移和所述人脸图像获取所述超分辨率图像；和/或基于所述级联的最后一个编码器对应的更新后的面部先验特征矩阵，利用关键点预测网络获取第二偏移，并基于第二偏移和所述人脸图像的初始关键点坐标获取预测的所述人脸图像的关键点坐标。6.如权利要求4所述的方法，其中，每个编码器的第一网络还包括级层归一化层和前馈网络层，其中，获取当前编码器的融合后的图像特征矩阵的步骤包括：将嵌入了...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。