一种人脸图像质量识别方法及其模型的训练方法技术

本申请公开了一种人脸图像质量识别方法及其模型的训练方法。该方法通过基于预先训练好的质量评估模型对初始图像进行质量评估，得到评估结果，其中，质量评估模型包括级联的图像识别单元和质量评估单元，基于评估结果在初始图像中筛选样本图像，并获取样本图像分别对应的多个质量类型标签，基于样本图像和对应的质量类型标签训练得到人脸图像质量识别模型，其中，训练好的人脸图像质量识别模型为端到端的机器学习模型，且人脸图像质量识别模型用于得到输入图像的多类型的质量识别结果。解决在复杂监控环境下由于人脸图像的角度变化大、模糊、遮挡等导致严重误报的问题。遮挡等导致严重误报的问题。遮挡等导致严重误报的问题。

【技术实现步骤摘要】
一种人脸图像质量识别方法及其模型的训练方法


[0001]本申请实施例涉及计算机视觉领域，尤其涉及一种人脸图像质量识别方法及其模型的训练方法。

技术介绍

[0002]随着人脸识别技术的发展，静态较高质量的人脸图像识别的准确率逐渐增加，但在视频监控的应用环境中系统并不关心每一帧人脸是否被检测与识别到，而是一个人在视频中能否被识别出，这就需要合理的判断每一帧人脸图片是否满足人脸的识别条件，尤其是非交互式人脸识别的准确率依旧受到人脸图像的角度变化、模糊以及遮挡等现实条件约束，因此低质量的人脸识别是具有挑战性的问题。
[0003]目前，低质量的人脸特征无论在识别或者训练上面更像是噪声，造成人脸识别系统严重误报，增加了人脸识别技术的落地难度。

技术实现思路

[0004]本申请提供一种人脸图像质量识别方法及其模型的训练方法，以实现复杂环境下的人脸识别。
[0005]第一方面，本申请实施例提供了一种人脸图像质量识别模型的训练方法，包括：
[0006]基于预先训练好的质量评估模型对初始图像进行质量评估，得到评估结果，其中，所述质量评估模型包括级联的图像识别单元和质量评估单元；
[0007]基于所述评估结果在所述初始图像中筛选样本图像，并获取所述样本图像分别对应的多个质量类型标签；
[0008]基于所述样本图像和对应的质量类型标签训练得到人脸图像质量识别模型，其中，训练好的人脸图像质量识别模型为端到端的机器学习模型，且所述人脸图像质量识别模型用于得到输入图像的多类型的质量识别结果。
[0009]可选的，包括：所述图像识别单元中包括图像特征提取模块和识别模块，所述图像特征提取模块用于提取输入的初始图像的图像特征，所述识别模块用于基于所述图像特征确定图像识别结果；
[0010]所述质量评估单元与所述图像特征提取模块连接，用于基于所述图像特征确定所述初始图像的评估结果。
[0011]可选的，所述质量评估模型的训练方法包括：
[0012]迭代执行如下训练过程，在满足训练结束条件的情况下，得到训练好的质量评估模型：
[0013]设置所述质量评估单元的评估结果为预设评估数据，基于所述初始图像对当前训练过程中的质量评估模型进行第一阶段的训练；
[0014]保持第一阶段训练得到的图像识别单元中的模型参数，基于初始图像对当前训练过程中的质量评估模型进行第二阶段的训练。
[0015]可选的，所述基于所述初始图像对当前训练过程中的质量评估模型进行第一阶段的训练，包括：
[0016]将所述初始图像输入至所述当前训练过程中的质量评估模型中，得到图像识别单元得到的第一训练识别结果，基于所述第一训练识别结果和所述预设评估数据生成第一损失函数，对所述图像识别单元进行模型参数的调节；
[0017]以及，所述基于初始图像对当前训练过程中的质量评估模型进行第二阶段的训练，包括：
[0018]将所述初始图像输入至所述当前训练过程中的质量评估模型中，得到图像识别单元得到的第二训练识别结果和所述质量评估单元的训练评估结果；基于所述第二训练识别结果和所述训练评估结果生成第二损失函数，对所述质量评估单元进行模型参数的调节。
[0019]可选的，所述人脸图像质量识别模型包括：依次连接的特征识别单元和多任务质量识别单元，其中，所述特征识别单元用于对输入图像进行特征提取，得到图像特征；所述多任务质量识别单元包括并行设置的多个网络块，任一所述网络块中包括池化层和至少一个全连接层，各所述网络块用于基于所述图像特征确定对应质量类型的识别结果。
[0020]可选的，所述基于所述评估结果在所述初始图像中筛选样本图像，包括：
[0021]获取图像筛选阈值，其中，所述图像筛选阈值包括正样本阈值和负样本阈值；
[0022]将所述评估结果大于所述正样本阈值的初始图像确定为样本图像；以及，将所述评估结果小于所述负样本阈值的初始图像确定为样本图像。
[0023]可选的，所述样本图像为人脸图像；所述样本图像的质量类型标签包括如下的一项或多项对应的标签：角度变化、模糊程度、是否为人脸、是否佩戴遮盖物。
[0024]第二方面，本申请实施例还提供了一种人脸图像质量识别方法，包括：
[0025]获取待识别图像；
[0026]将所述待识别图像输入至预先训练好的人脸图像质量识别模型中，得到所述待识别图像对应的多个质量类型的识别结果，其中，所述人脸图像质量识别模型基于第一方面任一所述的人脸质量识别模型的训练方法训练得到。
[0027]第三方面，本申请实施例还提供了一种人脸图像质量识别装置，包括：
[0028]图像获取模块，用于获取待识别图像；
[0029]人脸图像质量识别模型，用于将所述待识别图像输入至预先训练好的人脸图像质量识别模型中，得到所述待识别图像对应的多个质量类型的识别结果，其中，所述人脸图像质量识别模型基于第一方面任一所述的人脸图像质量识别模型的训练方法训练得到。
[0030]第四方面，本申请实施例还提供了一种电子设备，所述电子设备包括：
[0031]至少一个处理器；以及
[0032]与所述至少一个处理器通信连接的存储器；其中，
[0033]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的人脸图像质量识别模型的训练方法，和/或，第二方面所述的人脸图像质量识别方法。
[0034]本申请通过基于预先训练好的质量评估模型对初始图像进行质量评估，得到评估结果，其中，质量评估模型包括级联的图像识别单元和质量评估单元，基于评估结果在初始图像中筛选样本图像，并获取样本图像分别对应的多个质量类型标签，基于样本图像和对
H,et al.Crystal loss and quality pooling for unconstrained face verification and recognition[J].arXiv preprint arXiv:1804.01159,2018.)利用不同质量的人脸特征聚类的方式，但仅仅利用人脸的检测得分作为人脸质量的得分标准是不合理的方法。Liu,Y等人(Liu Y,Yan J,Ouyang W.Quality aware network for set to set recognition[C]Proceedings of the IEEE conference on computervision andpattern recognition.2017:5790
‑
5799.)利用嵌入向量的方式将人脸质量特征与人脸识别特征的向量相结合作为新的人脸特征进行人脸识别，此种方式并没有给出人脸质量的评分。
[0046]目前，利用模型特征向量或者数据分布表征人脸质量的技术方案都忽略了人脸质量的评分问题，不利于后处理进一步筛选符合项目工程在不同环本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像质量识别模型的训练方法，其特征在于，包括：基于预先训练好的质量评估模型对初始图像进行质量评估，得到评估结果，其中，所述质量评估模型包括级联的图像识别单元和质量评估单元；基于所述评估结果在所述初始图像中筛选样本图像，并获取所述样本图像分别对应的多个质量类型标签；基于所述样本图像和对应的质量类型标签训练得到人脸图像质量识别模型，其中，训练好的人脸图像质量识别模型为端到端的机器学习模型，且所述人脸图像质量识别模型用于得到输入图像的多类型的质量识别结果。2.根据权利要求1所述的方法，其特征在于，包括：所述图像识别单元中包括图像特征提取模块和识别模块，所述图像特征提取模块用于提取输入的初始图像的图像特征，所述识别模块用于基于所述图像特征确定图像识别结果；所述质量评估单元与所述图像特征提取模块连接，用于基于所述图像特征确定所述初始图像的评估结果。3.根据权利要求1所述的方法，其特征在于，所述质量评估模型的训练方法包括：迭代执行如下训练过程，在满足训练结束条件的情况下，得到训练好的质量评估模型：设置所述质量评估单元的评估结果为预设评估数据，基于所述初始图像对当前训练过程中的质量评估模型进行第一阶段的训练；保持第一阶段训练得到的图像识别单元中的模型参数，基于初始图像对当前训练过程中的质量评估模型进行第二阶段的训练。4.根据权利要求3所述的方法，其特征在于，所述基于所述初始图像对当前训练过程中的质量评估模型进行第一阶段的训练，包括：将所述初始图像输入至所述当前训练过程中的质量评估模型中，得到图像识别单元得到的第一训练识别结果，基于所述第一训练识别结果和所述预设评估数据生成第一损失函数，对所述图像识别单元进行模型参数的调节；以及，所述基于初始图像对当前训练过程中的质量评估模型进行第二阶段的训练，包括：将所述初始图像输入至所述当前训练过程中的质量评估模型中，得到图像识别单元得到的第二训练识别结果和所述质量评估单元的训练评估结果；基于所述第二训练识别结果和所述训练评估结果生成第二损失函数，对所述质量评估单元进行模型参数的调节。5.根据权利要求1所述的方法，其特征在于...

【专利技术属性】
技术研发人员：叶远征，
申请(专利权)人：无锡阿法斯倍思科技有限公司，
类型：发明
国别省市：