模型训练、图像处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种模型训练、图像处理方法、装置、电子设备、计算机可读存储介质，该训练方法包括：获取训练样本集，训练样本集包括人脸区域清晰的第一图像和第三图像，以及对第一图像的人脸区域增加噪声后的第二图像，第三图像和第一图像中的人脸区域属于同一用户；获取第二图像的第一人脸语义分割结果以及第三图像的第二人脸语义分割结果；将第二图像和第一人脸语义分割结果，以及第三图像和第二人脸语义分割结果输入至神经网络模型，得到第四图像；识别第四图像与第一图像之间在人脸区域上的差异数据；根据差异数据对神经网络模型进行迭代更新；经过迭代更新的神经网络模型用于对人脸区域模糊的图像进行人脸区域重建，生成人脸区域清晰的图像。

Model Training, Image Processing Method, Device, Electronic Equipment and Computer Readable Storage Media

【技术实现步骤摘要】
模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
本专利技术涉及机器学习
，特别是涉及一种模型训练、图像处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着计算机技术的不断发展，有越来越多的电子设备能够拍摄图像。但是基于各种原因，往往会造成拍摄的图像或者经过后期处理后的图像中人脸区域比较模糊的问题。造成图像模糊的原因有很多，例如拍摄图像的电子设备的硬件配置较低、拍摄环境较差、图像的后期处理降低了图像的分辨率、图像损坏等等。对于人脸区域模糊程度较小的图像，相关技术中主要采用人脸去模糊的方法来对模糊图像进行处理。但是，当人脸区域的模糊程度较大，即人脸区域的受损情况比较严重时，相关技术中的图像去模糊方法在对图像中受损的人脸区域进行修复处理时，修复效果较差。
技术实现思路
本专利技术提供了一种模型训练、图像处理方法、装置、电子设备及计算机可读存储介质，以解决相关技术中的人脸去模糊方法在对人脸区域受损严重的图像进行修复时，修复效果较差的问题。为了解决上述问题，根据本专利技术的第一方面，本专利技术公开了一种模型训练方法，包括：获取训练样本集，所述训练样本集包括第一图像、第二图像和第三图像，其中，所述第二图像为对所述第一图像的人脸区域增加噪声后得到的图像，其中，所述第三图像中的人脸区域和所述第一图像中的人脸区域属于同一用户，所述第一图像和所述第三图像均包括清晰的人脸区域；获取所述第二图像的第一人脸语义分割结果；获取所述第三图像的第二人脸语义分割结果；将所述第二图像和所述第一人脸语义分割结果，以及所述第三图像和所述第二人脸语义分割结果输入至神经网络模型，得到第四图像；识别所述第四图像与所述第一图像之间在人脸区域上的差异数据；根据所述差异数据对所述神经网络模型进行迭代更新；其中，经过迭代更新的所述神经网络模型用于对任意一个人脸区域模糊的图像进行人脸区域的重建，生成人脸区域清晰的图像。根据本专利技术的第二方面，本专利技术公开了一种图像处理方法，包括：获取待重建的第一图像，其中，所述第一图像包括受损的人脸区域；获取与所述第一图像匹配的第二图像，其中，所述第二图像中的人脸区域和所述第一图像中的人脸区域属于同一用户，且所述第二图像包括清晰的人脸区域；获取所述第一图像的第一人脸语义分割结果；获取所述第二图像的第二人脸语义分割结果；将所述第一图像和所述第一人脸语义分割结果，以及所述第二图像和所述第二人脸语义分割结果输入至预先经过训练的人脸重建模型，以使所述人脸重建模型根据所述第二图像、所述第二人脸语义分割结果以及所述第一人脸语义分割结果，对所述第一图像进行人脸区域的重建，生成人脸区域清晰的第三图像。根据本专利技术的第三方面，本专利技术公开了一种模型训练装置，包括：第一获取模块，用于获取训练样本集，所述训练样本集包括第一图像、第二图像和第三图像，其中，所述第二图像为对所述第一图像的人脸区域增加噪声后得到的图像，其中，所述第三图像中的人脸区域和所述第一图像中的人脸区域属于同一用户，所述第一图像和所述第三图像均包括清晰的人脸区域；第二获取模块，用于获取所述第二图像的第一人脸语义分割结果；第三获取模块，用于获取所述第三图像的第二人脸语义分割结果；输入模块，用于将所述第二图像和所述第一人脸语义分割结果，以及所述第三图像和所述第二人脸语义分割结果输入至神经网络模型，得到第四图像；识别模块，用于识别所述第四图像与所述第一图像之间在人脸区域上的差异数据；更新模块，用于根据所述差异数据对所述神经网络模型进行迭代更新；其中，经过迭代更新的所述神经网络模型用于对任意一个人脸区域模糊的图像进行人脸区域的重建，生成人脸区域清晰的图像。根据本专利技术的第四方面，本专利技术公开了一种图像处理装置，包括：第一获取模块，用于获取待重建的第一图像，其中，所述第一图像包括受损的人脸区域；第二获取模块，用于获取与所述第一图像匹配的第二图像，其中，所述第二图像中的人脸区域和所述第一图像中的人脸区域属于同一用户，且所述第二图像包括清晰的人脸区域；第三获取模块，用于获取所述第一图像的第一人脸语义分割结果；第四获取模块，用于获取所述第二图像的第二人脸语义分割结果；重建模块，用于将所述第一图像和所述第一人脸语义分割结果，以及所述第二图像和所述第二人脸语义分割结果输入至预先经过训练的人脸重建模型，以使所述人脸重建模型根据所述第二图像、所述第二人脸语义分割结果以及所述第一人脸语义分割结果，对所述第一图像进行人脸区域的重建，生成人脸区域清晰的第三图像。根据本专利技术的第五方面，本专利技术还公开了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型训练程序或图像处理程序，所述模型训练程序被所述处理器执行时实现如上述任意一项所述的模型训练方法的步骤，所述图像处理程序被所述处理器执行时实现上述图像处理方法的步骤。根据本专利技术的第六方面，本专利技术还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有模型训练程序或图像处理程序，所述模型训练程序被处理器执行时实现如上述任意一项所述的模型训练方法中的步骤，所述图像处理程序被所述处理器执行时实现上述图像处理方法的步骤。与现有技术相比，本专利技术包括以下优点：本专利技术实施例在训练用于人脸重建的神经网络模型时，不只是将人脸区域受损严重的第二图像输入到人脸重建模型中，还将该第二图像的人脸语义分割结果一起输入至人脸重建模型，并进一步地将第二图像中的用户的另一个人脸区域清晰的第三图像，以及第三图像的人脸语义分割结果也输入至待训练的神经网络模型，来对其进行训练，并根据神经网络模型输出的第四图像与人脸区域清晰的第一图像之间的差异数据，来对神经网络模型进行迭代更新，从而使得训练后的神经网络模型能够参考同一用户的人脸区域受损的第二图像的人脸语义分割结果，以及人脸区域未受损的第三图像的人脸语义分割结果，来对第二图像中受损的人脸区域进行修复，由于修复时参考了该用户的清晰人脸图像，从而可以生成人脸区域清晰的第四图像，提升了对人脸区域受损严重的图像的修复效果。附图说明图1是本专利技术的一种模型训练方法实施例的步骤流程图；图2是本专利技术的另一种模型训练方法实施例的步骤流程图；图3是本专利技术的又一种模型训练方法实施例的步骤流程图；图4是本专利技术的再一种模型训练方法实施例的步骤流程图；图5是本专利技术的再一种模型训练方法实施例的步骤流程图；图6是本专利技术的一种图像处理方法实施例的步骤流程图；图7是本专利技术的一种模型训练装置实施例的结构框图；图8是本专利技术的一种图像处理装置实施例的结构框图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。参照图1，示出了本专利技术的一种模型训练方法实施例的步骤流程图，具体可以包括如下步骤：步骤101，获取训练样本集，所述训练样本集包括第一图像、第二图像和第三图像；其中，为了对本专利技术实施例的神经网络模型进行训练，使得训练后的神经网络模型可以作为人脸重建模型对人脸区域受损的图像进行人脸区域的修复，这里需要获取训练样本集，该训练样本集中的每组样本包括三个图像，分别为上述第一图像、第二图像和第三图像。其中，所述第一图像和第三图像都是人脸区域清晰的图像，影响图像清晰度的参数有很多种，例如拍摄图像的电子本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，包括：获取训练样本集，所述训练样本集包括第一图像、第二图像和第三图像，其中，所述第二图像为对所述第一图像的人脸区域增加噪声后得到的图像，其中，所述第三图像中的人脸区域和所述第一图像中的人脸区域属于同一用户，所述第一图像和所述第三图像均包括清晰的人脸区域；获取所述第二图像的第一人脸语义分割结果；获取所述第三图像的第二人脸语义分割结果；将所述第二图像和所述第一人脸语义分割结果，以及所述第三图像和所述第二人脸语义分割结果输入至神经网络模型，得到第四图像；识别所述第四图像与所述第一图像之间在人脸区域上的差异数据；根据所述差异数据对所述神经网络模型进行迭代更新；其中，经过迭代更新的所述神经网络模型用于对任意一个人脸区域模糊的图像进行人脸区域的重建，生成人脸区域清晰的图像。

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取训练样本集，所述训练样本集包括第一图像、第二图像和第三图像，其中，所述第二图像为对所述第一图像的人脸区域增加噪声后得到的图像，其中，所述第三图像中的人脸区域和所述第一图像中的人脸区域属于同一用户，所述第一图像和所述第三图像均包括清晰的人脸区域；获取所述第二图像的第一人脸语义分割结果；获取所述第三图像的第二人脸语义分割结果；将所述第二图像和所述第一人脸语义分割结果，以及所述第三图像和所述第二人脸语义分割结果输入至神经网络模型，得到第四图像；识别所述第四图像与所述第一图像之间在人脸区域上的差异数据；根据所述差异数据对所述神经网络模型进行迭代更新；其中，经过迭代更新的所述神经网络模型用于对任意一个人脸区域模糊的图像进行人脸区域的重建，生成人脸区域清晰的图像。2.根据权利要求1所述的方法，其特征在于，所述获取所述第二图像的第一人脸语义分割结果，包括：获取与所述第二图像匹配的第二图像矩阵；将所述第二图像矩阵输入至预先经过训练的第一人脸语义分割模型，得到与多个人脸部件匹配的第一全局人脸语义分割矩阵；所述获取所述第三图像的第二人脸语义分割结果，包括：获取与所述第三图像匹配的第三图像矩阵；将所述第三图像矩阵输入至预先经过训练的第二人脸语义分割模型，得到与多个人脸部件匹配的第二全局人脸语义分割矩阵；所述将所述第二图像和所述第一人脸语义分割结果，以及所述第三图像和所述第二人脸语义分割结果输入至神经网络模型，得到第四图像，包括：将所述第二图像矩阵和所述第一全局人脸语义分割矩阵作矩阵连接处理，得到第一矩阵数据；将所述第三图像矩阵和所述第二全局人脸语义分割矩阵作矩阵连接处理，得到第二矩阵数据；将所述第一矩阵数据和所述第二矩阵数据输入至神经网络模型，得到第四图像。3.根据权利要求1所述的方法，其特征在于，所述识别所述第四图像和所述第一图像之间在人脸区域上的差异数据，包括：识别所述第四图像与所述第一图像之间在图像特征上的第一损失数据；根据所述第一人脸语义分割结果，识别所述第四图像与所述第一图像之间在目标人脸部件上的第二损失数据；识别所述第四图像与所述第一图像之间在像素点上的第三损失数据；根据预设的图像特征权重、人脸部件权重、像素点权重，对所述第一损失数据、所述第二损失数据和所述第三损失数据进行加权求和，得到所述第四图像与所述第一图像之间在人脸区域上的差异数据。4.根据权利要求3所述的方法，其特征在于，所述识别所述第四图像和所述第一图像之间在图像特征上的第一损失数据，包括：将所述第四图像和所述第一图像分别输入至预先经过训练的图像特征提取模型，得到所述第四图像的图像特征数据以及所述第一图像的图像特征数据；根据所述第四图像的图像特征数据与所述第一图像的图像特征数据之间的差异，获取所述第四图像与所述第一图像之间在图像特征上的第一损失数据。5.根据权利要求3所述的方法，其特征在于，所述获取所述第二图像的第一人脸语义分割结果，包括：获取与所述第二图像匹配的第二图像矩阵；将所述第二图像输入至预先经过训练的人脸语义分割模型，得到与多个人脸部件匹配的第一全局人脸语义分割矩阵；所述根据所述第一人脸语义分割结果，识别所述第四图像和所述第一图像之间在目标人脸部件上的第二损失数据，包括：获取与所述第四图像匹配的第四图像矩阵；获取与所述第一图像匹配的第一图像矩阵；获取所述第四图像矩阵和所述第一图像矩阵之间的差异矩阵；获取所述第一全局人脸语义分割矩阵中，与所述目标人脸部件匹配的局部人脸语义分割矩阵；将所述局部人脸语义分割矩阵和所述差异矩阵作点乘运算，得到与所述目标人脸部件匹配的子损失数据；将与多个所述目标人脸部件匹配的多个所述子损失数据求和，得到所述第四图像和所述第一图像之间在目标人脸部件上的第二损失数据。6.根据权利要求1所述的方法，其特征在于，所述根据所述差异数据对所述神经网络模型进行迭代更新，包括：根据所述差异数据对所述神经网络模型进行迭代更新，直至所述差异数据收敛。7.一种图像处理方法，其特征在于，包括：获取待重建的第一图像，其中，所述第一图像包括受损的人脸区域；获取与所述第一图像匹配的第二图像，其中，所述第二图像中的人脸区域和所述第一图像中的人脸区域属于同一用户，且所述第二图像包括清晰的人脸区域；获取所述第一图像的第一人脸语义分割结果；获取所述第二图像的第二人脸语义分割结果；将所述第一图像和所述第一人脸语义分割结果，以及所述第二图像和所述第二人脸语义分割结果输入至预先经过训练的人脸重建模型，以使所述人脸重建模型根据所述第二图像、所述第二人脸语义分割结果以及所述第一人脸语义分割结果，对所述第一图像进行人脸区域的重建，生成人脸区域清晰的第三图像。8.一种模型训练装置，其特征在于，包括：第一获取模块，用于获取训练样本集，所述训练样本集包括第一图像、第二图像和第三图像，其中，所述第二图像为对所述第一图像的人脸区域增加噪声后得到的图像，其中，所述第三图像中的人脸区域和所述第一图像中的人脸区域属于同一用户，所述第一图像和所述第三图像均包括清晰的人脸区域；第二获取模块，用于获取所述第二图像的第一人脸语义分割结果；第三获...

【专利技术属性】
技术研发人员：刘思阳，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11