图像质量评估模型训练方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了图像质量评估模型训练方法、装置、电子设备及存储介质，利用已知图像质量高低的样本对，对第一模型进行初步训练，得到第二模型，能够使第二模型学习到不同图像质量程度的图像的特征；再利用少量标记有图像质量的样本图像对第二模型进行分类训练，从而得到图像质量评估模型。通过将样本对加入训练，能够大大增加训练数据集的数量，使得深度学习模型有丰富的学习素材，减少过拟合的情况，能够增加模型的性能。

Training method, device, electronic equipment and storage medium of image quality evaluation model

【技术实现步骤摘要】
图像质量评估模型训练方法、装置、电子设备及存储介质
本申请涉及计算机视觉
，特别是涉及图像质量评估模型训练方法、装置、电子设备及存储介质。
技术介绍
随着监控摄像头的普及，以及以深度学习为代表的人工智能技术的发展，智能安防系统在维护社会稳定和保障人民生命财产安全方面发挥了重要作用。具体来说，智能安防是通过计算机视觉等人工智能技术分析监控摄像头捕捉的图像，及时发现特定的人、物以及事件。为了更加准确地对监控图像进行分析，高分辨率的监控图像获取是必不可少的。但是，在实际的监控场景下，由于目标距离摄像头的远近、光照条件及摄像头本身成像效果等众多因素的影响，会导致捕捉到的监控图像清晰度较差、分辨率较低等。低质量的监控图像给目前的计算机视觉技术带来了很大的困难。因此，急需一种有效的算法可以对监控图像进行准确的质量评价。现有技术中，在训练图像质量评估的深度学习模型的过程中，需要大规模的数据集，但是由于图像质量的评价存在一定的主观性，因此，在图像质量数据集的标注是非常困难的，一张图像通常需要N(N>10)个人独立地进行标注，最终将N个人的标注结果融合起来作为最终的标注结果，大大增加了人工标记的工作量，限制了深度学习模型训练的样本数，从而导致深度学习模型的性能差。
技术实现思路
本申请实施例的目的在于提供一种图像质量评估模型训练方法、装置、电子设备及存储介质，以实现增加深度学习模型的性能。具体技术方案如下：第一方面，本申请实施例提供了一种图像质量评估模型训练方法，所述方法包括：将第一样本集合输入预设的第一模型，以对所述第一模型进行训练，得到第二模型，其中，所述第一样本集合包括至少两个样本对和与每个样本对对应的第一标签，每个所述样本对包括内容相同且质量不同的两张图像，所述第一标签用于标识所述样本对的中两张图像的质量的高低；将第二样本集合输入所述第二模型，以对所述第二模型进行训练，得到图像质量评估模型，其中，所述第二样本集合包括：多张图像和与每张图像对应的第二标签，所述第二标签用于标识图像质量。在一种可能的实施方式中，在所述将第一样本集合输入预设的第一模型之前，还包括通过以下方法生成所述至少两个样本对：对于预先获取的每张待处理图像进行降质处理，得到所述至少两个样本对。在一种可能的实施方式中，在所述将第一样本集合输入预设的第一模型之前，还包括通过以下方法生成所述第一标签：根据所述样本对中两张图像的降质处理程度，确定所述样本对的中两张图像的质量的高低，得到所述第一标签，其中，降质处理程度越大的图像的质量越低。在一种可能的实施方式中，所述样本对中的两张图像依次为第一图像和第二图像；所述根据所述样本对中两张图像的降质处理程度，确定所述样本对的中两张图像的质量的高低，得到所述第一标签，包括：在所述第一图像的降质处理程度大于所述第二图像的降质处理程度时，生成第一符号作为所述第一标签；在所述第一图像的降质处理程度小于所述第二图像的降质处理程度时，生成第二符号作为所述第一标签。在一种可能的实施方式中，所述降质处理包括压缩处理、模糊处理、噪声处理中的一种或多种。在一种可能的实施方式中，所述对于预先获取的每张待处理图像进行降质处理，得到所述至少两个样本对，包括：对于预先获取的每张待处理图像进行一次降质处理，并基于原图像和降质后的图像生成一个样本对；或对于预先获取的每张待处理图像进行两次不同程度的降质处理，得到质量低于原图像的第一降质图像和第二降质图像，并基于第一降质图像和第二降质图像生成一个样本对。在一种可能的实施方式中，在所述将第二样本集合输入所述第二模型之前，还包括通过以下方法生成所述第二标签：获取与所述第二样本集合中每张图像对应的人工标签集合，其中，所述人工标签集合包括至少两个人工标签，每个人工标签用于表示所述图像被人为识别出的质量级别；综合所述人工标签集合中的人工标签数量和每个人工标签的质量级别生成所述第二标签。在一种可能的实施方式中，所述预设的第一模型包括特征提取网络、池化层网络及输出层网络；所述特征提取网络用于对输入的图像进行特征提取，得到图像特征；所述池化层网络用于对输入的图像特征进行全局平均池化操作，得到全局特征；所述输出层网络用于对输入的全局特征进行分析，得到质量预测结果。在一种可能的实施方式中，所述将第一样本集合输入预设的第一模型，以对所述第一模型进行训练，得到第二模型，包括：从在所述第一样本集合中选取一个样本对；将选取的样本对输入所述第一模型，得到选取的样本对中的每个图像各自对应的质量预测结果；基于所述质量预测结果计算选取的样本对的损失参数；基于所述损失参数和所述第一标签，计算选取的样本对的当前损失；根据所述当前损失，调整所述第一模型的参数；从在所述第一样本集合中选取样本对重复上述步骤，直至满足预设结束条件，得到所述第二模型。在一种可能的实施方式中，所述基于所述质量预测结果计算选取的样本对的损失参数，包括：将选取的样本对中的两个图像的质量预测结果代入算式1，得到对应的样本对损失参数pi；其中，A和B分别用于表示一个样本对的两个图像，i用于表示所述第一样本集合中第i个样本对，和分别用于表示一个样本对中两个图像的质量预测结果，e用于表示自然常数。在一种可能的实施方式中，所述基于所述损失参数和所述第一标签，计算选取的样本对的当前损失，包括：将所述损失参数和所述第一标签代入算式2，得到对应的样本对的当前损失Li；其中，pi用于表示样本对的损失参数，用于表示样本对的第一标签，log用于表示对数运算。第二方面，本申请实施例提供了一种图像质量评估方法，包括：将待评估的图像输入图像质量评估模型，得到质量评估结果；其中，所述图像质量评估模型采用上述任一所述的图像质量评估模型训练方法得到。第三方面，本申请实施例提供了一种图像质量评估模型训练装置，所述装置包括：第一模型训练模块，用于将第一样本集合输入预设的第一模型，以对所述第一模型进行训练，得到第二模型，其中，所述第一样本集合包括至少两个样本对和与每个样本对对应的第一标签，每个所述样本对包括内容相同且质量不同的两张图像，所述第一标签用于标识所述样本对的中两张图像的质量的高低；第二模型训练模块，用于将第二样本集合输入所述第二模型，以对所述第二模型进行训练，得到图像质量评估模型，其中，所述第二样本集合包括：多张图像和与每张图像对应的第二标签，所述第二标签用于标识图像质量。在一种可能的实施方式中，所述装置还包括：图像降质模块，用于对于预先获取的每张待处理图像进行降质处理，得到所述至少两个样本对。在一种可能的实施方式中，所述装置还包括：第一标签生成模块，用于根据所述样本对中两张图像的降质处理程度，确定所述样本对的中两张图像的质量的高低，得到所述第一标签，其中，降质处理程度越大的本文档来自技高网...

【技术保护点】
1.一种图像质量评估模型训练方法，其特征在于，所述方法包括：/n将第一样本集合输入预设的第一模型，以对所述第一模型进行训练，得到第二模型，其中，所述第一样本集合包括至少两个样本对和与每个样本对对应的第一标签，每个所述样本对包括内容相同且质量不同的两张图像，所述第一标签用于标识所述样本对的中两张图像的质量的高低；/n将第二样本集合输入所述第二模型，以对所述第二模型进行训练，得到图像质量评估模型，其中，所述第二样本集合包括：多张图像和与每张图像对应的第二标签，所述第二标签用于标识图像质量。/n

【技术特征摘要】
1.一种图像质量评估模型训练方法，其特征在于，所述方法包括：
将第一样本集合输入预设的第一模型，以对所述第一模型进行训练，得到第二模型，其中，所述第一样本集合包括至少两个样本对和与每个样本对对应的第一标签，每个所述样本对包括内容相同且质量不同的两张图像，所述第一标签用于标识所述样本对的中两张图像的质量的高低；
将第二样本集合输入所述第二模型，以对所述第二模型进行训练，得到图像质量评估模型，其中，所述第二样本集合包括：多张图像和与每张图像对应的第二标签，所述第二标签用于标识图像质量。


2.根据权利要求1所述的方法，其特征在于，在所述将第一样本集合输入预设的第一模型之前，还包括通过以下方法生成所述至少两个样本对：
对于预先获取的每张待处理图像进行降质处理，得到所述至少两个样本对。


3.根据权利要求2所述的方法，其特征在于，在所述将第一样本集合输入预设的第一模型之前，还包括通过以下方法生成所述第一标签：
根据所述样本对中两张图像的降质处理程度，确定所述样本对的中两张图像的质量的高低，得到所述第一标签，其中，降质处理程度越大的图像的质量越低。


4.根据权利要求3所述的方法，其特征在于，所述样本对中的两张图像依次为第一图像和第二图像；所述根据所述样本对中两张图像的降质处理程度，确定所述样本对的中两张图像的质量的高低，得到所述第一标签，包括：
在所述第一图像的降质处理程度大于所述第二图像的降质处理程度时，生成第一符号作为所述第一标签；
在所述第一图像的降质处理程度小于所述第二图像的降质处理程度时，生成第二符号作为所述第一标签。


5.根据权利要求2所述的方法，其特征在于，所述降质处理包括压缩处理、模糊处理、噪声处理中的一种或多种。


6.根据权利要求2所述的方法，其特征在于，所述对于预先获取的每张待处理图像进行降质处理，得到所述至少两个样本对，包括：
对于预先获取的每张待处理图像进行一次降质处理，并基于原图像和降质后的图像生成一个样本对；或
对于预先获取的每张待处理图像进行两次不同程度的降质处理，得到质量低于原图像的第一降质图像和第二降质图像，并基于第一降质图像和第二降质图像生成一个样本对。


7.根据权利要求1-6任一项所述的方法，其特征在于，在所述将第二样本集合输入所述第二模型之前，还包括通过以下方法生成所述第二标签：
获取与所述第二样本集合中每张图像对应的人工标签集合，其中，所述人工标签集合包括至少两个人工标签，每个人工标签用于表示所述图像被人为识别出的质量级别；
综合所述人工标签集合中的人工标签数量和每个人工标签的质量级别生成所述第二标签。


8.根据权利要求1-6任一项所述的方法，其特征在于，所述预设的第一模型包括特征提取网络、池化层网络及输出层网络；所述特征提取网络用于对输入的图像进行特征提取，得到图像特征；所述池化层网络用于对输入的图像特征进行全局平均池化操作，得到全局特征；所述输出层网络用于对输入的全局特征进行分析，得到质量预测结果。


9.根据权利要求1-6任一项所述的方法，其特征在于，所述将第一样本集合输入预设的第一模型，以对所述第一模型进行训练，得到第二模型，包括：
从在所述第一样本集合中选取一个样本对；
将选取的样本对输入所述第一模型，得到选取的样本对中的每个图像各自对应的质量预测结果；
基于所述质量预测结果计算选取的样本对的损失参数；
基于所述损失参数和所述第一标签，计算选取的样本对的当前损失；
根据所述当前损失，调整所述第一模型的参数；
从在所述第一样本集合中选取样本对重复上述步骤，直至满足预设结束条件，得到所述第二模型。


10.根据权利要求9所述的方法，其特征在于，所述基于所述质量预测结果计算选取的样本对的损失参数，包括：
将选取的样本对中的两个图像的质量预测结果代入算式1，得到对应的样本对损失参数pi；



其中，A和B分别用于表示一个样本对的两个图像，i用于表示所述第一样本集合中第i个样本对，和分别用于表示一个样本对中两个图像的质量预测结果，e用于表示自然常数。


11.根据权利要求9所述的方法，其特征在于，所述基于所述损失参数和所述第一标签，计算选取的样本对的当前损失，包括：
将所述损失参数和所述第一标签代入算式2，得到对应的样本对的当前损失Li；



其中，pi用于表示样本对的损失参数，用于表示样本对的第一标签，log用于表示对数运算。


12.一种图像质量评估方法，其特征在于，包括：
将待评估的图像输入图像质量评估模型，得到质量评估结果；其中，所述图像质量评估模型采用权利要求1-11任一项所述的方法训练得到。


13.一种图像质量评估模型训练装置，其特征在于，所述装置包括：
第一模型训练模块，用于将第一样本集合输入预设的第一模型，以对...

【专利技术属性】
技术研发人员：苏驰，李凯，刘弘也，赵浩男，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京;11