图像、视频质量识别方法、模型训练方法、装置、设备制造方法及图纸

本公开提供了图像、视频质量识别方法、模型训练方法、装置、设备、存储介质及计算机程序产品，涉及数据处理技术领域，尤其涉及视频质量识别、图像质量识别领域。视频质量的识别方法的具体实现方案为：获取待识别视频，从所述待识别视频中抽取至少两帧待识别图像；对各帧待识别图像进行等比例缩放处理，得到对应于各帧待识别图像的尺寸变换图像；分别从所述待识别图像和对应的尺寸变换图像中提取图像特征，融合所提取的图像特征，得到所述待识别视频的视频特征；根据所述视频特征对所述待识别视频的视频质量进行识别。的视频质量进行识别。的视频质量进行识别。

【技术实现步骤摘要】
图像、视频质量识别方法、模型训练方法、装置、设备


[0001]本公开涉及数据处理
，尤其涉及视频质量识别、图像质量识别领域。

技术介绍

[0002]现有技术中，对于视频质量识别一般是从视频中抽取图像，将各图像统一到一个固定尺寸，输入卷积神经网络，由卷积神经网络分别识别各张图像的图像质量评分，并将所有图片的图像质量评分的平均值作为视频的图像质量评分，该识别结果的准确性有限。

技术实现思路

[0003]本公开提供了一种图像、视频质量识别方法、模型训练方法、装置、设备、存储介质及计算机程序产品。
[0004]根据本公开的第一方面，提供了一种视频质量的识别方法，包括：
[0005]获取待识别视频，从所述待识别视频中抽取至少两帧待识别图像；
[0006]对各帧待识别图像进行等比例缩放处理，得到对应于各帧待识别图像的尺寸变换图像；
[0007]分别从所述待识别图像和对应的尺寸变换图像中提取图像特征，融合所提取的图像特征，得到所述待识别视频的视频特征；
[0008]根据所述视频特征对所述待识别视频的视频质量进行识别。
[0009]根据本公开的第二方面，提供了一种视频质量识别模型的训练方法，包括：
[0010]获取标注有视频质量标注信息的视频样本，从所述视频样本中抽取至少两帧图像样本；
[0011]对各帧图像样本进行等比例缩放处理，得到对应于各帧图像样本的尺寸变换图像样本；
[0012]将所述图像样本和对应的尺寸变换图像样本输入视频质量识别模型，以由所述视频质量识别模型根据视频特征输出所述视频样本的视频质量预测信息；所述视频特征根据从所述图像样本和对应的尺寸变换图像样本中提取的图像特征进行融合处理得到；
[0013]根据所述视频质量预测信息和所述视频质量标注信息计算损失误差，并根据所述损失误差调节所述视频质量识别模型的模型参数。
[0014]根据本公开的第三方面，提供了一种图像质量的识别方法，包括：
[0015]获取待识别图像；
[0016]对待识别图像进行等比例缩放处理，得到所述待识别图像的尺寸变换图像；
[0017]分别从所述待识别图像和对应的尺寸变换图像中提取图像特征，并融合所提取的图像特征得到所述待识别图像的图像融合特征；
[0018]根据所述图像融合特征对所述待识别图像的图像质量进行识别。
[0019]根据本公开的第四方面，提供了一种图像质量识别模型的训练方法，包括：
[0020]获取标注有图像质量标注信息的图像样本；
[0021]对各图像样本进行等比例缩放处理，得到对应于各图像样本的尺寸变换图像样本；
[0022]将所述图像样本和对应的尺寸变换图像样本输入图像质量识别模型，以由所述图像质量识别模型根据所述图像样本的图像融合特征输出图像质量预测信息；所述图像融合特征通过对从所述图像样本和对应的尺寸变换图像中提取的图像特征进行融合处理得到；
[0023]根据所述图像质量预测信息和所述图像质量标注信息计算损失误差，并根据所述损失误差调节所述图像质量识别模型的模型参数。
[0024]根据本公开的第五方面，提供了一种视频质量的识别装置，包括：
[0025]视频获取模块，用于获取待识别视频，从所述待识别视频中抽取至少两帧待识别图像；
[0026]缩放模块，用于对各帧待识别图像进行等比例缩放处理，得到对应于各帧待识别图像的尺寸变换图像；
[0027]特征提取模块，用于分别从所述待识别图像和对应的尺寸变换图像中提取图像特征，融合所提取的图像特征，得到所述待识别视频的视频特征；
[0028]质量识别模块，用于根据所述视频特征对所述待识别视频的视频质量进行识别。
[0029]根据本公开的第六方面，提供了一种视频质量识别模型的训练装置，包括：
[0030]视频获取模块，用于获取标注有视频质量标注信息的视频样本，从所述视频样本中抽取至少两帧图像样本；
[0031]缩放模块，用于对各帧图像样本进行等比例缩放处理，得到对应于各帧图像样本的尺寸变换图像样本；
[0032]输入模块，用于将所述图像样本和对应的尺寸变换图像样本输入视频质量识别模型，以由所述视频质量识别模型根据视频特征输出所述视频样本的视频质量预测信息；所述视频特征根据从所述图像样本和对应的尺寸变换图像样本中提取的图像特征进行融合处理得到；
[0033]训练模块，用于根据所述视频质量预测信息和所述视频质量标注信息计算损失误差，并根据所述损失误差调节所述视频质量识别模型的模型参数。
[0034]根据本公开的第七方面，提供了一种图像质量的识别装置，包括：
[0035]图像获取模块，用于获取待识别图像；
[0036]缩放模块，用于对待识别图像进行等比例缩放处理，得到所述待识别图像的尺寸变换图像；
[0037]特征提取模块，用于分别从所述待识别图像和对应的尺寸变换图像中提取图像特征，并融合所提取的图像特征得到所述待识别图像的图像融合特征；
[0038]质量识别模块，用于根据所述图像融合特征对所述待识别图像的图像质量进行识别。
[0039]根据本公开的第八方面，提供了一种图像质量识别模型的训练装置，包括：
[0040]图像获取模块，用于获取标注有图像质量标注信息的图像样本；
[0041]缩放模块，用于对各图像样本进行等比例缩放处理，得到对应于各图像样本的尺寸变换图像样本；
[0042]输入模块，用于将所述图像样本和对应的尺寸变换图像样本输入图像质量识别模
型，以由所述图像质量识别模型根据所述图像样本的图像融合特征输出图像质量预测信息；所述图像融合特征通过对从所述图像样本和对应的尺寸变换图像中提取的图像特征进行融合处理得到；
[0043]训练模块，用于根据所述图像质量预测信息和所述图像质量标注信息计算损失误差，并根据所述损失误差调节所述图像质量识别模型的模型参数。
[0044]根据本公开的第九方面，提供了一种电子设备，包括：
[0045]至少一个处理器；以及
[0046]与所述至少一个处理器通信连接的存储器；其中，
[0047]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
[0048]根据本公开的第十方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一项所述的方法。
[0049]根据本公开的第十一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述所述的方法。
[0050]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频质量的识别方法，包括：获取待识别视频，从所述待识别视频中抽取至少两帧待识别图像；对各帧待识别图像进行等比例缩放处理，得到对应于各帧待识别图像的尺寸变换图像；分别从所述待识别图像和对应的尺寸变换图像中提取图像特征，融合所提取的图像特征，得到所述待识别视频的视频特征；根据所述视频特征对所述待识别视频的视频质量进行识别。2.根据权利要求1所述的视频质量的识别方法，其中，从所述待识别图像中提取图像特征，包括：对所述待识别图像进行图像分块处理，得到至少两个第一图像块；将各个第一图像块分别映射为第一图像向量，将各个第一图像块的位置信息分别映射为第一位置向量；拼接所述第一图像块的第一图像向量和第一位置向量，得到所述第一图像块的图像块向量；所述待识别图像的图像特征根据所述第一图像块的图像块向量确定；和/或，从所述尺寸变换图像中提取图像特征，包括：对所述尺寸变换图像进行图像分块处理，得到至少两个第二图像块；将各个第二图像块分别映射为第二图像向量，将各个第二图像块的位置信息分别映射为第二位置向量；拼接所述第二图像块的第二图像向量和第二位置向量，得到所述第二图像块的图像块向量；所述尺寸变换图像的图像特征根据所述第二图像块的图像块向量确定。3.根据权利要求1所述的视频质量的识别方法，其中，所述融合所提取的图像特征，得到所述待识别视频的视频特征，包括：将从所述待识别图像和对应的尺寸变换图像中提取的所有图像特征输入第一编码器，得到所述待识别图像的图像融合特征；将所有待识别图像的图像融合特征输入第二编码器，得到所述待识别视频的视频特征。4.根据权利要求1
‑
3中任一项所述的视频质量的识别方法，其中，所述根据所述视频特征对所述待识别视频的视频质量进行识别，包括：根据所述视频特征识别所述待识别视频的清晰度；和/或，根据所述视频特征识别所述待识别视频的美观度。5.根据权利要求4所述的视频质量的识别方法，所述对各帧待识别图像进行等比例缩放处理，包括：按照第一缩放比例对所述待识别图像进行等比例放大处理，得到放大后的尺寸变换图像；和/或，按照第二缩放比例对所述待识别图进行等比例缩小处理，得到缩小后的尺寸变换图像。6.一种视频质量识别模型的训练方法，包括：获取标注有视频质量标注信息的视频样本，从所述视频样本中抽取至少两帧图像样本；
对各帧图像样本进行等比例缩放处理，得到对应于各帧图像样本的尺寸变换图像样本；将所述图像样本和对应的尺寸变换图像样本输入视频质量识别模型，以由所述视频质量识别模型根据视频特征输出所述视频样本的视频质量预测信息；所述视频特征通过对从所述图像样本和对应的尺寸变换图像样本中提取的图像特征进行融合处理得到；根据所述视频质量预测信息和所述视频质量标注信息计算损失误差，并根据所述损失误差调节所述视频质量识别模型的模型参数。7.根据权利要求6所述的视频质量识别模型的训练方法，其中，所述将所述图像样本和对应的尺寸变换图像样本输入视频质量识别模型，包括：对所述图像样本进行图像分块处理得到至少两个第一图像块，对所述尺寸变换图像样本进行图像分块处理得到至少两个第二图像块；将所述至少两个第一图像块和所述至少两个第二图像块均输入所述视频质量识别模型。8.根据权利要求7所述的视频质量识别模型的训练方法，其中，所述视频质量识别模型包括全连接层、第一编码器、第二编码器和输出层；所述全连接层用于将各个第一图像块和各个第二图像块分别映射为图像块向量；所述第一编码器用于从所述图像样本和所述尺寸变换图像中提取图像特征，并融合所提取的图像特征得到所述图像样本的图像融合特征；所述第二编码器用于融合从所述视频样本抽取的所有图像样本的图像融合特征，得到所述视频样本的视频特征；所述输出层用于根据所述视频特征输出所述视频质量预测信息。9.根据权利要求6～8中任一项所述的视频质量识别模型的训练方法，所述对各帧图像样本进行等比例缩放处理，包括：按照第一缩放比例对所述图像样本进行等比例放大处理，得到放大后的尺寸变换图像；和/或，按照第二缩放比例对所述图像样本进行等比例缩小处理，得到缩小后的尺寸变换图像。10.一种图像质量的识别方法，包括：获取待识别图像；对待识别图像进行等比例缩放处理，得到所述待识别图像的尺寸变换图像；分别从所述待识别图像和对应的尺寸变换图像中提取图像特征，并融合所提取的图像特征得到所述待识别图像的图像融合特征；根据所述图像融合特征对所述待识别图像的图像质量进行识别。11.根据权利要求10所述的图像质量的识别方法，其中，从所述待识别图像中提取图像特征，包括：对所述待识别图像进行图像分块处理，得到多个第一图像块；将各个第一图像块分别映射为第一图像向量，将各个第一图像块的位置信息分别映射为第一位置向量；拼接所述第一图像块的第一图像向量和第一位置向量，得到所述第一图像块的图像块
向量；所述待识别图像的图像特征根据所述第一图像块的图像块向量确定；和/或，从所述尺寸变换图像中提取图像特征包括：对所述尺寸变换图像进行图像分块处理，得到多个第二图像块；将各个第二图像块分别映射为第二图像向量，将各个第二图像块的位置信息分别映射为第二位置向量；拼接所述第二图像块的所述第二图像向量和所述第二位置向量，得到所述第二图像块的图像块向量；所述尺寸变换图像的第二图像特征根据所述第二图像块的图像块向量确定。12.根据权利要求10所述的图像质量的识别方法，其中，所述融合所提取的图像特征得到所述待识别图像的图像融合特征，包括：将所提取的图像特征输入第一编码器，得到所述待识别图像的图像融合特征。13.根据权利要求10～12中任一项所述的图像质量的识别方法，其中，所述根据所述图像特征对所述待识别图像的图像质量进行识别，包括：根据所述图像特征识别所述待识别图像的清晰度；和/或，根据所述图像特征识别所述待识别图像的美观度。14.根据权利要求13所述的图像质量的识别方法，所述对待识别图像进行等比例缩放处理，包括：按照第一缩放比例对所述待识别图像进行等比例放大处理，得到放大后的尺寸变换图像；和/或，按照第二缩放比例对所述待识别图进行等比例缩小处理，得到缩小后的尺寸变换图像。15.一种图像质量识别模型的训练方法，包括：获取标注有图像质量标注信息的图像样本；对各图像样本进行等比例缩放处理，得到对应于各图像样本的尺寸变换图像样本；将所述图像样本和对应的尺寸变换图像样本输入图像质量识别模型，以由所述图像质量识别模型根据所述图像样本的图像融合特征输出图像质量预测信息；所述图像融合特征通过对从所述图像样本和对应的尺寸变换图像中提取的图像特征进行融合处理得到；根据所述图像质量预测信息和所述图像质量标注信息计算损失误差，并根据所述损失误差调节所述图像质量识别模型的模型参数。16.根据权利要求15所述的图像质量识别模型的训练方法，其中，所述将所述图像样本和对应的尺寸变换图像样本输入图像质量识别模型，包括：对所述图像样本进行图像分块处理得到多个第一图像块，对所述尺寸变换图像样本进行图像分块处理得到多个第二图像块；将所述多个第一图像块和所述多个第二图像块均输入所述图像质量识别模型。17.根据权利要求16所述的图像质量识别模型的训练方法，其中，所述图像质量识别模型包括全连接层、编码器和输出层；所述全连接层用于将所述第一图像块和所述第二图像块分别映射为图像块向量；所述编码器用于从所述图像块向量中提取图像块特征，并融合所述图像块特征，得到所述图像融合特征；
所述输出层用于根据所述图像融合特征输出所述图像样本的图像质量预测信息。18.根据权利要求15～17中任一项所述的图像质量识别模型的训练方法，所述对各图像样本进行等比例缩放处理，包括：按照第一缩放比例对所述图像样本进行等比例放大处理，得到放大后的尺寸变换图像；和/或，按照第二缩放比例对所述图像样本进行等比例缩小处理，得到缩小后的尺寸变换图像。19.一种视频质量的识别装置，包括：视频获取模块，用于获取待识别视频，从所述待识别视频中抽取至少两帧待识别图像；缩放模块，用于对各帧待识别图像进行等比例缩放处理，得到对应于各帧待识别图像的尺寸变换图像；特征提取模块，用于分别从所述待识别图像和对应的尺寸变换图像中提取图像特征，融合所提取的图像特征，得到所述待识别视频的视频特征；质量识别模块，用于根据所述视频特征对所...

【专利技术属性】
技术研发人员：崔东林，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：