模型训练及图像处理方法、装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种模型训练及图像处理方法、装置、电子设备和存储介质，该图像处理方法包括：基于待处理视频，确定至少一个第一图像帧序列，每一所述第一图像帧序列包括至少一帧第一图像；针对每一所述第一图像帧序列，基于所述第一图像帧序列，确定第二图像帧序列，其中，所述第二图像帧序列中的每一帧第二图像分别对应于所述第一图像帧序列中的一帧第一图像，每一帧所述第二图像中的至少一个第一像素块是对对应的第一图像中的至少一个第一图像块进行采样得到的；确定每一所述第二图像帧序列的第一质量信息；基于每一所述第一质量信息，确定所述待处理视频的第二质量信息。息。息。

【技术实现步骤摘要】
模型训练及图像处理方法、装置、电子设备和存储介质


[0001]本公开涉及但不限于计算机
，尤其涉及一种模型训练及图像处理方法、装置、电子设备和存储介质。

技术介绍

[0002]随着电子设备的普及，每天都会生成大量的视频，且视频的分辨率越来越高(例如：1080P或者更高)，不同的视频可以应用于各个领域中，例如：视频编辑、对象的属性编辑技术、视频质量评估(Video Quality Assessment，VQA)等。而在对视频进行质量评估时，视频的分辨率、视频大小、设备性能等因素均会影响评估的结果。

技术实现思路

[0003]本公开实施例提供一种模型训练及图像处理方法、装置、电子设备和存储介质。
[0004]本公开实施例的技术方案是这样实现的：
[0005]本公开实施例提供一种图像处理方法，该图像处理方法包括：
[0006]基于待处理视频，确定至少一个第一图像帧序列，每一所述第一图像帧序列包括至少一帧第一图像；
[0007]针对每一所述第一图像帧序列，基于所述第一图像帧序列，确定第二图像帧序列，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：基于待处理视频，确定至少一个第一图像帧序列，每一所述第一图像帧序列包括至少一帧第一图像；针对每一所述第一图像帧序列，基于所述第一图像帧序列，确定第二图像帧序列，其中，所述第二图像帧序列中的每一帧第二图像分别对应于所述第一图像帧序列中的一帧第一图像，每一帧所述第二图像中的至少一个第一像素块是对对应的第一图像中的至少一个第一图像块进行采样得到的；确定每一所述第二图像帧序列的第一质量信息；基于每一所述第一质量信息，确定所述待处理视频的第二质量信息。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像帧序列，确定第二图像帧序列，包括：针对所述第一图像帧序列中的每一帧第一图像，对所述第一图像进行划分，生成至少一个第一图像块；针对每一帧第一图像，基于预设的选取规则，分别从所述第一图像中的每一第一图像块中选取一个第一像素块，并对每一所述第一像素块进行拼接，得到所述第一图像对应的第二图像；基于每一所述第二图像，确定所述第二图像帧序列。3.根据权利要求2所述的方法，其特征在于，每一所述第一像素块包括位置信息，所述方法还包括：确定所述第一图像帧序列中的第一帧第一图像中的每一所述第一图像块对应的第一像素块的位置信息；针对所述第一图像帧序列中除所述第一帧第一图像之外的每一帧所述第一图像中的每一所述第一图像块对应的第一像素块，基于所述第一帧第一图像中的所述第一图像块对应的所述第一像素块的位置信息，确定所述第一像素块的位置信息。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述确定每一所述第二图像帧序列的第一质量信息，包括：针对每一所述第二图像帧序列，利用已训练的神经网络模型，基于所述第二图像帧序列，确定所述第二图像帧序列的第一质量信息。5.根据权利要求4所述的方法，其特征在于，所述已训练的神经网络模型至少包括第一网络和第二网络；所述利用已训练的神经网络模型，基于所述第二图像帧序列，确定所述第二图像帧序列的第一质量信息，包括：针对所述第二图像帧序列中的每一帧所述第二图像，利用所述第一网络，基于所述第二图像，确定所述第二图像对应的图像特征；利用所述第二网络，基于每一所述图像特征，确定所述第一质量信息。6.根据权利要求5所述的方法，其特征在于，所述第一网络包括第一子网络和第二子网络；所述利用所述第一网络，基于所述第二图像，确定所述第二图像对应的图像特征，包括：
利用所述第一子网络，基于所述第二图像，确定自注意力矩阵；利用所述第二子网络，基于所述自注意力矩阵，确定所述图像特征。7.根据权利要求6所述的方法，其特征在于，所述第一子网络包括第三子网络和第四子网络，所述自注意力矩阵表征至少一对第二图像块之间的关联度；所述利用所述第一子网络，基于所述第二图像，确定自注意力矩阵，包括：利用所述第三子网络，对所述第二图像进行划分，生成至少一个第一图像窗口，每一所述第一图像窗口包括至少一个第二图像块；利用所述第四子网络，基于每一所述第二图像块，确定所述自注意力矩阵。8.根据权利要求7所述的方法，其特征在于，所述利用所述第四子网络，基于每一所述第二图像块，确定所述自注意力矩阵，包括：利用所述第四子网络，基于每一所述第二图像块，确定每一对第二图像块之间的关联度；基于每一所述关联度，确定所述自注意力矩阵。9.根据权利要求8所述的方法，其特征在于，所述基于每一所述关联度，确定所述自注意力矩阵，包括：基于每一所述关联度，确定关联度矩阵；基于每一对第二图像块之间的相对位置信息，确定偏差矩阵；基于所述关联度矩阵和所述偏差矩阵，确定所述自注意力矩阵。10.根据权利要求9所述的方法，其特征在于，所述偏差矩阵包括第一偏差矩阵和第二偏差矩阵；所述基于每一对第二图像块之间的相对位置信息，确定偏差矩阵，包括：基于每一对第二图像块之间的相对位置信息和第一偏差表，确定所述第一偏差矩阵；基于每一对第二图像块之间的相对位置信息和第二偏差表，确定所述第二偏差矩阵；所述基于所述关联度矩阵和所述偏差矩阵，确定所述自注意力矩阵，包括：基于所述关联度矩阵和所述第一偏差矩阵，确定第一子矩阵；基于所述关联度矩阵和所述第二偏差矩阵，确定第二子矩阵；基于所述第一子矩阵和所述第二子矩阵，确定所述自注意力矩阵。11.根据权利要求5至10中任一项所述的方法，其特征在于，所述第二网络包括第五子网络和第六子网络；所述利用所述第二网络，基于每一所述图像特征，确定所述第一质量信息，包括：针对每一所述图像特征，利用所述第五子网络，对所述图像特征进行非线性回归，得到所述图像特征对应的子质量...

【专利技术属性】
技术研发人员：吴昊宁，陈超锋，侯敬文，廖良，王安南，孙文秀，严琼，林维斯，
申请(专利权)人：南洋理工大学，
类型：发明
国别省市：