图像处理方法、装置、电子设备、存储介质及程序产品制造方法及图纸

本申请提供了一种基于人工智能的图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品；方法包括：对目标图像进行显著性预测处理，得到所述目标图像中每个像素的关注度；对所述目标图像进行分割处理，得到所述目标图像的多个区域；对每个所述区域进行画质评分预测处理，得到每个所述区域的画质评分；基于所述目标图像中每个像素的关注度以及每个所述区域的画质评分，确定所述目标图像的画质评分。通过本申请，能够提升图像的画质评价准确度。价准确度。价准确度。

【技术实现步骤摘要】
图像处理方法、装置、电子设备、存储介质及程序产品


[0001]本申请涉及人工智能技术，尤其涉及一种基于人工智能的图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]人工智能（AI，Artificial Intelligence）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。
[0003]互联网时代下的视频、游戏、直播等应用均为用户提供了丰富的视觉服务，画面质量是视觉服务的核心保证，为了提升用户的视觉体验感，相关技术中提供了针对画面图像进行画面质量评价的技术方案，基于统一标准对图像的画质进行主观评分，但这种主观评分方式耗费大量的人力，并且无法快速地输出画质评价的相关报告。

技术实现思路

[0004]本申请实施例提供一种基于人工智能的图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提升图像的画质评价准确度。
[0005]本申请实施例的技术方案是这样实现的：本申请实施例提供一种基于人工智能的图像处理方法，包括：对目标图像进行显著性预测处理，得到所述目标图像中每个像素的关注度；对所述目标图像进行分割处理，得到所述目标图像的多个区域；对每个所述区域进行画质评分预测处理，得到每个所述区域的画质评分；基于所述目标图像中每个像素的关注度以及每个所述区域的画质评分，确定所述目标图像的画质评分。
[0006]本申请实施例提供一种基于人工智能的图像处理装置，包括：显著性模块，用于对目标图像进行显著性预测处理，得到所述目标图像中每个像素的关注度；分割模块，用于对所述目标图像进行分割处理，得到所述目标图像的多个区域；画质模块，用于对每个所述区域进行画质评分预测处理，得到每个所述区域的画质评分；综合模块，用于基于所述目标图像中每个像素的关注度以及每个所述区域的画质评分，确定所述目标图像的画质评分。
[0007]在上述方案中，所述装置还包括：获取模块，用于执行以下处理中任意一种：对虚拟场景的交互过程进行采样处理，得到所述目标图像；对视频进行采样处理，得到所述目标图像；接收待发布图像，并将待发布图像作为目标图像。
[0008]在上述方案中，所述显著性预测处理是通过调用显著预测模型实现的，所述显著预测模型包括N个级联的卷积网络以及M个级联的上采样网络，其中，N为大于或者等于2的
整数，M与N相等；所述显著性模块，还用于：通过所述N个级联的显著卷积网络对所述目标图像进行显著特征提取处理，得到所述目标图像的显著性特征；通过所述M个级联的上采样网络对所述显著性特征进行上采样处理，得到所述目标图像中每个像素的关注度。
[0009]在上述方案中，所述显著性模块，还用于：通过N个级联的显著卷积网络中的第n显著卷积网络，对所述第n显著卷积网络的输入进行多尺度卷积特征提取处理，并将所述第n显著卷积网络输出的第n多尺度特征提取结果传输到第n+1显著卷积网络以继续进行多尺度卷积特征提取处理，得到对应所述第n+1显著卷积网络的第n+1多尺度特征提取结果；其中，n为取值从1开始递增的整数变量，n的取值范围为n，当n取值为1时，所述第n显著卷积网络的输入为所述目标图像，当n取值为2n时，所述第n显著卷积网络的输入为第n
‑
1显著卷积网络输出的第n
‑
1多尺度特征提取结果，当n取值为N
‑
1时，所述第n+1多尺度特征提取结果为所述显著性特征。
[0010]在上述方案中，所述第n显著卷积网络包括与多个卷积核尺度一一对应的多个第n卷积层，所述显著性模块，还用于：通过所述多个第n卷积层中每个所述第n卷积层对所述第n显著卷积网络的输入进行对应所述卷积核尺度的卷积特征提取处理，得到对应每个所述第n卷积层的卷积特征；将对应每个所述第n卷积层的卷积特征进行拼接处理，得到对应所述第n显著卷积网络的第n多尺度特征提取结果。
[0011]在上述方案中，所述显著性模块，还用于：通过M个级联的上采样网络中的第m上采样网络，对所述第m上采样网络的输入进行尺度扩大处理，并将所述第m上采样网络输出的第m尺度扩大结果传输到第m+1上采样网络以继续进行尺度扩大处理，得到对应所述第m+1上采样网络的第m+1尺度扩大结果；其中，m为取值从1开始递增的整数变量，m的取值范围为m，当m取值为1时，所述第m上采样网络的输入为所述显著性特征，当m取值为2时，所述第m上采样网络的输入为第m
‑
1上采样网络输出的第m
‑
1尺度扩大结果，当n取值为M
‑
1时，所述第m+1尺度扩大结果为每个所述像素的关注度。
[0012]在上述方案中，所述通过M个级联的上采样网络中的第m上采样网络，对所述第m上采样网络的输入进行尺度扩大处理之前，所述显著性模块，还用于：当m取值为时，将第M+1
‑
m显著卷积网络的输出与所述第m
‑
1上采样网络的输出的第m
‑
1尺度扩大结果进行拼接处理，并将拼接处理结果作为所述第m上采样网络的输入，以替代将所述第m
‑
1上采样网络输出的第m
‑
1尺度扩大结果作为所述第m上采样网络的输入。
[0013]在上述方案中，所述显著性模块，还用于：获取显著预测训练样本以及所述显著预测训练样本中每个像素点的真实关注度；通过所述显著预测模型对所述显著预测训练样本进行显著性预测处理，得到所述显著预测训练样本中每个像素点的预测关注度；将所述显著预测训练样本中每个像素点的真实关注度以及预测关注度代入对应所述显著预测模型的第一损失函数；根据所述第一损失函数更新所述显著预测模型的参数。
[0014]在上述方案中，所述画质评分预测处理是通过调用区域画质评分模型实现的，所述区域画质评分模型包括评分卷积网络以及全连接网络，所述画质模块，还用于：针对每个所述区域执行以下处理：通过所述评分卷积网络对所述区域进行画质特征提取处理，得到所述区域的画质卷积特征；通过所述全连接网络对所述区域的画质卷积特征进行全连接处理，得到所述区域的画质评分。
[0015]在上述方案中，所述综合模块，还用于：针对每个所述区域执行以下处理：对所述
区域内多个像素的关注度进行求平均处理，得到对应所述区域的平均处理结果；基于幂参数以及偏置参数，对对应所述区域的平均处理结果进行变换处理，得到对应所述区域的变换处理结果；对每个所述区域的变换处理结果进行归一化处理，得到每个所述区域的区域关注度；以每个所述区域的区域关注度为权重，对每个所述区域的画质评分进行加权求和处理，得到所述目标图像的画质评分。
[0016]在上述方案中，所述图像处理方法是通过调用显著画质评分模型实现的，所述显著画质评分模型包括画质评分模型、显著预测模型以及后处理模型，所述综合模块，还用于：获取画质训练样本以及所述画质训练样本的真实画质评分；通过所述显著预测模型对所述画质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的图像处理方法，其特征在于，所述方法包括：对目标图像进行显著性预测处理，得到所述目标图像中每个像素的关注度；对所述目标图像进行分割处理，得到所述目标图像的多个区域；对每个所述区域进行画质评分预测处理，得到每个所述区域的画质评分；基于所述目标图像中每个像素的关注度以及每个所述区域的画质评分，确定所述目标图像的画质评分。2.根据权利要求1所述的方法，其特征在于，所述显著性预测处理是通过调用显著预测模型实现的，所述显著预测模型包括N个级联的显著卷积网络以及M个级联的上采样网络，其中，N为大于或者等于2的整数，M与N相等；所述对目标图像进行显著性预测处理，得到所述目标图像中每个像素的关注度，包括：通过所述N个级联的显著卷积网络对所述目标图像进行显著特征提取处理，得到所述目标图像的显著性特征；通过所述M个级联的上采样网络对所述显著性特征进行上采样处理，得到所述目标图像中每个像素的关注度。3.根据权利要求2所述的方法，其特征在于，所述通过所述N个级联的显著卷积网络对所述目标图像进行显著特征提取处理，得到所述目标图像的显著性特征，包括：通过N个级联的显著卷积网络中的第n显著卷积网络，对所述第n显著卷积网络的输入进行多尺度卷积特征提取处理，并将所述第n显著卷积网络输出的第n多尺度特征提取结果传输到第n+1显著卷积网络以继续进行多尺度卷积特征提取处理，得到对应所述第n+1显著卷积网络的第n+1多尺度特征提取结果；其中，n为取值从1开始递增的整数变量，n的取值范围为，当n取值为1时，所述第n显著卷积网络的输入为所述目标图像，当n取值为时，所述第n显著卷积网络的输入为第n
‑
1显著卷积网络输出的第n
‑
1多尺度特征提取结果，当n取值为N
‑
1时，所述第n+1多尺度特征提取结果为所述显著性特征。4.根据权利要求3所述的方法，其特征在于，所述第n显著卷积网络包括与多个卷积核尺度一一对应的多个第n卷积层，所述通过N个级联的显著卷积网络中的第n显著卷积网络，对所述第n显著卷积网络的输入进行多尺度卷积特征提取处理，包括：通过所述多个第n卷积层中每个所述第n卷积层对所述第n显著卷积网络的输入进行对应所述卷积核尺度的卷积特征提取处理，得到对应每个所述第n卷积层的卷积特征；将对应每个所述第n卷积层的卷积特征进行拼接处理，得到对应所述第n显著卷积网络的第n多尺度特征提取结果。5.根据权利要求2所述的方法，其特征在于，所述通过所述M个级联的上采样网络对所述显著性特征进行上采样处理，得到所述目标图像中每个像素的关注度，包括：通过M个级联的上采样网络中的第m上采样网络，对所述第m上采样网络的输入进行尺度扩大处理，并将所述第m上采样网络输出的第m尺度扩大结果传输到第m+1上采样网络以继续进行尺度扩大处理，得到对应所述第m+1上采样网络的第m+1尺度扩大结果；其中，m为取值从1开始递增的整数变量，m的取值范围为，当m取值为1时，所述第m上采样网络的输入为所述显著性特征，当m取值为时，所述第m上采样网络的输入为第m
‑
1上采样网络输出的第m
‑
1尺度扩大结果，当n取值为M
‑
1时，所述第m+1尺度
扩大结果为每个所述像素的关注度。6.根据权利要求5所述的方法，其特征在于，所述通过M个级联的上采样网络中的第m上采样网络，对所述第m上采样网络的输入进行尺度扩大处理之前，所述方法还包括：当m取值为时，将第M+1
‑
m显著卷积网络的输出与所述第m
‑
1上采样网络的输出的第m
‑
1尺度扩大结果进行拼接处理，并将拼接处理结果作为所述第m上采样网络的输入，以替代将所述第m
‑
1上采样网络输出的第m
‑
1尺度扩大结果作为所述第m上采样网络的输入。7...

【专利技术属性】
技术研发人员：黄超，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：