一种基于深度有序回归的图像视觉复杂度评估方法技术

本发明专利技术属于图像视觉感知与建模技术领域，具体为一种基于深度有序回归的图像视觉复杂度评估方法，针对图像复杂度评估方法，提出基于深度序数回归的图像复杂度评估方法，以更准确地评估和理解图像信息

【技术实现步骤摘要】
一种基于深度有序回归的图像视觉复杂度评估方法


[0001]本专利技术属于图像视觉感知与建模
，具体为一种基于深度有序回归的图像视觉复杂度评估方法
。

技术介绍

[0002]“图像复杂度”是指图像内在复杂程度的描述
。
可计算图像复杂度旨在让计算机模拟人类视觉感知，从而对图像复杂度感知进行量化的研究，该研究属于情感计算的一部分
。
目前图像的视觉复杂度大多是进行等级分类的，通常将复杂度等级分为：高
、
中
、
低复杂度等，在这些问题中，不同等级中存在顺序关系，即“高”大于“中”大于“低”。
[0003]传统的对图像视觉复杂度感知分类任务的输出主要集中在图像视觉复杂度等级的评价和视觉复杂度分数的预测，但是在实际的评价过程中，低复杂度的图像被判定为中复杂度要比被判定为高复杂度的错误要小，即排序更近的损失应该更小
。
随着计算机“感知能力”的逐步提升，将对图像复杂度评价模型的输出任务提出了多样化的要求，其中的任务之一就是在图像复杂度的预测和分类中考虑等级之间的有序性关系
。
[0004]在考虑有序性关系过程中，需同时涉及分类和回归的问题
。
对于分类问题来说，低复杂度和中复杂度在特征空间上的差别与低复杂度与高复杂度在特征空间上的差别是相同的；而对于回归问题来说，低复杂度和中复杂度在特征空间上的差别远小于低复杂度与高复杂度在特征空间上的差别，那么分类为回归提供了类别信息，同时，分类也受益于回归的有序性信息
。
有序回归正是处理标签类别之间有序性关系的一种方法，并兼具分类和有序的双重性
。
那么，如何构建基于深度神经网络的有序回归算法是该领域面临的一个重要问题
。

技术实现思路

[0005]本专利技术提供一种基于深度有序回归的图像视觉复杂度评估方法，以解决上述传统图像复杂度的分析方法中存在的问题
。
[0006]为了达到上述目的，本专利技术采用了下列技术方案：
[0007]本专利技术提供一种基于深度有序回归的图像视觉复杂度评估方法，包括以下具体步骤：
[0008]步骤1将原始彩色图像
、
图像复杂度分值以及有序回归的顺序标签信息作为模型的输入特征，以帮助训练模型准确预测；
[0009]步骤2构建
ICNet18_152
模型，该模型使用改进的深层网络
ResNet152
提取图像的全局背景和语义信息，同时使用改进的浅层网络
ResNet18
捕捉图像的局部细节表征，这两者特征融合形成综合特征表示，该特征表示会被传递到下一阶段进行进一步的处理和预测；
[0010]步骤3引入有序回归模块，搭建为图像复杂度评估
ICCORN
模型，有序回归模块包括有序回归部分
(CORN)
和回归部分，有序回归部分提供序列信息辅助回归部分得出图像复杂
度分值；
[0011]步骤4对搭建好的
ICCORN
模型，采用多任务参数学习的方法，针对回归部分
、
有序回归部分和热度图预测部分，分别计算各自的损失，并将损失按比例融合，最终模型生成图像复杂度分值和热度图；
[0012]进一步，所述步骤1中划分有序回归的顺序标签信息具体过程为：根据标注数据集的方式，将输入的图像标签划分为有序的五个复杂度等级：非常简单
、
简单
、
中等
、
复杂和非常复杂；
[0013]进一步，所述步骤2中
ICNet18_152
模型提取信息的具体过程为：
[0014]步骤
2.1
使用改进的深层网络
ResNet152
作为全局分支，通过深层卷积神经网络从低分辨率的图像中挖掘整体的背景和语义信息，对于全局分支，输入图像是低分辨率
(256
×
256)
，将
ResNet152
分为四个阶段，四个阶段分别将原图像下采样为
1/4、1/8、1/16
和
1/32
分辨率的特征图；
[0015]步骤
2.2
使用改进的浅层网络
ResNet18
作为细节分支，通过浅层卷积网络从高分辨率的图像中捕捉局部细节表征；相比之下，细节分支输入一个大尺寸的图像
(
即
512
×
512)
，使用了
ResNet18
的前两个阶段，该分支下采样为
1/4、1/8
，可以产生大小为
64
×
64
的高分辨率特征图；
[0016]步骤
2.3
上述两个分支网络分别针对不同分辨率的图像进行处理，并通过卷积神经网络的特征提取得到相应的特征表示；之后将两者进行融合，对全局分支进行上采样，将两者进行拼接，该特征表示会被传递到下一个阶段进行进一步的处理和预测；
[0017]进一步，所述步骤3中有序回归模块处理特征信息的具体过程为：
[0018]步骤
3.1
，在回归部分中，将图像复杂度的分值区间归一化
[0
，
1]作为图像复杂度分值的输入；该步骤针对回归任务，使用均方误差计算回归部分的损失；
[0019]步骤
3.2
，在有序回归部分中，将步骤1生成的五个有序类别为图像复杂度有序类别的输入；有序回归部分中，给定训练集
CORN
将标签扩展到有序标签
y
[i]，表示
y
[i]是否超过秩
r
K
，
CORN
使用二分类的
K
‑1学习任务，与秩
r1，
r2，
...r
K
在输出层如图3所示；
CORN
使用条件训练子集估计一系列条件概率，这样第
k
个二进制任务的输出
f
k
(x
[i])
表示条件概率：
[0020][0021]其中事件是嵌套的：注意，当
K
为1时，
f
k
(x
[i])
表示初始无条件概率
[0022]然后可以通过将概率的链式法则应用于模型输出来计算转换后的无条件概率：
[0023][0024]因为，
j
，
0≤f
j
(x
[i])≤1
，所以，所以保证了
K
‑1个二进制任务之间的秩一致性，并预测出图像复杂度顺序标签的类别；
[0025]步骤
3.3
，采用了一种有序类别辅助回归的方法，即利用预测的图像复杂本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度有序回归的图像视觉复杂度评估方法，其特征在于，包括以下具体步骤：步骤1将原始彩色图像
、
图像复杂度分值以及有序回归的顺序标签信息作为模型的输入特征，以训练模型得到准确图像复杂度预测；步骤2构建
ICNet18_152
模型，该模型使用改进的深层网络
ResNet152
提取图像的全局背景和语义信息，同时使用改进的浅层网络
ResNet18
捕捉图像的局部细节表征，这两者特征融合形成综合特征表示，该特征表示会被传递到下一阶段进行进一步的处理和预测；步骤3引入有序回归模块，搭建为图像复杂度评估
ICCORN
模型，有序回归模块包括有序回归部分和回归部分，有序回归部分提供序列信息辅助回归部分得出图像复杂度分值；步骤4对搭建好的
ICCORN
模型，采用多任务参数学习的方法，针对回归部分
、
有序回归部分和热度图预测部分，分别计算各自的损失，并将损失按比例融合，最终模型生成图像复杂度分值和热度图
。2.
根据权利要求1所述的基于深度有序回归的图像视觉复杂度评估方法，其特征在于，所述步骤1中划分有序回归的顺序标签信息具体过程为：根据标注数据集的方式，将输入的图像标签划分为有序的五个复杂度等级：非常简单
、
简单
、
中等
、
复杂和非常复杂
。3.
根据权利要求1所述的基于深度有序回归的图像视觉复杂度评估方法，其特征在于，所述步骤2中
ICNet18_152
模型提取图像信息的具体过程为：步骤
2.1
使用改进的深层网络
ResNet152
作为全局分支，通过深层卷积神经网络从低分辨率的图像中挖掘整体的背景和语义信息；对于全局分支，输入图像是
256
×
256
低分辨率，将
ResNet152
分为四个阶段，四个阶段分别将原图像下采样为
1/4、1/8、1/16
和
1/32
分辨率的特征图；步骤
2.2
使用改进的浅层网络
ResNet18
作为细节分支，通过浅层卷积网络从高分辨率的图像中捕捉局部细节表征；相比之下，细节分支输入一个
512
×
512
大尺寸的图像，使用了
ResNet18
的前两个阶段，该分支下采样为
1/4、1/8
，产生大小为
64
×
64
的高分辨率特征图；步骤
2.3
上述两个分支网络分别针对不同分辨率的图像进行处理，并通过卷积神经网络的特征提取得到相应的特征；之后将两者进行融合，对全局分支进行上采样，将两者进行拼接，该特征会被传递到下一个阶段进行进一步的处理和预测
。4.
根据权利要求1所述的基于深度有序回归的图像视觉复杂度评估方法，其特征在于，所述步骤3中有序回归模块处理特征信息的具体过程为：步骤
3.1
在回归部分中，将图像复杂度的分值区间归一化至
[0,1]
，进而作为图像复杂度分值的输入；该步骤针对回归任务，使用均方误差计算回归部分的损失；步骤
3.2
在有序回归部分中，将步骤1生成的五个有序类别为图像复杂度有序类别的输入；有序回归部分中，给定训练集
CORN
将标签扩展到有序标签
y
[i]
，表示
y
[i]
是否超过秩
r
K
，
CORN
使用二分类的
K
‑1学习任务，与秩
r1,r2,...r
K
在输出层如图3所示；
CORN
使用条件训练子集估计一系列条件概率，这样第
k
个二进制任务的输出
f
k
(x
[i]
)
表示条件概率：
其中事件是嵌套的
:
注意，当
K
为1时，
f
k
(x
[i]
)
表示初始无条件概率然后可以通过将概率的链式法则应用于模型输出来计算转...

【专利技术属性】
技术研发人员：郭小英，
申请(专利权)人：山西大学，
类型：发明
国别省市：