一种基于密集卷积网络和多任务网络的美学属性评价方法技术

本发明专利技术提出了一种基于密集卷积网络和多任务网络的美学属性评价方法。将图像的美学特征由密集卷积神经网络模型提取出来，以多维矩阵保留一部分图像特征，利用分层多任务网络对已知的图像属性进行回归分析。多次训练分析后，使得到的预测结果与训练数据集中的数据达到较高的拟合程度，保存最终的训练模型，并用此模型在测试数据集上进行测试，得到该方法的回归结果。由于使用的数据集并未具有某种倾向性，因此得到的美学属性预测算法模型，具有一定的普适性。该方法使用谷歌的Tensorflow框架实现，可广泛应用推广到计算机视觉、图像分析与处理、数码摄影和数字娱乐等领域中。

【技术实现步骤摘要】
一种基于密集卷积网络和多任务网络的美学属性评价方法
本专利技术属于可视计算、计算机视觉领域，特别是图像美学评价领域，尤其是多任务分析预测方法。
技术介绍
图像美学属性评价的早期工作主要集中在各种图像美学特征的手工设计上，并采用模式识别算法进行美学质量预测。另一条研究路线试图通过一些手工设计的通用图像特征直接拟合图像美学的质量。最近，研究从大数据深度图像特征显示出良好的性能，并且性能超出了传统的手工设计特性，并使用来自在线专业摄影社区的图像美学属性评价数据。美学评价是一项主观的视觉任务。因此图像美学的质量评价是模糊的，审美图像的质量评价有不同的方法。在美学分类领域，人们通常使用两个价值标签，如良好的图像和不良的图像，这些标签通常用于表现图像美学的质量。而在美学评分领域，一些回归网络开始得到图像的得分美学，这些模型通过卷积神经网络设计来呈现二元分类结果或一维数值评价的图像美学质量。在神经网络的深度和大众美学图像质量评估数据集AVA发布之前，出现了基于支持向量机预测方法的美学图像质量评价分布。基于多个美学属性的回归分析而提出的美学属性评价方法，则较之前的方法更为详细具体，所描述的内容也更多。同时对图像的美学评价开始出现具有一定程度的个性化分析，可以预测得到某一项无法用数字描述的美学属性的图像美学质量。现有的算法存在的缺点在于运算量巨大，需要对数据集训练较常的时间才能获得相应的结果，其次对于预测的结果而言，出现了个别美学属性预测结果准确性高、其他的美学属性预测结果准确性低的现状。就方法本身而言，仍存在一定的不足。
技术实现思路
本专利技术要解决技术问题为：基于目前已知的图像美学的数据集，提供一种基于密集卷积网络和多任务网络的美学属性评价方法，该方法能有效减少对图像美学的描述，提供在图像美学方面更多的信息，同时具有更高的准确率和运行效率。本专利技术技术解决方案：一种基于密集卷积网络和多任务网络的美学属性评价方法，包括以下步骤：(1)将图像以高维矩阵的形式输入到密集卷积神经网络中，通过对图像中美学属性的提取，得到维度较之前更高包含图像特征的中间矩阵；所述美学属性包括：构图与透视、拍摄、快门、景深、色彩与光照、对焦；(2)将得到的中间矩阵输入密集卷积神经网络，接着输入多任务网络的全连接层，最后得到预测的美学属性的分数；(3)对得到的美学属性的分数进行均方误差回归分析，得到和图像的实际标准分数的差距，并用梯度下降算法反复调整密集卷积网络的权重参数以降低回归的错误率，得到调整后的美学属性；(4)将调整后美学属性作为数据集，将所述数据集分为训练集和测试集，在训练集上进行美学属性评价方法模型的参数调整，保存最终美学属性的参数模型，在测试集上进行测试，得到最终的美学属性结果；所述美学属性评价方法模型包括密集卷积神经网络的模型和多任务网络的模型。所述步骤(1)中的高维矩阵包括64维、128维、256维；所述步骤(1)，美学属性提取采取以下步骤：(11)将输入图像调整为统一尺寸(224x224)；(12)以RGB三通道读取，通过计算密集卷积神经网络的残差而不断地提取出图像中美学属性；(13)通过对图像中美学属性的特征进行采样，选择特点明显的局部图像特征，得到反映出图像的美学属性。所述步骤(2)中密集卷积神经网络的构成依次为：第一层：一个卷积核大小为7×7的卷积层，第一层的输入为输入矩阵；第二层：一个池化区域为3×3的最大池化层；第三层至第八层：由三个网络部分依次相接构成，每个网络部分包括一个密集卷积模块和一个过渡层；第三层：第一个密集卷积模块，包括了6个1×1卷积操作和6个3×3卷积操作；第四层：第一个过渡层，包括了1个1×1卷积操作和1个2×2平均池化层；第五层：第二个密集卷积模块，包括了12个1×1卷积操作和12个3×3卷积操作；第六层：第二个过渡层，包括了1个1×1卷积操作和1个2×2平均池化层；第七层：第三个密集卷积模块，包括了36个1×1卷积操作和36个3×3卷积操作；第八层：第三个过渡层，包括了1个1×1卷积操作和1个2×2平均池化层；所述每个1×1卷积操作和每个卷积操作即认为是一次密集卷积操作，3个密集卷积模块分别执行了6次、12次、36次密集卷积操作；所使用的密集卷积神经网络满足每个密集卷积操作层输出的矩阵长度均小于100。所述多任务网络所采用的分层多任务模型，具体的模型为对密集卷积网络输出的结果进行同时进行多个全连接层的操作，每个全连接层在网络结构上属于并行操作，即依据不同的真实值进行预测回归，同时不同的全连接层具有不同的梯度下降参数；每个全连接层的大小为128×1，通过全连接层，使得训练出的多个特征在一个数值上体现出来，即得到预测的美学属性的分数。所述步骤(4)中，所述保存最终的参数模型被保存为checkpoint形式，即检查点形式。所述步骤(3)中，采用Tensorflow框架对得到的美学属性的分数进行均方误差回归分析，具体如下：将多任务网络模型中的多个全连接层得到的预测值分别与数据集提供的真实值相减，得到预测的误差，根据得到的误差进行梯度下降处理，使得误差能够按照步长大小稳定下降；预测的误差的计算采用均方误差的方法进行计算。本专利技术与现有的技术相比，其优势在于：(1)本专利技术方法的运算效率更高，且运算所需的参数较常见的深度学习算法较少。每个密集卷积操作层输出的矩阵长度均小于100，较其他网络(如迭代神经网络、人工神经网络等)更小，同时加强了特征参数的传递；(2)本专利技术的分层多任务处理能够同时对更多的数据进行预测分析，同时给出更为具体的回归估计结果。与多个单一的单任务处理相比，分层多任务处理可以共享梯度下降参数，使得在进行参数预测的时候考虑到更多的参数变化，该方法主要由多个全连接层实现；(3)本专利技术中的基于Tensorflow深度学习框架，易于实现，比其他的深度学习框架(如Caffe、MXNet、Torch等)具有更多的应用程序接口，可以让程序可读性更高、程序的编写和调试更为简单。Tensorflow也是目前使用人数和维护人数最多的框架，其应用更为广泛。附图说明图1是本专利技术应用场景图；图2是本专利技术方案流程图；图3是分层多任务网络图。具体实施方式：下面结合附图和具体实施方式对本专利技术作进一步详细的说明。密集卷积神经网络：在ResNet(一个常见的经典卷积网络模型，如图1)中，两个相邻层之间的关系可以用以下公式表示：Xl＝Hl(Xl-1)+Xl-1(1)其中l表示层，Xl表示层l的输出，Hl表示非线性变换。因此对于ResNet，层l的输出是层l-1的输出加上层l-1的输出的非线性变换。通过改变方式，信息在层之间传输，密集模块提出了一种新的连接方法。其中任何一个都需要与其后续层相关。其数学表达式如下：Xl＝Hl([X0,X1,…,Xl-1])(2)其中[X0,X1,…,Xl-1]指的是特征映射的串联分层0,1,…,l-1。Hl作为三个连续操作的复合函数：批量归一化(BN)，整流线性单元(ReLU)和卷积(Conv)。由于网络的密集连接，本专利技术将此网络架构称为密集卷积网络(DenseNet)。分层多任务网络模型：分层多任务是一种联合学习方法，如图2所示。它学习图像的多个属性，同时解决多个问题，并对多个问题进行回归预测。典型本文档来自技高网...

【技术保护点】
1.一种基于密集卷积网络和多任务网络的美学属性评价方法，其特征在于，实现步骤如下：(1)将图像以高维矩阵的形式输入到密集卷积神经网络中，通过对图像中美学属性的提取，得到维度较之前更高包含图像特征的中间矩阵；所述美学属性包括：构图与透视、拍摄、快门、景深、色彩与光照、对焦；(2)将得到的中间矩阵输入密集卷积神经网络，接着输入多任务网络的全连接层，最后得到预测的美学属性的分数；(3)对得到的美学属性的分数进行均方误差回归分析，得到和图像的实际标准分数的差距，并用梯度下降算法反复调整密集卷积网络的权重参数以降低回归的错误率，得到调整后的美学属性；(4)将调整后美学属性作为数据集，将所述数据集分为训练集和测试集，在训练集上进行美学属性评价方法模型的参数调整，保存最终美学属性的参数模型，在测试集上进行测试，得到最终的美学属性结果；所述美学属性评价方法模型包括密集卷积神经网络的模型和多任务网络的模型。

【技术特征摘要】
1.一种基于密集卷积网络和多任务网络的美学属性评价方法，其特征在于，实现步骤如下：(1)将图像以高维矩阵的形式输入到密集卷积神经网络中，通过对图像中美学属性的提取，得到维度较之前更高包含图像特征的中间矩阵；所述美学属性包括：构图与透视、拍摄、快门、景深、色彩与光照、对焦；(2)将得到的中间矩阵输入密集卷积神经网络，接着输入多任务网络的全连接层，最后得到预测的美学属性的分数；(3)对得到的美学属性的分数进行均方误差回归分析，得到和图像的实际标准分数的差距，并用梯度下降算法反复调整密集卷积网络的权重参数以降低回归的错误率，得到调整后的美学属性；(4)将调整后美学属性作为数据集，将所述数据集分为训练集和测试集，在训练集上进行美学属性评价方法模型的参数调整，保存最终美学属性的参数模型，在测试集上进行测试，得到最终的美学属性结果；所述美学属性评价方法模型包括密集卷积神经网络的模型和多任务网络的模型。2.根据权利要求1所述的一种基于密集卷积网络和多任务网络的美学属性评价方法，其特征在于：所述步骤(1)中的高维矩阵包括64维、128维、256维。3.根据权利要求1所述的一种基于密集卷积网络和多任务网络的美学属性评价方法，其特征在于：所述步骤(1)，美学属性提取采取以下步骤：(11)将输入图像调整为统一尺寸(224x224)；(12)以RGB三通道读取，通过计算密集卷积神经网络的残差而不断地提取出图像中美学属性；(13)通过对图像中美学属性的特征进行采样，选择特点明显的局部图像特征，得到反映出图像的美学属性。4.根据权利要求1所述的一种基于密集卷积网络和多任务网络的美学属性评价方法，其特征在于：所述步骤(2)中密集卷积神经网络的构成依次为：第一层：一个卷积核大小为7×7的卷积层，第一层的输入为输入矩阵；第二层：一个池化区域为3×3的最大池化层；第三层至第八层：由三个网络部分依次相接构成，每个网络部分包括一个密集卷积模块和...

【专利技术属性】
技术研发人员：金鑫，吴乐，周兴晖，赵耿，张晓昆，
申请(专利权)人：中共中央办公厅电子科技学院，
类型：发明
国别省市：北京,11