基于多任务深度学习的自然图像美感质量评估方法技术

本发明专利技术公开了一种基于多任务深度学习的自然图像美感质量评估方法。其中，该方法包括步骤1：对所述自然图像进行基于多任务深度学习的美感和语义特征的自动学习；步骤2：针对自动学习的结果，进行基于多任务深度学习的美感分类和语义识别，从而实现对自然图像的美感质量评估。本发明专利技术利用语义信息来辅助美感特征的表达学习，从而更加有效地进行美感质量评估，并且设计多种多任务深度学习网络结构来有效地利用美感和语义信息来获得高准确率的图像美感分类。本发明专利技术能应用于涉及图像美感质量评估的众多领域，包括图像检索、摄影学及相册管理等。

【技术实现步骤摘要】

本专利技术涉及模式识别、机器学习及计算机视觉
，特别涉及一种基于多任务深度学习的自然图像美感质量评估方法。
技术介绍
随着数字媒体技术和计算机技术的快速发展，人们对计算机视觉、人工智能、机器感知等领域的需求与期盼也越来越高。人们不仅希望计算机能够识别出图像中的物体，给出物体的精确定位等经典的计算机视觉问题，而且开始期望计算机能够像人类视觉系统一样具有更高层次的感知能力。目前，图像美感分析已经引起了越来越多的关注，尤其是图像的美感质量评估。图像美感质量评估就是利用计算机进行智能分析进而判断图像的美感质量。传统的图像美感质量评估方法一般仅仅将图像美感质量评估当作一个孤立的任务去手工设计或使用深度网络学习特征来进行质量评估。这些特征都受到美感这一主观性因素的影响，精度也很难达到用户需求。对于人类视觉系统，图像的美感质量评估很难作为一个独立的任务，经常伴随着一些其他的视觉感知任务。比如，当人们准备去评价一张图片的美感质量的时候，他们已经理解了这张图片的内容，也就是说他们能够说出他们正在观看的语义信息。同时，多任务学习能够同时学习几个相关的任务，而且已经有大量研究表明多任务学习能够
提高部分或全部任务的效果。有鉴于此，特提出本专利技术。
技术实现思路
本专利技术提供一种基于多任务深度学习的自然图像美感质量评估方法，以解决如何提高自然图像美感质量评估的鲁棒性和精度。为了实现上述目的，提供以下技术方案：一种基于多任务深度学习的自然图像美感质量评估方法，所述方法包括：步骤1：对所述自然图像进行基于多任务深度学习的美感和语义特征的自动学习；步骤2：针对自动学习的结果，进行基于多任务深度学习的美感分类和语义识别，从而实现对所述自然图像的美感质量评估。本专利技术利用多任务学习去挖掘更有效的美感特征入手，提出了一种基于多任务深度学习并利用语义信息来辅助美感质量评估的方法，很好地弥补了美感特征表达的缺陷，得到了一种更加鲁棒并且精度更高的美感质量评估结果。本专利技术还能应用于涉及图像美感质量评估的众多领域，包括图像检索、摄影学及相册管理等。附图说明图1为根据本专利技术实施例的基于多任务深度学习的自然图像美感质量评估方法的流程示意图；图2为根据本专利技术实施例的多任务深度卷积神经网络的四种具体
实现结构示意图；图3为根据本专利技术实施例的具有美感和语义标注的示意图；图4a为根据本专利技术实施例的基于多任务深度学习的自然图像美感质量评估结果中分类正确的高质量美感图像示意图；图4b为根据本专利技术实施例的基于多任务深度学习的自然图像美感质量评估结果中分类正确的低质量美感图像示意图；图5为根据本专利技术一实施例的基于多任务深度学习的自然图像美感质量评估方法的训练和测试阶段的流程示意图。具体实施方式下面结合附图以及具体实施例对本专利技术实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本专利技术的保护范围内。本专利技术实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。需要说明的是，在不冲突的情况下，本申请实施例及其技术特征可以相互组合而形成技术方案。本专利技术实施例的思想要点是：1)本专利技术实施例提出语义信息的识别是美感评估的一种相关任务，来辅助学习有效的图像美感特征表达；2)本专利技术实施例提出的多任务深度学习美感质量评估方法以及保持任务间平衡的策略，能够有效利用所有任务的有效信息，提升美
感质量评估的精度和鲁棒性；3)本专利技术实施例提出通过语义信息的辅助和多任务深度学习的方法，说明语义信息在美感质量评估任务中的有效性，更加说明美感质量评估在人类视觉系统中并不是一个孤立的任务。图1示例性地示出了基于多任务深度学习的自然图像美感质量评估方法的流程。如图1所示，该方法包括：S101：对自然图像进行基于多任务深度学习的美感和语义特征的自动学习。S102：针对自动学习的结果，进行基于多任务深度学习的美感分类和语义识别，从而实现对自然图像的美感质量评估。本专利技术实施例基于多任务深度学习并利用语义信息来辅助美感质量评估的方法，很好地弥补了美感特征表达的缺陷，得到了一种更加鲁棒并且精度更高的美感质量评估结果。下面上述方法进行详细说明。该方法包括步骤S201至步骤S204。S201：训练数据的美感和语义标注。大规模的可用数据是采用深度学习的前提条件。本专利技术实施例中采用的是同时具有美感和语义标签的大规模数据集。由于美感是一个主观性很强的属性，存在明显的个体差异。因此，对于美感的标注，一般采用多人对同一幅图像进行标注，之后取所有人的平均标注作为图像的最终标签。语义是客观的属性，所以标签是比较一致的。如图3所示，其为具有美感和语义标注的示例图像。其中，高表示高美感质量，低表示低美感质量。S202：对图像进行预处理。其中，将所有标注的图像采用深度学习神经网络训练之前，需要进行预处理。首先将图像归一化到统一的尺寸(比如256×256)，然后将图像的减去所有图像的均值(这样可以去除光照等的影响)，最后每次训练从图像中随机截取固定大小(比如227×227)的一块区域送入深度学习神经网络。随机截取图像区域的策略可以增加训练样本。其中，所有图像的均值指的是将所有归一化到统一大小的图像在每个像素上的RGB值分别求平均得到的结果。S203：进行基于多任务深度学习的特征学习和模型训练。在本步骤中，基于多任务深度学习的特征学习和模型训练是通过深度卷积神经网络来实现的。本专利技术提出利用语义信息来帮助美感质量评估任务，并将此问题建模为一个多任务深度学习概率模型。设定X表示预处理后的图像，Y表示图像对应的美感类别标记，Z表示图像对应的语义信息的标记，θ代表多任务深度学习网络底层中美感分类和语义识别任务共有的参数，W代表多任务深度学习网络高层中美感分类和语义识别任务分别的参数W＝[Wa,Ws]，Wa表示多任务深度学习网络中美感分类任务特有的参数，Ws表示多任务深度学习网络中语义识别任务特有的参数。目标就是通过对参数θ,W,λ寻找求取最优估计值从而使后验概率最大化。目标函数如下：θΛ,WΛ,λΛ=argmaxθ,W,λp(θ,W,λ|X,Y,Z)---(1)]]>其中，λ表示语义识别任务在联合学习过程中的权重系数。p(θ,W,λ|X,Y,Z)表示后验概率。根据贝叶斯理论，公式(1)中的后验概率p(θ,W,λ|X,Y,Z)可以转换为如下公式：p(θ,W,λ|X,Y,Z)∝p(Y|X,θ,Wa)p(Z|X,θ,Ws,λ)p(θ)p(W)p(λ) (2)其中，表示对应美感分类任务的条件概率，表示对应语义识别任务的条件概率，p(θ)、p(W)和p(λ)分别为先验概率。下面以示例的方式分别介绍公式(2)中的每一项。1)条件概率p(Y|X,θ,Wa)在多任务深度学习网络中利用如下公式来求解美感分类任务的条件概率：p(Y|X,θ,Wa)=Πn=1NΣc=1C1{yn=c本文档来自技高网...

【技术保护点】
一种基于多任务深度学习的自然图像美感质量评估方法，其特征在于，所述方法包括：步骤1：对所述自然图像进行基于多任务深度学习的美感和语义特征的自动学习；步骤2：针对自动学习的结果，进行基于多任务深度学习的美感分类和语义识别，从而实现对所述自然图像的美感质量评估。

【技术特征摘要】
1.一种基于多任务深度学习的自然图像美感质量评估方法，其特征在于，所述方法包括：步骤1：对所述自然图像进行基于多任务深度学习的美感和语义特征的自动学习；步骤2：针对自动学习的结果，进行基于多任务深度学习的美感分类和语义识别，从而实现对所述自然图像的美感质量评估。2.根据权利1所述的方法，其特征在于，所述步骤1包括：利用所述自然图像的语义信息，来进行基于多任务深度学习的美感特征的自动学习。3.根据权利2所述的方法，其特征在于，所述步骤2包括：利用以下第一公式对所述自然图像进行基于多任务深度学习的美感分类和语义识别：θΛ,WΛ,λΛ=argmaxθ,W,λp(θ,W,λ|X,Y,Z)]]>其中，X表示自然图像；Y表示图像对应的美感类别标记；Z表示图像对应的语义信息的标记；θ代表多任务深度...

【专利技术属性】
技术研发人员：黄凯奇，谭铁牛，赫然，考月英，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11