对图像进行美学评价的多特征融合方法技术

技术编号:15502207 阅读:221 留言:0更新日期:2017-06-03 23:12
本发明专利技术对图像进行美学评价的多特征融合方法,涉及一般的图像数据处理的图像分析,步骤是:输入彩色RGB图像I,并进行显著区域检测得到主体区域和背景区域;彩色RGB图像I在不同颜色空间的特征向量提取:包括提取色彩调和特征向量,提取构图特征向量,提取颜色特征向量,提取清晰度特征向量,提取纹理特征向量,提取DCT统计特征向量共六类特征向量;将提取的六类特征向量融合后利用SVM分类器将图像按美学分数高低分为两类,实现图像的美学评价,克服了现有技术利用多特征融合方法进行图像美学评价时,存在对于颜色复杂图像的美学评价效果不好,不能很好地适用于各种类型图像美学评价的缺陷。

Multi feature fusion method for aesthetic evaluation of images

Multi feature fusion method of the invention for aesthetic evaluation of the image, the image data processing involves the general analysis, the steps are: input I color RGB image, and get the main saliency detection area and background area; I color RGB image in different color space feature vector extraction: extraction color feature vector. The composition of extracted feature vector extraction of color feature vector extraction definition feature vector, texture feature vector extraction, extraction DCT statistical feature vector consists of six kinds of feature vectors; six kinds of feature vector fusion using the SVM classifier to classify the images by aesthetic scores are divided into two categories, to achieve the aesthetic evaluation of the image, to overcome the existing by using the technology of the multi feature fusion method for image aesthetic evaluation, aesthetic evaluation exists for a complex color image effect is not good, not It can be well applied to various types of image aesthetic evaluation defects.

【技术实现步骤摘要】
对图像进行美学评价的多特征融合方法
本专利技术的技术方案涉及一般的图像数据处理的图像分析,具体地说是对图像进行美学评价的多特征融合方法。
技术介绍
可计算图像美学评价的研究是利用计算机模拟人类的视觉系统与审美思维对图像进行美学评价,计算美学的概念是在2005年由欧洲计算机图形学会举办的第一届图形图像视觉计算美学学术会议上提出的,随后逐渐引起了各界学术人士的关注。可计算美学广泛应用于基于语义的图像检索、图像美学评价、图像的美学修正以及摄影的美学预测等。2006年,宾夕法尼亚大学Datta等人通过提取一系列全局和局部视觉特征,来构建图像美学评价模型。该模型包括图像的颜色、饱和度及亮度等56个特征值,利用分类回归树算法选取其中15个最为有效的特征值,并利用支持向量机对图像进行分类,但得到的图像高低美感评价的准确率不高,主要原因是由于采用的特征是低层特征,且量化比较粗糙。2009年,新加坡国立大学的Wong等人利用了显著性增强算法来提取图像的显著区域,作为主体区域,然后利用主体区域特征、全局特征及主体和背景之间的关系的特征来区分专业照和快照,强调了主体区域在图像美学评价中的重要的作用,但并未考虑构图特征,导致分类预测的准确率不高。2011年,东京大学工业科学研究所的Nishiyama等人利用Moon-Spencer色彩调和模型,通过结合图像局部区域和Moon-Spencer色彩调和模型的分类方法实现对图像的分类,但在采样时使用的简单网格法没有考虑主体和背景颜色复杂度的不同,使得最终的分类效果不佳。2012年,浙江大学金勇等人根据基本的构图原则,设计了一个带有约束条件的二次规划能量函数,用这个函数来衡量在原始图像中视觉元素的位置和符合美学的目标位置的距离,以评估图像的组成。但他们只考虑了构图特征,没有提取颜色、清晰度和纹理等特征。2016年,华南理工大学王伟凝等人在前人的研究基础上,提取了颜色、纹理、景深和复杂度等特征,利用这些特征构建图像美学分类模型,对图像进行高低美感的分类,由于采用的色彩调和模板本身只涉及色调,没有饱和度和亮度的计算,同时选用模板时,一幅图像适用多个模板,造成难以确定适用模板的问题。CN105787966A公开了一种计算机图像的美学评估方法,该方法提出了基于对象区域构图特征,将局部高层语义特征应用于美学计算进行美学评估,主要是根据构图来进行美学分析,没有考虑色彩和纹理这些全局特征对图像美学的影响,同时没有明确说明图像美学评价的准确率。CN103218619A公开了一种图像美学评价方法,提出了图像整体区域和主体区域的低层视觉特征和高层美学特征,利用Adaboost和SVR(SupportVectorRegression)算法建立了美感等级分类器和美学回归模型,该方法虽然提取了大量的特征,但其中有些特征的有效性较低,没有提高对图像美学评价的准确率。现有技术的图像美学评价模型虽然利用多特征融合的方法来进行图像美学评价,然而由于没有考虑图像的主体区域和背景区域的颜色信息熵的不同,仍存在对于颜色复杂的图像美学评价的效果不好,不能很好地适用于各种类型图像的图像美学评价。
技术实现思路
本专利技术所要解决的技术问题是:提供对图像进行美学评价的多特征融合方法,该方法提取图像的色彩调和特征向量、颜色特征向量、构图特征向量、清晰度特征向量、纹理特征向量和DCT统计特征向量共六类特征向量,将提取的六类特征向量融合后利用SVM分类器将图像按美学分数高低分为两类,实现图像的美学评价,克服了现有技术利用多特征融合方法进行图像美学评价时,存在对于颜色复杂图像的美学评价效果不好,不能很好地适用于各种类型图像美学评价的缺陷。本专利技术解决该技术问题所采用的技术方案是:对图像进行美学评价的多特征融合方法,提取图像的色彩调和特征向量、颜色特征向量、构图特征向量、清晰度特征向量、纹理特征向量和DCT统计特征向量共六类特征向量,将提取的六类特征向量融合后利用SVM分类器将图像按美学分数高低分为两类,实现图像的美学评价,具体步骤如下:第一步,输入彩色RGB图像I,并进行显著区域检测得到主体区域和背景区域:通过USB接口向计算机输入彩色RGB图像I,大小为w×h×3像素,其中w为图像宽度,h为图像高度,不同图像的宽度w和高度h不同,采用阿里巴巴的Yang提出的基于图的流形排序显著性检测算法对输入彩色RGB图像I进行显著区域检测,得到显著区域,之后提取包含显著区域的最小外接矩形,得到主体区域If,其余为背景区域Ib,同时得到主体区域If的中心点O(Ox,Oy);第二步,彩色RGB图像I在不同颜色空间的特征向量提取:(2.1)提取彩色RGB图像I在HSV、LAB和Munsell三个颜色空间的色彩调和特征向量:这里分为以下三个阶段进行:第一阶段,图像的分块:将上述第一步中主体区域If和背景区域Ib分别转换为HSV空间中的图像Ifh和Ibh,然后分别采用循环的方式进行分块,在进行分块时,每次分块的块数为N1×N1,进而计算每个子块的颜色信息熵值和像素个数,当子块的颜色信息熵的值小于阈值Tc或子块的像素个数小于阈值S时,不再进行分块,否则,继续进行分块;第二阶段,确定子块的主颜色:将上述第一步中的彩色RGB图像I转换到LAB空间图像ILAB进行SLIC超像素分割,得到超像素标签,并统计上述(2.1)步第一阶段中划分的各子块中超像素的标签,数量最多的超像素标签的超像素区域是该子块的主颜色区,即可得到该子块的主颜色;第三阶段,计算色调特征向量nh和明度及彩度特征向量nvc,得到色彩调和特征向量:将上述(2.1)步第一阶段得到的子块由HSV颜色空间转换到Munsell颜色空间,得到色调Hue、明度V和彩度C三个分量,分别提取色调特征值、明度与彩度合并的特征值,具体步骤如下:首先,对上述(2.1)步第一阶段得到的每个子块进行色调分量Hue的特征值提取:将子块中的每个像素的色调分量值减去上述(2.1)步第二阶段中得到的该子块主颜色的色调分量值,得到该像素的色调差值HS,根据Moon-Spencer色彩调和模型,确定色调差值HS是否和谐,判断色调是否和谐的符号函数sgn公式如(1)所示:统计与主色调和谐的像素个数,并将和谐的像素个数与当前子块总的像素个数的比作为此子块的色调分量Hue的特征值,具体公式如(2)所示:hi=Numhi/mi,i=1,...,Z(2),其中Numhi为第i个图像子块内色调和谐的像素点的个数,mi为该子块总的像素点的个数,当计算主体区域的色调分量Hue的特征值时,Z为主体区域的分块个数,当计算背景区域的色调分量Hue的特征值时,Z为背景区域的分块个数;其次,对每个子块进行明度分量V和彩度分量C的特征值提取:对上述(2.1)步第一阶段得到的每个子块中的每个像素的明度值减去上述(2.1)步第二阶段中该子块主颜色的明度值得到明度差值VS,子块中的每个像素的彩度值减去上述(2.1)步第二阶段中该子块主颜色的彩度值得到彩度差值CS,将明度差值VS及彩度差值CS合并作为一个特征值根据Moon-Spencer色彩调和模型,判断明度及彩度是否和谐,公式如(3)所示:其中,firE、secE和thirE分别是衡量像素与所属子块主颜色的明度差值VS及彩本文档来自技高网
...
对图像进行美学评价的多特征融合方法

【技术保护点】
对图像进行美学评价的多特征融合方法,其特征在于:提取图像的色彩调和特征向量、颜色特征向量、构图特征向量、清晰度特征向量、纹理特征向量和DCT统计特征向量共六类特征向量,将提取的六类特征向量融合后利用SVM分类器将图像按美学分数高低分为两类,实现对图像进行美学评价,具体步骤如下:第一步,输入彩色RGB图像I,并进行显著区域检测得到主体区域和背景区域:通过USB接口向计算机输入彩色RGB图像I,大小为w×h×3像素,其中w为图像宽度,h为图像高度,不同图像的宽度w和高度h不同,采用阿里巴巴的Yang提出的基于图的流形排序显著性检测算法对输入彩色RGB图像I进行显著区域检测,得到显著区域,之后提取包含显著区域的最小外接矩形,得到主体区域I

【技术特征摘要】
1.对图像进行美学评价的多特征融合方法,其特征在于:提取图像的色彩调和特征向量、颜色特征向量、构图特征向量、清晰度特征向量、纹理特征向量和DCT统计特征向量共六类特征向量,将提取的六类特征向量融合后利用SVM分类器将图像按美学分数高低分为两类,实现对图像进行美学评价,具体步骤如下:第一步,输入彩色RGB图像I,并进行显著区域检测得到主体区域和背景区域:通过USB接口向计算机输入彩色RGB图像I,大小为w×h×3像素,其中w为图像宽度,h为图像高度,不同图像的宽度w和高度h不同,采用阿里巴巴的Yang提出的基于图的流形排序显著性检测算法对输入彩色RGB图像I进行显著区域检测,得到显著区域,之后提取包含显著区域的最小外接矩形,得到主体区域If,其余为背景区域Ib,同时得到主体区域If的中心点O(Ox,Oy);第二步,彩色RGB图像I在不同颜色空间的特征向量提取:(2.1)提取彩色RGB图像I在HSV、LAB和Munsell三个颜色空间的色彩调和特征向量:这里分为以下三个阶段进行:第一阶段,图像的分块:将上述第一步中主体区域If和背景区域Ib分别转换为HSV空间中的图像Ifh和Ibh,然后分别采用循环的方式进行分块,在进行分块时,每次分块的块数为N1×N1,进而计算每个子块的颜色信息熵值和像素个数,当子块的颜色信息熵的值小于阈值Tc或子块的像素个数小于阈值S时,不再进行分块,否则,继续进行分块;第二阶段,确定子块的主颜色:将上述第一步中的彩色RGB图像I转换到LAB空间图像ILAB进行SLIC超像素分割,得到超像素标签,并统计上述(2.1)步第一阶段中划分的各子块中超像素的标签,数量最多的超像素标签的超像素区域是该子块的主颜色区,即可得到该子块的主颜色;第三阶段,计算色调特征向量nh和明度及彩度特征向量nvc,得到色彩调和特征向量:将上述(2.1)步第一阶段得到的子块由HSV颜色空间转换到Munsell颜色空间,得到色调Hue、明度V和彩度C三个分量,分别提取色调特征值、明度与彩度合并的特征值,具体步骤如下:首先,对上述(2.1)步第一阶段得到的每个子块进行色调分量Hue的特征值提取:将子块中的每个像素的色调分量值减去上述(2.1)步第二阶段中得到的该子块主颜色的色调分量值,得到该像素的色调差值HS,根据Moon-Spencer色彩调和模型,确定色调差值HS是否和谐,判断色调是否和谐的符号函数sgn公式如(1)所示:统计与主色调和谐的像素个数,并将和谐的像素个数与当前子块总的像素个数的比作为此子块的色调分量Hue的特征值,具体公式如(2)所示:hi=Numhi/mi,i=1,...,Z(2),其中Numhi为第i个图像子块内色调和谐的像素点的个数,mi为该子块总的像素点的个数,当计算主体区域的色调分量Hue的特征值时,Z为主体区域的分块个数,当计算背景区域的色调分量Hue的特征值时,Z为背景区域的分块个数;其次,对每个子块进行明度分量V和彩度分量C的特征值提取:对上述(2.1)步第一阶段得到的每个子块中的每个像素的明度值减去上述(2.1)步第二阶段中该子块主颜色的明度值得到明度差值VS,子块中的每个像素的彩度值减去上述(2.1)步第二阶段中该子块主颜色的彩度值得到彩度差值CS,将明度差值VS及彩度差值CS合并作为一个特征值根据Moon-Spencer色彩调和模型,判断明度及彩度是否和谐,公式如(3)所示:其中,firE、secE和thirE分别是衡量像素与所属子块主颜色的明度差值VS及彩度差值CS是否落在Munsell颜色空间中三个椭圆区域内的度量值,当sgn(VS,CS)值为1时,表明当前像素点的明度及彩度和谐,统计子块i中明度及彩度和谐的像素点的个数Numvci,计算其与子块i总的像素点的个数mi的比值,得到子块i的明度及彩度的特征值vci,vci=Numvci/mi,i=1,...,Z(4),最后,计算所有子块的色调特征值组合得到整个图像的色调特征向量h=[h1,h2,..,hZ],并计算所有子块的明度及彩度特征值组合得到整个图像的明度及彩度特征向量vc=[vc1,vc2,…,vcZ],然后把得到的色调特征向量h、明度及彩度特征向量vc分别归一化到[0,1]区间,并将该区间进行R等分,根据落在每个子区间的色调特征值和明度及彩度特征值个数得到色调特征向量nh和明度及彩度特征向量nvc,如公式(5)、(6)所示,nh={Nh1,Nh2,...,NhR}(5),nvc={Nvc1,Nvc2,...,NvcR}(6),其中,Nhi为色调特征值在第i个子区间的数量,Nvci为明度及彩度特征值在第i个子区间的数量,i=1,2,…,R,这里R取10;色调特征向量nh和明度及彩度特征向量nvc合称为色调调和特征向量,由此完成提取图像在Munsell颜色空间的色彩调和特征向量的提取;(2.2)提取彩色RGB图像I的构图特征向量:对上述第一步中的彩色RGB图像I同时采用以下两个构图准则提取构图特征向量:第一个构图准则是三分法则,步骤是:将上述第一步中彩色RGB图像I的宽度w和高度h均分为三等分,得到四个交叉点(xj,yj),根据上述第一步得到的主体区域If的中心点O(Ox,Oy),计算中心点O到三分法则的四个交叉点(xj,yj)最近的归一化欧式距离d,j=1,2,3,4,具体公式如(7)所示:第二个构图准则是主体区域大小与整个图像大小的比,步骤是:根据上述第一步得到的彩色RGB图像I和主体区域If,计算主体区域If像素点的个数与整个彩色RGB图像I像素点的个数比ratio,具体如公式(8),ratio=num/(w×h)(8),其中,num为主体区域总像素点的个数;由上述两个构图准则得到的中心点到四个交叉点最近的归一化欧式距离和主体区域与整个彩色RGB图像像素点的个数比组成构图特征向量,由此完成构图特征向量的提取;(2.3)提取彩色RGB图像I在HSV空间的颜色特征向量:从两方面来提取彩色RGB图像I的颜色特征向量:第一个方面是提取颜色矩特征向量,将上述第一步中彩色RGB图像I转换到HSV颜色空间的图像Ihsv,在H、S和V三个通道上,分别计算一阶矩μ、二阶矩σ和三阶矩ε,计算公式如下式(9)所示:其中,pj,k为第j个像素点在第k个通道上的分量,k=1,2,3分别代表H、S、V分量,由H、S和V三个通道上的一阶矩、二阶矩和三阶矩组成颜色矩特征向量,由此提取得到彩色RGB图像I在HSV空间的颜色矩特征向量;第二个方面是提取主体和背景的颜色差异特征向量,对上述第一步中的彩色RGB图像I的主体区域If和背景区域Ib分别在R、G、B三个通道上,统计颜色直方图,直方图分为L级(L=256),根据公式(10)来衡量主体和背景的差异diffc,其中,fl,c、bl,c分别为主体区域和背景区域在第c个通道上第l级颜色直方图的大小,c=1,2,3分别代表R、G、B分量,由R、G、B三个通道的主体和背景的差异组成主体和背景的颜色差异特征向量,由此提取得到主体和背景的颜色差异特征向量;由上述的颜色矩特征向量和颜色差异特征向量构成彩色RGB图像I在HSV空间的颜色特征向量,由此完成彩色RGB图像I的颜色特征向量的提取;(2.4)提取彩色RGB图像I转换为灰度图像Igray后的清晰度特征向量:将上述第一步中的彩色RGB图像I转换为灰度图像Igray,其中的主体区域转换为灰度图像后标注为Ifgray,然后将二者分别进行快速傅里叶变换,用公式(11)计算傅里叶变换后的FFT(Igray)和傅里叶变换后的主体区域的FFT(Ifgray)中大于等于阈值T的像素点个数与所计算区域总的像素点的个数比值,得到灰度图像Igray的清晰度特征值Degray和主体区域的灰度图Ifgray的清晰度特征值Def,其中,T=8为阈值,ngray为灰度图像Igray中大于等于阈值T的像素点的个数,nf为主体区域的灰度图Ifgray中大于等于阈值T的像素点的个数,num为主体区域总的像素点的个数,由灰度图像Igray的清晰度特征值Degray和主体区域的灰度图Ifgray的清晰度特征值Def组成灰度图像的清晰度特征向量,由此提取得到灰度图像的清晰度特征向量;(2.5)提取彩色RGB图像I转换为灰度图像Igray后的纹理特征向量:将上述第一步中的彩色RGB图像I转为灰度图像Igray,然后从基于Tamura纹理的特征和基于可控金字塔特征两个方面来提取其纹理特征,得到灰度图像Igray的基于Tamura纹理的粗糙度特征值、对比度特征值和方向度特征值三个基于Tamura纹理的纹理特征值,以及灰度图像Igray的子带能量向量Ee,尺度间子带的能量差向量Ec以及子带系数熵向量Ep三个基于可控金字塔纹理特征共同构成图像的纹理特征向量,由此完成提取纹理特征向量;(2.6)提取彩色RGB图像I转换为灰度图像Igray后的DCT统计特征向量:将上述第一步得到的彩色RGB图像I转为灰度图像Igray,对灰度图像Igray进行一次高斯滤波且经过下采样,得到宽和高各为灰度图像Igray的1/2的图像Igauss1,将得到的图像Igauss1再进行一次高斯滤波且经过下采样,得到宽和高各为Igray的1/4的图像Igauss2,然后将得到的灰度图像Igray、图像Igauss1和图像Igauss2都均分成像素大小为N2×N2的子块,然后对每个子块进行DCT变换,舍弃每个子块的直流系数,保留非直流系数,采用广义高斯模型来模拟DCT系数分布,采用灰度图像Igray均值μgray、图像Igauss1均值μgauss1、图像Igauss2均值μgauss2、灰度图像Igray平均方差图像Igauss1平均方差图像Igauss2平均方差灰度图像Igray形状参数γgray、图像Igauss1形状参数γgauss1和图像Igauss2形状参数γgauss2作为美学度量的特征,具体公式如(12)-(17)所示:1)计算灰度图像Igray均值μgray、图像Igauss1均值μgauss1和图像Igauss2均值μgauss2:首先,分别计算灰度图像Igray、图像Igauss1和图像Igauss2中第r子块的均值μgray,r、μgauss1,r和μgauss2,r,如下式(12)所示:其中,dgray,r,c、dgauss1,r,c、dgauss2,r,c分别为灰度图像Igray、图像Igauss1和图像Igauss2中第r个子块中经过DCT变换后的系数,然后,分别计算灰度图像Igray、图像Igauss1和图像Igauss2所有子块的均值μgray、μgauss1和μgauss2,如下式(13)所示:其中,Zgra...

【专利技术属性】
技术研发人员:于明葛瑞雪李丽莎于洋师硕郭迎春刘依
申请(专利权)人:河北工业大学
类型:发明
国别省市:天津,12

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1