一种面向社群图像的显著图融合方法技术

本发明专利技术提供一种面向社群图像的显著图融合方法，包括输入训练图像，包括以下步骤,对于D中的图像I，应用m种提取方法，提取所述训练图像的显著图，其中D为训练集；计算AUC值；按照步骤1和步骤2的计算方法，获得每幅图像的提取方法的排序表，排序表集合为

A significant image fusion method for community image

The present invention provides a method of salient image fusion for a community image, including an input training image, including the following steps. For an image I in D, an M extraction method is applied to extract a significant figure of the training image, in which a D is a training set; a AUC value is calculated; each image is obtained according to a calculation method of step 1 and step 2. The sorting table of the extraction method and the sorting table set to

【技术实现步骤摘要】
一种面向社群图像的显著图融合方法
本专利技术涉及计算机视觉的
，特别是一种面向社群图像的显著图融合方法。
技术介绍
图像显著性检测旨在找出图像中最重要的部分，是计算机视觉领域用来降低计算复杂度的重要的预处理步骤，在图像压缩、目标识别、图像分割等领域有着广泛的应用。同时它又是计算机视觉中具有挑战性的问题，这些方法各自有自己的优势和不足，即使是同一显著性检测方法，对于不同的图片检测效果也是差异巨大的。为此能够融合多种显著性检测方法的结果，已得到更优显著图的方法就显得尤为重要了。有一些传统的显著图融合方法，他们多是对于多幅显著图进行简单的加和平均或是简单相乘取平均这种显著图融合方式将各种显著图同等对待，把各种显著性检测的权值设为同一数值，这在实际重视不合理的，因为对于一幅图片甚至是每一个像素点，各种显著性检测方法的检测效果都是不同，为此各显著性检测方法的权值也理应设置不同。当前也存在着一些研究融合多幅显著图的方法，如Mai等人利用条件随机场(CRF)来融合多幅显著图，得到了很好的效果，但是其召回率方面效果并不能令人满意。研究[L.Mai,Y.Niu,andF.Liu.SaliencyAggregation:AData-DrivenApproach.IEEEComputerSociety,CVPR2013,page1131-1138.]显示不同提取方法的提取性能是不一样的，即使同一种提取方法对不同图像的提取效果也是不一样的。然而，在没有基准二值标注的情况下，如何判断显著图的提取效果，也就是如何在多个显著图中选择提取效果好的显著图进行融合是一项非常困难的事情，研究非常少。在没有基准二值标注的情况下，文献[LongM,LiuF.ComparingSalientObjectDetectionResultswithoutGroundTruth[C]//EuropeanConferenceonComputerVision.SpringerInternationalPublishing,2014:76-91.]进行了多种显著图的融合。此项工作定义了6个评价好显著图的标准：显著区域的覆盖度、显著图的紧密度、显著图直方图、显著区域颜色的可分性、显著图分割质量和边界质量，根据这6条规则对多个显著图进行排序，最后得到融合的显著图。申请号为CN106570851A的专利技术专利申请公开了一种基于加权分配DS证据理论的显著图融合方法，解决多种显著性检测方法得到的显著图的有效融合问题。首先，使用要融合的显著性检测方法生成各自的显著图。其次，将得到的各显著图视为证据，根据得到的显著图定义各显著检测方法所对应的识别框架与mass函数。然后，计算各证据见得相似系数与相似矩阵，进而得到各证据的支持度与信任度。接着以可信度为权重对mass函数值进行加权平均，得到一幅显著图。然后使用D-S合成规则将加权平均证据合成得到另一幅显著图。最后，将得到的两幅显著图再次加权求和得到最后的显著图。在该方法中采用了mass函数进行加权平均，但是mass函数在D-S合成规则中应用，可能会因为mass函数冲突度的大小变化影响合成的效果，造成最后的显著图不清晰。申请号为CN106780422A的专利技术申请公开了一种基于Choquet积分的显著图融合方法，解决多种显著性检测方法得到的显著图的有效融合问题。首先，使用要融合的显著性检测方法生成各自的显著图。其次，计算各显著图间的相似系数和相似矩阵，进而得到各幅显著图的被支持度与可信度。然后，将各显著图的可信度作为Choquet积分中的模糊测度值。与此同时，对要融合的显著图进行像素级的排序，将排序的离散显著值作为Choquet积分中的非负实值可测函数。最后，计算Choquet积分值得到最后的显著图。该方法使用了Choquet积分的方法进行显著图融合，工作量比较大，需要较多的计算，使用起来不是很方便。
技术实现思路
为了解决上述的技术问题，本专利技术提出一种面向社群图像的显著图融合方法，解决面向社群图像的显著图融合问题，基于标签语义和图像外观的图像依赖的显著图进行动态排序，根据排序结果进行显著图的融合。本专利技术提供一种面向社群图像的显著图融合方法，包括输入训练图像，包括以下步骤：步骤1：对于D中的图像I，应用m种提取方法，提取所述训练图像的显著图，其中D为训练集；步骤2：根据图像I对应的标准二值标注计算AUC值；步骤3：按照步骤1和步骤2的计算方法，获得每幅图像的提取方法的排序表，排序表的构成为方法的序号及其这种方法检测显著图的AUC值，排序表集合为T；步骤4：在训练集中进行的近邻搜索；步骤5：将步骤4中的结果进行合并；步骤6：融合测试图像的显著图。优选的是，所述各种提取方法的提取结果为S＝{S1,S2,S3,…,Si,…,SM}，Si表示第i种方法提取的显著图。在上述任一方案中优选的是，所述步骤2为设定所述图像I对应的基准二值标注为G，所述S和所述G进行比较，得到m种所述提取方法的AUC值。在上述任一方案中优选的是，对所述提取方法的AUC值进行排序，得到排序表Ti。在上述任一方案中优选的是，所述近邻搜索包括基于标签语义的近邻搜索和基于图像外观的近邻搜索。在上述任一方案中优选的是，所述步骤4为设定测试集图像I，对应的标签集合T＝{t1,t2,…,ti,…,tn}，近邻的图像个数设为k。在上述任一方案中优选的是，所述基于标签语义的近邻搜索是指在标签匹配的时候进行精确的匹配，匹配的个数为y。在上述任一方案中优选的是，设定x为最终的近邻数，x≤k。在上述任一方案中优选的是，当y>＝k时，则在y个图像中根据外观特征的相似度进行排序，选取k最近邻作为最终的标签语义最近邻集合，则x＝k。在上述任一方案中优选的是，当y<k时，则x＝y，标签近邻集合为其中，T代表这个集合是标签检索得到的近邻。在上述任一方案中优选的是，所述基于图像外观的近邻搜索是指在图像外观的近邻搜索中外观特征采用RGB颜色特征空间的256维统计直方图特征并采用χ2距离进行计算。在上述任一方案中优选的是，选取k最近邻作为外观特征的最近邻集合，其中，A代表这个集合是外观检索得到的近邻。在上述任一方案中优选的是，所述步骤5为将所述标签近邻集合和所述最近邻集合进行合并，得到Img＝{Img1，Img2,…,Imgx,…,Imgx+k}。在上述任一方案中优选的是，所述步骤6包括以下子步骤：步骤61：计算权重向量；步骤62：对权重进行归一化处理；步骤63：应用M种提取方法对测试图像I进行显著区域提取；步骤64：对测试图像的显著图进行融合。在上述任一方案中优选的是，所述步骤61为将每种提取方法的所述AUC值设置为对这种提取方法的投票权重。在上述任一方案中优选的是，所述步骤61还为投票权重求和后得到权重向量其中，中的i表示第i个近邻图像，j表示第j种方法，M表示提取方法的数量。在上述任一方案中优选的是，所述步骤62为归一化后的权重表示为W＝{w1，w2,…,wj,…,wM}，其中，wj是指第j种方法的权重。在上述任一方案中优选的是，所述显著区域提取结果为S(I)＝{S1(I),S2(I),…,Si(p),…,SM(I)}，其中Sj(I)代表第j种提取方法的提取本文档来自技高网...

【技术保护点】
一种面向社群图像的显著图融合方法，包括输入训练图像，其特征在于，包括以下步骤：步骤1：对于D中的图像I，应用m种提取方法，提取所述训练图像的显著图，其中D为训练集；步骤2：根据所述图像I对应的标准二值标注计算AUC值；步骤3：按照步骤1和步骤2的计算方法，获得每幅图像的提取方法的排序表，，排序表的构成为方法的序号及其这种方法检测显著图的AUC值，排序表集合为T；步骤4：在训练集中进行的近邻搜索；步骤5：将步骤4中的结果进行合并；步骤6：融合测试图像的显著图。

【技术特征摘要】
1.一种面向社群图像的显著图融合方法，包括输入训练图像，其特征在于，包括以下步骤：步骤1：对于D中的图像I，应用m种提取方法，提取所述训练图像的显著图，其中D为训练集；步骤2：根据所述图像I对应的标准二值标注计算AUC值；步骤3：按照步骤1和步骤2的计算方法，获得每幅图像的提取方法的排序表，，排序表的构成为方法的序号及其这种方法检测显著图的AUC值，排序表集合为T；步骤4：在训练集中进行的近邻搜索；步骤5：将步骤4中的结果进行合并；步骤6：融合测试图像的显著图。2.如权利要求1所述的面向社群图像的显著图融合方法，其特征在于：所述各种提取方法的提取结果为S＝{S1,S2,S3,…,Si,…,SM}，Si表示第i种方法提取的显著图。3.如权利要求2所述的面向社群图像的显著图融合方法，其特征在于：所述步骤2为设定所述图像I对应的基准二值标注为G，所述S和所述G进行比较，得到m种所述提取方法的AUC值。4.如权利要求3所述的面向社群图像的显著图融合方法，其特征在于：对所述提取方法的AUC值进行排...

【专利技术属性】
技术研发人员：梁晔，马楠，胡路明，李华丽，昝艺璇，蒋元，陈强，宋恒达，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京,11