一种图像标记方法及电子设备技术

本发明专利技术提供了一种图像标记方法及电子设备，涉及图像挖掘技术领域，主要解决了对图像进行精准描述的技术问题。该发明专利技术包括：获取待标记图像的标签集，所述标签集包括至少一个所述图像的已有标签；对所述标签集内的标签进行过滤，得到过滤后的标签；根据所述过滤后的标签，计算标签间的视觉相似度矩阵和语义相似度矩阵；根据所述视觉相似度矩阵和语义相似度矩阵计算混合相似度矩阵，并对所述混合相似度矩阵进行聚类，得到所述待标记图像的视觉主题，所述视觉主题包括至少一个所述过滤后的标签；采用所述视觉主题标记所述待标记图像。因此，本发明专利技术不需要引入额外的数据来训练，充分利用公开的预训练算法模型；具有操作性强，计算速度快，效果好特点。

An image marking method and electronic equipment

【技术实现步骤摘要】
一种图像标记方法及电子设备
本专利技术涉及图像挖掘
，尤其涉及一种图像标记方法及电子设备。
技术介绍
互联网技术的飞速发展使得人们越来越喜爱将自己的生活与见闻拍摄图片或视频发布在各大社交网站上。在网站上存储的海量图像数据中，图像对应的用户标签在描述图像内容、方便用户检索兴趣图像方面起着举足轻重的作用。然而，由于每个人描述和看待事物的角度不同，往往会有不同的标签描述相似图像的现象出现，这给图像存储和处理的网站服务器产生了很大的压力。此外，并且所有的标签都与特定的视觉内容有比较强的关联，如“棒极了”、“漂亮”之类的标签，无法将之与很具体的图像联系起来，然而这类标签却经常出现在各大社交网站之中。社交网络为了方便图像的存储和检索，会将图像与对应的标签进行特征的描述和编码，用来存储在数据服务器上提供服务。在图像标签的编码方式上一般采用“一位独热”编码方式(one-hotencoding)，即将所有独立的标签作为一个整体的序列进行排列。例如给定一幅图像，它的标签描述编码就是一个很长的数字序列，若图像中包含某几个标签，则序列中对应的标签位置的数值为1，其余位置数值为0。给定一个图像的集合，那么生成的标签编码序列就是一个非常稀疏的编码矩阵(encodingmatrix)，矩阵里只有少量位置值为1，大部分位置的数值都为0。存储和处理这样的矩阵对于计算机来说耗时耗力，并且对于图像和标签的处理算法也带来了较大的困难。有一些工作尝试使用降维方法减少图像标签的数量，从而降低标签编码矩阵的维度，然而此类方法只是基于概率上的理论，而标签之间的内在联系往往是被忽略的。因此，针对图像标签存在的问题，需要有一种更合适的内容描述和编码方法来对图像进行精准描述。
技术实现思路
本专利技术其中一个目的是为了提出一种图像标记方法及电子设备，解决了现有技术中对图像进行精准描述的技术问题。本专利技术优选实施方案中能够达到诸多有益效果，具体见下文阐述。为实现上述目的，本专利技术提供了以下技术方案：本专利技术的一种图像标记方法，其包括：获取待标记图像的标签集，所述标签集包括至少一个所述图像的已有标签；对所述标签集内的标签进行过滤，得到过滤后的标签；根据所述过滤后的标签，计算标签间的视觉相似度矩阵和语义相似度矩阵；根据所述视觉相似度矩阵和语义相似度矩阵计算混合相似度矩阵，并对所述混合相似度矩阵进行聚类，得到所述待标记图像的视觉主题，所述视觉主题包括至少一个所述过滤后的标签；采用所述视觉主题标记所述待标记图像。进一步的，所述对所述标签集内的标签进行过滤，得到过滤后的标签，包括：获取所述标签集内的各个标签对应的VCDL，所述VCDL根据各个标签和所述各个标签已标记的图像集确定；其中，VCDL为视觉内容描述级别，用于衡量标签的描述能力；在所述标签集内去除低于预设阈值的VCDL对应的标签，得到过滤后的标签。进一步的，所述获取所述标签集内的各个标签对应的VCDL，包括：分别将所述标签集内的各个标签作为当前标签，获取所述当前标签已标记的图像集，所述图像集包括至少一个图像；分别将所述图像集中的各个图像作为当前图像，根据图像的视觉特征，采用K近邻算法，确定所述当前图像的K个近邻图像；根据所述K个近邻图像和所述当前标签，计算所述当前图像与其他图像的相似度值；根据所述相似度值确定所述当前标签对应的VCDL。进一步的，所述根据所述相似度值确定所述当前标签对应的VCDL，包括：将所述当前标签对应的出现次数最多的所述相似度值，确定为所述当前标签对应的VCDL。进一步的，所述根据所述过滤后的标签，计算标签间的视觉相似度矩阵和语义相似度矩阵，包括：对所述过滤后的标签进行两两计算，得到两个过滤后的标签之间的豪斯多夫距离，并将每个所述豪斯多夫距离作为一个元素值，生成视觉距离矩阵；对所述视觉距离矩阵进行转换，得到视觉相似度矩阵，其中，所述视觉相似度矩阵中的元素值与所述视觉距离矩阵中相应位置的元素值成反比关系；和/或，对所述过滤后的标签进行两两计算，得到两个过滤后的标签之间的词向量距离，并将每个所述词向量距离作为一个元素值，生成语义距离矩阵；对所述语义距离矩阵进行转换，得到语义相似度矩阵，其中，所述语义相似度矩阵中的元素值与所述语义距离矩阵中相应位置的元素值成反比关系。进一步的，所述对所述过滤后的标签进行两两计算，得到两个过滤后的标签之间的豪斯多夫距离，包括：获取各个过滤后的标签对应的视觉特征，采用豪斯多夫距离计算算法，对所述视觉特征进行两两计算，得到两个过滤后的标签之间的豪斯多夫距离。进一步的，所述对所述过滤后的标签进行两两计算，得到两个过滤后的标签之间的词向量距离，包括：采用预先建立的词向量模型，将各个过滤后的标签转换为词向量，采用余弦距离计算算法，对所述词向量进行两两计算，得到两个过滤后的标签之间的词向量距离。进一步的，所述根据所述视觉相似度矩阵和语义相似度矩阵计算混合相似度矩阵，包括：对所述视觉相似度矩阵和语义相似度矩阵的同一位置的元素进行加权求和，将加权求和值作为混合相似度矩阵的相应位置的元素值。进一步的，所述对所述混合相似度矩阵进行聚类，得到所述待标记图像的视觉主题，包括：将所述混合相似度矩阵作为谱聚类算法的相似度矩阵，采用谱聚类算法对所述混合相似度矩阵进行聚类，得到聚类结果，所述聚类结果包括至少一个类别，每个类别对应一组标签组合；将每个类别对应的标签组合作为所述待标记图像的视觉主题。本专利技术还有一种电子设备，其包括：处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，执行上面所述的方法。本专利技术提供的一种图像标记方法及电子设备至少具有如下有益技术效果：本专利技术对待标记图像的标签集，首先，进行过滤，去掉部分无效标签，初步筛选出标签；再根据过滤后的标签，计算标签间的视觉相似度矩阵和语义相似度矩阵；然后，根据视觉相似度矩阵和语义相似度矩阵计算出混合相似度矩阵，并通过谱聚类算法得到视觉主题；最后，用视觉主题标记待标记图像。因此，本专利技术具有如下特点：1.本专利技术是基于无监督的流程执行，不需要引入额外的数据来训练，充分利用公开的预训练算法模型。2.本专利技术具有易于实现，速度快，效果好等特点。3.本专利技术生成的视觉主题可以代替标签作为图像的语义表示，并且可以方便地嵌入到各类任务中，比如基于关键字的图像搜索、基于内容的图像搜索、图标标注等。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一种图像标记方法的流程图；图2是本专利技术一种电子设备的结构示意图；图中，本文档来自技高网...

【技术保护点】
1.一种图像标记方法，其特征在于，包括：/n获取待标记图像的标签集，所述标签集包括至少一个所述图像的已有标签；/n对所述标签集内的标签进行过滤，得到过滤后的标签；/n根据所述过滤后的标签，计算标签间的视觉相似度矩阵和语义相似度矩阵；/n根据所述视觉相似度矩阵和语义相似度矩阵计算混合相似度矩阵，并对所述混合相似度矩阵进行聚类，得到所述待标记图像的视觉主题，所述视觉主题包括至少一个所述过滤后的标签；/n采用所述视觉主题标记所述待标记图像。/n

【技术特征摘要】
1.一种图像标记方法，其特征在于，包括：
获取待标记图像的标签集，所述标签集包括至少一个所述图像的已有标签；
对所述标签集内的标签进行过滤，得到过滤后的标签；
根据所述过滤后的标签，计算标签间的视觉相似度矩阵和语义相似度矩阵；
根据所述视觉相似度矩阵和语义相似度矩阵计算混合相似度矩阵，并对所述混合相似度矩阵进行聚类，得到所述待标记图像的视觉主题，所述视觉主题包括至少一个所述过滤后的标签；
采用所述视觉主题标记所述待标记图像。


2.根据权利要求1所述的图像标记方法，其特征在于，所述对所述标签集内的标签进行过滤，得到过滤后的标签，包括：
获取所述标签集内的各个标签对应的VCDL，所述VCDL根据各个标签和所述各个标签已标记的图像集确定；其中，VCDL为视觉内容描述级别，用于衡量标签的描述能力；
在所述标签集内去除低于预设阈值的VCDL对应的标签，得到过滤后的标签。


3.根据权利要求2所述的图像标记方法，其特征在于，所述获取所述标签集内的各个标签对应的VCDL，包括：
分别将所述标签集内的各个标签作为当前标签，获取所述当前标签已标记的图像集，所述图像集包括至少一个图像；
分别将所述图像集中的各个图像作为当前图像，根据图像的视觉特征，采用K近邻算法，确定所述当前图像的K个近邻图像；
根据所述K个近邻图像和所述当前标签，计算所述当前图像与其他图像的相似度值；
根据所述相似度值确定所述当前标签对应的VCDL。


4.根据权利要求3所述的图像标记方法，其特征在于，所述根据所述相似度值确定所述当前标签对应的VCDL，包括：
将所述当前标签对应的出现次数最多的所述相似度值，确定为所述当前标签对应的VCDL。


5.根据权利要求1所述的图像标记方法，其特征在于，所述根据所述过滤后的标签，计算标签间的视觉相似度矩阵和语义相似度矩阵，包括：
对所述过滤后的标签进行两两计算，得到两个过滤后的标签之间的豪斯多夫距离，并将每个所述豪斯多夫距离作为一个元素值，生成视觉距离...

【专利技术属性】
技术研发人员：孙科，储朱涛，贺鹏飞，王文强，何彩洋，施佳，
申请(专利权)人：杭州创匠信息科技有限公司，
类型：发明
国别省市：浙江;33