为媒体文件添加标签方法和使用该方法的系统技术方案

本发明专利技术提供了一种为媒体文件添加标签的方法，包括：基于已有的含有标签的媒体文件的训练样本构建标签的检测模型，基于所述训练样本中标签的出现频率提取标签之间的共存系数；输入媒体文件，并从所输入的媒体文件中提取视觉特征；获取所输入的媒体文件的初始标签；基于所述初始标签和所述训练样本中的标签之间的共存系数获取候选标签；基于所输入的媒体文件的视觉特征以及共存系数，使用标签检测模型从所述候选标签中选择能够描述输入媒体文件的标签集合。

【技术实现步骤摘要】

本专利技术涉及标签添加方法和使用该方法的系统，并且更具体地，涉及一种为内容文件添加标签的方法和系统。
技术介绍
随着数字技术的普及，现在已经产生了大量的媒体文件，例如音频文件、视频文件、图片、文本以及其组合文件。大量音视频文件的出现为人们生动地记录和保存各种信息带来了便利。但是，随着这种媒体文件的大量产生，用户如何迅速地从这些大量的媒体文件中找到自己所需的文件成为一个问题。为了解决这个问题，人们提出为媒体文件添加能够描述其内容的文字标签，从而方便人们通过文字标签来查找各种媒体文件，这种为媒体文件添加文字标签的方法称之为“媒体文件标签法”，就是一种为图片、音乐片段以及视频片段添加关键字或关键词(也称之为标签)的一种行为。这些标签可以用于随后的各种媒体文件相关的应用中，例如用于多媒体管理、多媒体搜索、版权保护以及对象识别等等。传统的媒体标签法采用人力对媒体文件添加标签，显然非常地费时费力，面对现今日益增长的媒体文件，单靠人力不可能对每个媒体文件添加标签。为此，美国专利申请 US2008/0229192的专利技术人就提出了一种通过人机交互为图像添加标签的方法。该专利申请从墨迹注释出发，基于墨迹注释的结果执行墨迹识别处理，识别结果用于形成与图像文件相关联的一个或多个标签。然而，在实践中，大多数文件并不包含墨迹注释，尤其是视频文件和音频文件。因此，对于没有墨迹注释的文件，该专利申请所披露的技术方案是不能生成任何标签的。美国专利2009(^89942提出一种图像自动标注技术，该方法首先建立一个标签词典，基于标签词典收集大量训练样本，对标签词典中存在的标签建立图模型(Graph Model)，通过图的逐步迭代构建标签模型，该模型可自动完成对每个媒体文件添加标签。该专利的技术方案最大的缺陷在于只能处理有限的标签词典，对于新输入的图像，如果新输入的图像含有的标签在标签词典中不存在，则没有标签输出，导致失败；其次，该方法必须全自动完成，在标注过程中用户无法将先验知识传递给系统，造成先验知识的浪费。
技术实现思路
有鉴于上述问题，本专利技术提出了一种为媒体文件添加标签的方法和系统，其能够以全自动方式或者用户少量干预的半自动方式，为输入的媒体文件选择合适的文字标签来描述其内容，为后续的媒体文件检索、管理等实际应用提供有力的支持。根据本专利技术的一个方面，提供了一种为媒体文件添加标签的方法，包括基于已有的含有标签的媒体文件的训练样本构建标签的检测模型，基于所述训练样本中标签的出现频率提取标签之间的共存系数；输入媒体文件，并从所输入的媒体文件中提取视觉特征； 获取所输入的媒体文件的初始标签；以及基于所述初始标签和所述训练样本中的标签之间的共存系数获取候选标签；以及基于所述输入媒体文件的视觉特征以及共存系数，使用标签检测模型从候选标签中选择能够描述输入媒体文件的标签集合。根据本专利技术的为媒体文件添加标签的方法，所述基于已有的含有标签的媒体文件的训练样本构建标签的检测模型的步骤包括基于所述训练样本形成标签词典，并收集所述标签词典中一个具体标签所属的训练样本；提取所收集的训练样本的视觉特征；基于所收集的训练样本以及所述训练样本的视觉特征，构建所述具体标签的检测模型，其中所构建的检测模型给出所述具体标签在一个媒体文件中的存在概率。根据本专利技术的为媒体文件添加标签的方法，所述基于所述训练样本中标签的出现频率提取标签之间的共存系数的步骤包括针对所有训练样本，统计两个标签存在于同一媒体文件中的数量，确定标签两两之间的共存频率；针对所有训练样本，统计其中存在所述两个标签两者和两者之一的媒体文件的数量或者统计其中存在所述两个标签之中的一个标签的媒体文件的数量；基于上述统计的媒体文件的数量，获得所述两个标签的共存系数。根据本专利技术的为媒体文件添加标签的方法，其中所述获取所输入的媒体文件的初始标签的步骤可以通过一下方式之一来实现用户主动提供初始标签、自动提取所输入的媒体文件自身携带的标签、自动提取所输入的媒体文件自身携带的其他信息，并转化成标签形式、利用所输入的媒体文件携带的其他信息，从第三方自动获取初始标签。根据本专利技术的为媒体文件添加标签的方法，其中所述视觉特征包括但不限于媒体文件的颜色、纹理、边缘方向等低层特征以及媒体文件的创建环境、创建时间等高层特征。根据本专利技术的为媒体文件添加标签的方法，其中所述使用标签检测模型从候选标签中选择能够描述输入媒体文件的标签集合的步骤包括基于所构建的标签检测模型，获得每个候选标签针对所输入的媒体文件的存在置信度；基于所述标签之间的共存系数，获取候选标签的共存系数矩阵，其中矩阵的维度等于候选标签的数量；基于所述候选标签的存在置信度和候选标签的共存系数矩阵，计算每个标签的针对所输入的媒体文件的存在得分，其中标签存在得分越大，该标签越能描述所述输入媒体文件的内容；基于所述每个标签的存在得分，对所述候选标签的存在得分进行排序；以及基于所述排序结果，选择适于描述所述输入媒体文件的一个或多个标签。根据本专利技术的为媒体文件添加标签的方法，其中所述基于所述初始标签和所述训练样本中的标签之间的共存系数获取候选标签的步骤包括当所述初始标签为多个时，对应于所述多个初始标签中的每一个获取一个候选标签列表；以及所述使用标签检测模型从所述候选标签中选择能够描述输入媒体文件的标签集合的步骤包括使用所构建的标签检测模型，获得每个候选标签列表中的每个候选标签针对所输入的媒体文件的存在置信度；基于每个候选标签列表中的所述标签之间的共存系数，获取相应候选标签列表中的标签的共存系数矩阵，其中矩阵的维度等于相应候选标签列表中的标签的数量；基于相应候选标签列表中的每个标签的存在置信度和所述标签的共存系数矩阵，计算相应候选标签列表中的每个标签的针对所输入的媒体文件的存在得分，通过累计相应候选标签列表中的每个标签的针对所输入的媒体文件的存在得分，获得相应候选标签列表的组合存在得分；其中候选标签列表的组合存在得分越大，该候选标签列表越能描述所述输入媒体文件的内容；基于所述候选标签列表的组合存在得分，对所述候选标签列表的组合存在得分进行排序；以及基于所述排序结果，选择描述所述输入媒体文件的候选标签列表。根据本专利技术的另一个方面，提供了一种为媒体文件添加标签的系统，包括用于基于已有的含有标签的媒体文件的训练样本构建标签的检测模型的模块；用于基于所述训练样本中标签的出现频率提取标签之间的共存系数的模块；用于输入媒体文件，并从所输入的媒体文件中提取视觉特征的模块；用于获取所输入的媒体文件的初始标签的模块；用于基于所述初始标签和所述训练样本中的标签之间的共存系数获取候选标签的模块；用于基于所述输入媒体文件的视觉特征以及共存系数，使用标签检测模型从所述候选标签中选择能够描述输入媒体文件的标签集合的模块。根据本专利技术的为媒体文件添加标签的系统，其中所述用于使用标签检测模型从所述候选标签中选择能够描述输入媒体文件的标签集合的模块包括用于使用所构建的标签检测模型，获得每个候选标签针对所输入的媒体文件的存在置信度的模块；用于基于所述标签之间的共存系数，获取候选标签的共存系数矩阵的模块，矩阵的维度等于候选标签的数量；用于基于所述候选标签的存在置信度和候选标签的共存系数矩阵，计算每个标签的针对所输入的媒本文档来自技高网...

【技术保护点】
１．一种为媒体文件添加标签的方法，包括：基于已有的含有标签的媒体文件的训练样本构建标签的检测模型，基于所述训练样本中标签的出现频率提取标签之间的共存系数；输入媒体文件，并从所输入的媒体文件中提取视觉特征；获取所输入的媒体文件的初始标签；基于所述初始标签和所述训练样本中的标签之间的共存系数获取候选标签；基于所输入的媒体文件的视觉特征以及共存系数，使用标签检测模型从所述候选标签中选择能够描述输入媒体文件的标签集合。

【技术特征摘要】
1.一种为媒体文件添加标签的方法，包括基于已有的含有标签的媒体文件的训练样本构建标签的检测模型，基于所述训练样本中标签的出现频率提取标签之间的共存系数；输入媒体文件，并从所输入的媒体文件中提取视觉特征； 获取所输入的媒体文件的初始标签；基于所述初始标签和所述训练样本中的标签之间的共存系数获取候选标签； 基于所输入的媒体文件的视觉特征以及共存系数，使用标签检测模型从所述候选标签中选择能够描述输入媒体文件的标签集合。2.根据权利要求1所述的为媒体文件添加标签的方法，其中，所述基于已有的含有标签的媒体文件的训练样本构建标签的检测模型的步骤包括基于所述训练样本形成标签词典，并分别收集所述标签词典中的每一个具体标签所属的训练样本；提取所收集的训练样本的视觉特征；基于所收集的训练样本以及所述训练样本的视觉特征，构建所述具体标签的检测模型，其中所构建的检测模型给出所述具体标签在一个媒体文件中的存在概率。3.根据权利要求1所述的为媒体文件添加标签的方法，其中，所述基于所述训练样本中标签的出现频率提取标签之间的共存系数的步骤包括针对所有训练样本，统计两个标签存在于同一媒体文件中的数量，确定标签两两之间的共存频率；针对所有训练样本，统计其中存在所述两个标签两者和两者之一的媒体文件的数量或者统计其中存在所述两个标签之中的一个标签的媒体文件的数量； 基于上述统计的媒体文件的数量，获得所述两个标签的共存系数。4.根据权利要求1所述的为媒体文件添加标签的方法，其中所述获取所输入的媒体文件的初始标签的步骤可以通过以下方式之一来实现用户主动提供初始标签； 自动提取所输入的媒体文件自身携带的标签； 自动提取所输入的媒体文件自身携带的其他信息，并转化成标签形式； 利用所输入的媒体文件携带的其他信息，从第三方自动获取初始标签。5.根据权利要求1所述的为媒体文件添加标签的方法，其中所述视觉特征包括但不限于媒体文件的颜色、纹理、边缘方向等低层特征； 媒体文件的创建环境、创建时间等高层特征。6.根据权利要求1所述的为媒体文件添加标签的方法，其中所述使用标签检测模型从所述候选标签中选择能够描述输入媒体文件的标签集合的步骤包括基于所构建的标签检测模型，获得每个候选标签针对所输入的媒体文件的存在置信度；基于所述标签之间的共存系数，获取候选标签的共存系数矩阵，其中矩阵的维度等于候选标签的数量；基于所述候选标签的存在置信度和候选标签的共存系数矩阵，计算每个标签的针对所输入的媒体文件的存在得分，其中标签存在得分越大，该标签越能描述所述输入媒体文件的内容；基于所述每个标签的存在得分，对所述候选标签的存在得分进行排序；以及基于所述排序结果，选择适于描述所述输入媒体文件的一个或多个标签。7.根据权利要求1所述的为媒体文件添加标签的方法，其中所述基于所述初始标签和所述训练样本中的标签之间的共存系数获取候选标签的步骤包括当所述初始标签为多个时，对应于所述多个初始标签中的每一个获取一个候选标签列表；以及所述使用标签检测模型从所述候选标签中选择能够描述输入媒体文件的标签集合的步骤包括使用所构建的标签检测模型，获得每个候选标签列表中的每个候选标签针对所输入的媒体文件的存在置信度；基于每个候选标签列表中的所述标签之间的共存系数，获取相应候...

【专利技术属性】
技术研发人员：刘媛，李滔，徐盈辉，陈义，张磊，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：JP