标签数据的生成方法及装置、存储介质、电子设备制造方法及图纸

本发明专利技术公开了一种标签数据的生成方法及装置、存储介质、电子设备，属于人工智能领域。其中，该方法包括：获取视频数据，其中，所述视频数据包括多个模态的数据内容；提取所述视频数据的视频内容和描述文本；基于所述视频内容构建所述视频数据的第一特征标签，以及基于所述描述文本构建所述视频数据的第二特征标签；根据所述第一特征标签和所述第二特征标签聚合生成所述视频数据的视频标签。通过本发明专利技术，解决了相关技术针对视频数据生成的标签不完善的技术问题，结合视频内容和文本双模态的互补特性，丰富了视频数据的标签体系。

【技术实现步骤摘要】
标签数据的生成方法及装置、存储介质、电子设备
本专利技术涉及人工智能领域，具体而言，涉及一种标签数据的生成方法及装置、存储介质、电子设备。
技术介绍
相关技术中，互联网中以短视频为媒介的信息传播方式占据了极其重要的地位。视频的数量与内容丰富度与日俱增，想要对视频数据进行高效的管理、运营，为用户提供高质量的推荐、搜索服务都依赖于完善的视频标签分类体系。在当前信息更新极快的背景下，人们关注的热点、视频聚焦的内容都在不断变化和衍生。使用人工进行标注的效率是极其低下的，并且使用一成不变的标签体系来为视频进行标注难以满足与时俱进的要求。相关技术都是从单一的视频模态出发，大致包含：获取视频、采样(分段)、视频特征提取、按标注类别训练这几个部分，在仅使用单一模态的同时，依靠固定的标签体系来训练和标注视频。至少存在以下缺陷：使用模态类别单一化，信息缺乏互补性，在当前视频类媒体中，通常并不只包含视频这一个模态，视频标题、简介等文本信息都较为常见；标签体系固化：由于仅使用视频模态，该类方案极度依赖于完善的视频标注，因此当视频中出现了标签体系之外的重要内容时，往往难以满足需要，但视频的内容与热点是与时俱进的，需要摆脱标签体系固化的影响，导致生成的视频标签不准确、不完善，给基于标签数据的模型训练等带来了不稳定因素。针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
技术实现思路
本专利技术实施例提供了一种标签数据的生成方法及装置、存储介质、电子设备。根据本申请实施例的一个方面，提供了一种标签数据的生成方法，包括：获取视频数据，其中，所述视频数据包括多个模态的数据内容；提取所述视频数据的视频内容和描述文本；基于所述视频内容构建所述视频数据的第一特征标签，以及基于所述描述文本构建所述视频数据的第二特征标签；根据所述第一特征标签和所述第二特征标签聚合生成所述视频数据的视频标签。进一步，基于所述视频内容构建所述视频数据的第一特征标签包括：按照预设周期从所述视频内容采样帧序列；采用预设卷积模型逐帧提取所述帧序列的帧级特征，得到对应的特征序列；根据所述特征序列构建所述视频数据的视频内容标签和视频动作标签。进一步，根据所述特征序列构建所述视频数据的视频内容标签包括：针对所述特征序列中的每个帧级特征xt，采用以下公式计算其属于预设聚类中心集合中任一聚类中心k的概率αk：其中，w，b为预设参数；针对所述特征序列中的每个帧级特征xt，采用预设聚类中心集合中每个聚类中心的αk作为权重，采用以下公式加权计算xt的视频内容标签其中，μk为聚类中心k的聚类特征。进一步，根据所述特征序列构建所述视频数据的视频动作标签包括：计算所述特征序列中t-1步之前的隐层特征ht-1，以及从所述特征序列中获取第t-1步的输入特征xt-1；基于所述ht-1和xt-1采用预设长短期记忆网络LSTM模型计算第t-1步的视频动作标签，其中，t-1为最后一步。进一步，基于所述描述文本构建所述视频数据的第二特征标签包括：采用预设文本格式为提取模板从所述描述文本中提取第一主题关键词集合，以及采用预设命名实体识别NER模型和词性标注模型从所述描述文本抽取第二主题关键词集合，其中，所述预设NER模型和词性标注模型用于从输入文本中抽取目标词性的关键词；对所述第一主题关键词集合和所述第二主题关键词集合进行去重，得到所述视频数据的第二特征标签。进一步，根据所述第一特征标签和所述第二特征标签聚合生成所述视频数据的视频标签包括：对所述第一特征标签按照预设父级标签进行聚类，得到多个类别的子标签，其中，所述第一特征标签包括若干个内容标签和若干个动作标签；采用子标签计算父级标签的置信度，并选择置信度最大的指定父级标签；计算所述指定父级标签下各个子标签的标签文本与关键词的相关性，选择相关性符合预设条件的M个指定关键词，其中，所述第二特征标签包括N个关键词，N≥M，M，N均为正整数；将所述第一特征标签和所述M个指定关键词聚合为所述视频数据的视频标签。进一步，选择相关性符合预设条件的M个指定关键词包括：选择相关性大于第一阈值的第一关键字集合，以及选择相关性小于第二阈值的第二关键字集合，得到M个指定关键词。根据本申请实施例的另一个方面，还提供了一种标签数据的生成装置，包括：获取模块，用于获取视频数据，其中，所述视频数据包括多个模态的数据内容；提取模块，用于提取所述视频数据的视频内容和描述文本；构建模块，用于基于所述视频内容构建所述视频数据的第一特征标签，以及基于所述描述文本构建所述视频数据的第二特征标签；生成模块，用于根据所述第一特征标签和所述第二特征标签聚合生成所述视频数据的视频标签。进一步，所述构建模块包括：采样单元，用于按照预设周期从所述视频内容采样帧序列；提取单元，用于采用预设卷积模型逐帧提取所述帧序列的帧级特征，得到对应的特征序列；构建单元，用于根据所述特征序列构建所述视频数据的视频内容标签和视频动作标签。进一步，所述构建单元包括：第一计算子单元，用于针对所述特征序列中的每个帧级特征xt，采用以下公式计算其属于预设聚类中心集合中任一聚类中心k的概率αk：其中，w，b为预设参数；第二计算子单元，用于针对所述特征序列中的每个帧级特征xt，采用预设聚类中心集合中每个聚类中心的αk作为权重，采用以下公式加权计算xt的视频内容标签其中，μk为聚类中心k的聚类特征。进一步，所述构建单元包括：第三计算子单元，用于计算所述特征序列中t-1步之前的隐层特征ht-1，以及从所述特征序列中获取第t-1步的输入特征xt-1；第四计算子单元，用于基于所述ht-1和xt-1采用预设长短期记忆网络LSTM模型计算第t-1步的视频动作标签，其中，t-1为最后一步。进一步，所述构建模块包括：处理单元，用于采用预设文本格式为提取模板从所述描述文本中提取第一主题关键词集合，以及采用预设命名实体识别NER模型和词性标注模型从所述描述文本抽取第二主题关键词集合，其中，所述预设NER模型和词性标注模型用于从输入文本中抽取目标词性的关键词；去重单元，用于对所述第一主题关键词集合和所述第二主题关键词集合进行去重，得到所述视频数据的第二特征标签。进一步，所述生成模块包括：分类单元，用于对所述第一特征标签按照预设父级标签进行聚类，得到多个类别的子标签，其中，所述第一特征标签包括若干个内容标签和若干个动作标签；计算单元，用于采用子标签计算父级标签的置信度，并选择置信度最大的指定父级标签；选择单元，用于计算所述指定父级标签下各个子标签的标签文本与关键词的相关性，选择相关性符合预设条件的M个指定关键词，其中，所述第二特征标签包括N个关键词，N≥M，M，N均为正整数；聚合单元，用于将所述第一特征标签和所述M个指定关键词聚合为所述视频数据的视频标签。进一步，所述选择单元包括：选择子单元，用于选择相关性大于第一阈值的第一关键字集合，以及选择相关性小于第二阈值的第二关键字集合，得到M个指定关键词。根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包本文档来自技高网...

【技术保护点】
1.一种标签数据的生成方法，其特征在于，包括：/n获取视频数据，其中，所述视频数据包括多个模态的数据内容；/n提取所述视频数据的视频内容和描述文本；/n基于所述视频内容构建所述视频数据的第一特征标签，以及基于所述描述文本构建所述视频数据的第二特征标签；/n根据所述第一特征标签和所述第二特征标签聚合生成所述视频数据的视频标签。/n

【技术特征摘要】
1.一种标签数据的生成方法，其特征在于，包括：
获取视频数据，其中，所述视频数据包括多个模态的数据内容；
提取所述视频数据的视频内容和描述文本；
基于所述视频内容构建所述视频数据的第一特征标签，以及基于所述描述文本构建所述视频数据的第二特征标签；
根据所述第一特征标签和所述第二特征标签聚合生成所述视频数据的视频标签。


2.根据权利要求1所述的方法，其特征在于，基于所述视频内容构建所述视频数据的第一特征标签包括：
按照预设周期从所述视频内容采样帧序列；
采用预设卷积模型逐帧提取所述帧序列的帧级特征，得到对应的特征序列；
根据所述特征序列构建所述视频数据的视频内容标签和视频动作标签。


3.根据权利要求2所述的方法，其特征在于，根据所述特征序列构建所述视频数据的视频内容标签包括：
针对所述特征序列中的每个帧级特征xt，采用以下公式计算其属于预设聚类中心集合中任一聚类中心k的概率αk：

其中，w，b为预设参数；
针对所述特征序列中的每个帧级特征xt，采用预设聚类中心集合中每个聚类中心的αk作为权重，采用以下公式加权计算xt的视频内容标签zk:
其中，μk为聚类中心k的聚类特征。


4.根据权利要求2所述的方法，其特征在于，根据所述特征序列构建所述视频数据的视频动作标签包括：
计算所述特征序列中t-1步之前的隐层特征ht-1，以及从所述特征序列中获取第t-1步的输入特征xt-1；
基于所述ht-1和xt-1采用预设长短期记忆网络LSTM模型计算第t-1步的视频动作标签，其中，t-1为最后一步。


5.根据权利要求1所述的方法，其特征在于，基于所述描述文本构建所述视频数据的第二特征标签包括：
采用预设文本格式为提取模板从所述描述文本中提取第一主题关键词集合，以及采用预设命名实体识别NER模型和词性标注模型从所述描述文本抽取第二主题关键词集合，其中，所述预设NER模型和所述词性标注模型用于从输入文...

【专利技术属性】
技术研发人员：丁仁杰，闫峰，卫海天，
申请(专利权)人：北京明略昭辉科技有限公司，
类型：发明
国别省市：北京;11