一种识别关键词的方法及装置制造方法及图纸

本申请涉及文本挖掘技术领域，公开了一种识别关键词的方法及装置，用以解决提取关键词的准确率较低的问题。该方法包括：从文本序列中提取语义特征，以及从视觉序列中提取视觉特征；利用语义特征的查询向量和视觉特征的上下文向量，确定每个语义特征的第一上下文关联程度，以及利用视觉特征的查询向量和语义特征的上下文向量，确定每个视觉特征的第二上下文关联程度；最后，利用第一上下文关联程度和第二上下文关联程度，生成每个语义特征的置信度，并将置信度高于设定阈值的语义特征对应的词语作为关键词输出。在编码时考虑词语间的顺序信息，以及使用视觉特征辅助模型识别，有利于提高模型的识别准确率。提高模型的识别准确率。提高模型的识别准确率。

【技术实现步骤摘要】
一种识别关键词的方法及装置


[0001]本专利技术涉及文本挖掘
，特别涉及一种识别关键词的方法及装置。

技术介绍

[0002]网络直播是近年来随着移动终端的发展而兴起的视听娱乐方式，呈现出高度的互动性与普遍性，越来越多的用户选择以直播的方式向外界分享信息，直播平台也逐渐成长为多媒体信息的生产渠道。因此，在海量的多媒体直播数据中快速、有效地识别出关键词，是实现多媒体数据语义互通，和多媒体信息快速检索的关键。
[0003]目前对关键词的识别主要以文本作为输入，利用文本中的词语统计信息识别出关键词，或者利用图模型从文本中识别出关键词。但上述介绍的识别方法主要依赖静态的词频统计信息，对上下文语义的理解比较差，因此识别准确率比较低。
[0004]有鉴于此，需要设计一种新的识别关键词的方法及装置，以克服上述缺陷。

技术实现思路

[0005]本申请实施例提供一种识别关键词的方法及装置，用以解决在识别关键词时，识别准确率较低的问题。
[0006]本申请实施例提供的具体技术方案如下：
[0007]第一方面，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别关键词的方法，其特征在于，包括：从直播数据中获取文本序列和视觉序列，并从所述文本序列中提取语义特征，以及从所述视觉序列中提取视觉特征；利用语义特征的查询向量和视觉特征的上下文向量，确定每个语义特征的第一上下文关联程度，以及利用视觉特征的查询向量和语义特征的上下文向量，确定每个视觉特征的第二上下文关联程度；其中，所述语义特征的查询向量和所述语义特征的上下文向量是基于语义特征集合生成的，所述视觉特征的查询向量和所述视觉特征的上下文向量是基于视觉特征集合生成的；利用所述第一上下文关联程度和所述第二上下文关联程度，生成每个所述语义特征的置信度，并将置信度高于设定阈值的语义特征对应的词语作为关键词输出。2.如权利要求1所述的方法，其特征在于，从所述视觉序列中提取视觉特征，包括：利用训练完毕的视觉嵌入模块，提取各个图像上的所述视觉特征，并对所述各个图像上的每个视觉特征进行位置编码，其中，位置编码信息包括所述每个视觉特征的检测框的坐标信息，以及所述视觉特征的空间位置信息。3.如权利要求1所述的方法，其特征在于，利用语义特征的查询向量和视觉特征的上下文向量，确定每个语义特征的第一上下文关联程度，包括：基于所述语义特征的查询向量与所述视觉特征上下文向量中的键向量，得到每个所述语义特征的第一注意力得分；基于第一注意力得分集合与所述视觉特征上下文向量中的值向量，得到每个所述语义特征的第二注意力得分；基于第二注意力得分集合与预设的第一注意力系数，得到每个所述语义特征的第三注意力得分；根据所述第三注意力得分，确定每个所述语义特征的第一上下文关联程度。4.如权利要求1所述的方法，其特征在于，利用视觉特征的查询向量和语义特征的上下文向量，确定每个视觉特征的第二上下文关联程度，包括：基于所述视觉特征的查询向量与所述语义特征的上下文向量中的键向量，得到每个所述视觉特征的第四注意力得分；基于第四注意力得分集合与所述语义特征的上下文向量中的值向量，得到每个所述视觉特征的第五注意力得分；基于第五注意力得分集合与预设的第二注意力系数，得到每个所述视觉特征的第六注意力得分；根据所述第六注意力得分，确定每个所述视觉特征的第二上下文关联程度。5.一种识别关键词的装置，其特征在于，包括：第一特征提取单元，用于从直播数据中获取文本序列和视觉序列，并从所述文本序列中提...

【专利技术属性】
技术研发人员：金志威，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：