标签挖掘方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了标签挖掘方法、装置、电子设备及存储介质，涉及数据处理技术领域，尤其涉及智能搜索、大数据等领域。具体实现方案为：基于目标文本的句子权重，从目标文本中筛选出关键句子，得到关键句子集合；基于关键句子集合，确定候选标签集合；确定候选标签集合中各候选标签的多个特征信息；基于各候选标签的多个特征信息，从候选标签集合中筛选出目标文本的标签。本公开实施例中基于关键句子挖掘标签可以提高挖掘效率，基于多个特征信息挖掘标签，可以从多个维度描述候选标签，以使得筛选出的标签信息更为准确。签信息更为准确。签信息更为准确。

【技术实现步骤摘要】
标签挖掘方法、装置、电子设备及存储介质


[0001]本公开涉及数据处理
，尤其涉及智能搜索、大数据等领域。

技术介绍

[0002]随着计算机技术的发展，各个领域中存在大量的文档。为便于管理文档，一般都会对文档设置标签。基于标签可对文档进行分类、检索等。由于文档过多，可能存在文档的标签与文档内容不符的情况，因此，如何获取文档的标签是一个问题。

技术实现思路

[0003]本公开提供了一种标签挖掘方法、装置、电子设备及存储介质。
[0004]根据本公开的一方面，提供了一种标签挖掘方法，包括：
[0005]基于目标文本的句子权重，从目标文本中筛选出关键句子，得到关键句子集合；
[0006]基于关键句子集合，确定候选标签集合；
[0007]确定候选标签集合中各候选标签的多个特征信息；
[0008]基于各候选标签的多个特征信息，从候选标签集合中筛选出目标文本的标签。
[0009]根据本公开的另一方面，提供了一种标签挖掘装置，包括：
[0010]句子筛选模块，用于基于目标文本的句子权重，从目标文本中筛选出关键句子，得到关键句子集合；
[0011]标签获取模块，用于基于关键句子集合，确定候选标签集合；
[0012]特征获取模块，用于确定候选标签集合中各候选标签的多个特征信息；
[0013]标签筛选模块，用于基于各候选标签的多个特征信息，从候选标签集合中筛选出目标文本的标签。
[0014]根据本公开的另一方面，提供了一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与该至少一个处理器通信连接的存储器；其中，
[0017]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
[0018]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
[0019]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
[0020]本公开实施例中，基于关键句子挖掘标签可以提高挖掘效率，基于多个特征信息挖掘标签，可以从多个维度描述候选标签，以使得筛选出的标签信息更为准确。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1是根据本公开一实施例中标签挖掘方法的流程示意图；
[0024]图2是根据本公开另一实施例中权重预测模型的训练方法的流程示意图；
[0025]图3是根据本公开另一实施例中标签挖掘方法的示意图；
[0026]图4是根据本公开另一实施例中标签挖掘装置的结构示意图；
[0027]图5是根据本公开另一实施例中标签挖掘装置的结构示意图；
[0028]图6是用来实现本公开实施例的标签挖掘方法的电子设备的框图。
具体实施方式
[0029]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0030]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0031]在相关技术中，对于文档进行标签挖掘的方式可以分为有监督的方式和无监督的方式。
[0032]有监督的方式为针对有限的标签领域，通过对海量的数据进行标注，进而采用传统的分类模型或者实体抽取的方式进行训练，获取对应的抽取模型，基于该抽取模型可实现对文档的标签标注。该方式由于仅针对有限的标签领域，因此存在泛化性低的问题，同时该方式需要大量的人工标注的数据，较为浪费人力资源。
[0033]无监督的方式可以为对于文档进行分词处理，可以采用TF
‑
IDF(词频
‑
逆文档频率，Term Frequence
‑
Inverse Document Frequence)获取每个分词结果的权重信息，该方式仅是简单的统计词频，实际应用中抽取的标签准确率较低。
[0034]有鉴于此，本公开实施例提出了一种标签挖掘方法，如图1所示，包括：
[0035]S101，基于目标文本的句子权重，从目标文本中筛选出关键句子，得到关键句子集合。
[0036]其中，目标文本可以为网络文档，也可以为网页中的文字页面等，凡需要获取标签的文本均适用于本公开实施例。
[0037]S102，基于关键句子集合，确定候选标签集合。
[0038]S103，确定候选标签集合中各候选标签的多个特征信息。
[0039]S104，基于各候选标签的多个特征信息，从候选标签集合中筛选出目标文本的标签信息。
[0040]其中，由于每个候选标签包括多个特征信息，每种特征信息从不同的维度或角度来描述候选标签的特征，综合考虑不同的特征，有利于得到能够准确描述目标文本的标签。
[0041]本公开实施例中，基于句子的权重信息，可以筛选出目标文本中较为重要的句子。
该方式可以实现基于少量的关键句子，获取到丰富的候选标签集合。由于无需从整个目标文档中逐句挖掘候选标签，因此节约了资源消耗。此外，关键句子能够传递文档的核心思想，基于关键句子挖掘标签，同时也保证了候选样本标签的全面性和准确性。再结合候选标签集合的多个特征信息，以确定目标文本的标签信息，基于多个特征信息实现了标签预测，可以从多个维度描述候选标签，以使得筛选出的标签信息更为准确。基于无监督的方式，使得本公开实施例不局限于固定领域，因此使得本公开实施例中提出的方式也具有通用性。
[0042]本公开实施例提出的标签挖掘方法可以分为以下几个流程：获取关键句子集合，获取候选标签集合，获取各候选标签的特征信息，以及确定目标文本的标签信息，下面对这几个流程进行详细说明：
[0043]1)获取关键句子集合
[0044]在一些实施例中，基于目标文本的句子权重，从目标文本中筛选出关键句子，得到关键句子集合，可实施为：
[0045]步骤A1，基于预设采样率对目标文本中的句子进行采样。
[0046]本公开实施例中的预设采样率低于50％。可根据实际需求本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标签挖掘方法，包括：基于目标文本的句子权重，从所述目标文本中筛选出关键句子，得到关键句子集合；基于所述关键句子集合，确定候选标签集合；确定所述候选标签集合中各候选标签的多个特征信息；基于各候选标签的多个特征信息，从所述候选标签集合中筛选出所述目标文本的标签。2.根据权利要求1所述的方法，其中，所述基于目标文本的句子权重，从所述目标文本中筛选出关键句子，得到关键句子集合，包括：基于预设采样率对所述目标文本中的句子进行采样；基于采样到的句子和指定句子，构建第一句子集合；所述指定句子用于描述所述目标文本的核心内容；对所述第一句子集合中的各句子进行分词处理，得到第一特征词集合；基于所述第一特征词集合，确定所述目标文本的多个句子的句子权重；从所述目标文本的多个句子中，筛选句子权重大于权重阈值句子，构建所述关键句子集合。3.根据权利要求2所述的方法，其中，所述基于所述第一特征词集合，确定所述目标文本的多个句子的句子权重，包括：基于所述目标文本中未采样到的句子，构建第二句子集合；以所述第一特征词集合为分词词典，对所述第二句子集合中的句子进行分词处理，得到第二特征词集合；基于文本的排序方法处理所述第一特征词集合和所述第二特征词集合，以得到所述目标文本的句子间的相似度矩阵；基于网页排名方法处理所述相似度矩阵，得到所述目标文本的多个句子的句子权重。4.根据权利要求2所述的方法，其中，所述指定句子包括所述目标文本的标题。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述基于所述关键句子集合，确定候选标签集合，包括：对所述关键句子集合进行分词处理，得到候选分词集合；对所述候选分词集合中的词进行随机组合，得到扩展词；基于所述扩展词和所述候选分词集合，构建所述候选标签集合。6.根据权利要求1
‑
5中任一项所述的方法，针对每个候选标签，所述候选标签的多个特征信息，包括以下中的至少一种：第一特征，基于无监督的关键词提取方法确定的所述候选标签的分值；第二特征，用于表示所述候选标签与指定句子之间的相似度；所述指定句子用于描述所述目标文本的核心内容；第三特征，用于表示所述候选标签的权重。7.根据权利要求6所述的方法，在各候选标签的多个特征信息包括第一特征的情况下，针对每个候选标签，确定所述候选标签的所述第一特征，包括：获取所述候选标签的多个预设子特征信息；基于多个所述预设子特征信息计算联合计算指标，以得到所述第一特征。
8.根据权利要求6所述的方法，在各候选标签的多个特征信息包括第二特征的情况下，针对每个候选标签，确定所述候选标签的所述第二特征，包括：获取所述指定句子的句子特征；确定所述指定句子的句子特征和所述候选标签的词嵌入特征之间的相似度，得到所述第二特征。9.根据权利要求6所述的方法，在各候选标签的多个特征信息包括第三特征的情况下，针对每个候选标签，确定所述候选标签的所述第三特征，包括：基于无监督的关键词提取方法，提取所述候选标签的多个统计特征，得到统计特征集合；将所述候选标签的统计特征集合，以及所述第二特征输入权重预测模型，得到所述第三特征；其中，所述权重预测模型是基于二分类训练得到的，在训练阶段所述权重预测模型基于预测的权重对输入样本进行分类，二分类的类别包括对文本重要，和对文本不重要。10.根据权利要求1
‑
9中任一项所述的方法，其中，所述基于各候选标签的多个特征信息，从所述候选标签集合中筛选出所述目标文本的标签，包括：将所述多个特征信息分别跟相应的阈值进行比较；选择各特征信息均大于相应阈值的候选标签作为所述目标文本的标签。11.一种标签挖掘装置，包括：句子筛选模块，用于基于目标文本的句子权重，从所述目标文本中筛选出关键句子，得到关键句子集合；标签获取模块，用于基于所述关键句子集合，确定候选标签集合；特征获取模块，用于确定所述候选标签集合中各候选标签的多个特征信息；标签筛选模块，用于基于各候选标签的多个特征信息，从所述候选标签集合中筛选出所述目标文...

【专利技术属性】
技术研发人员：付宇，薛璐影，白云龙，吴广发，
申请(专利权)人：百度中国有限公司，
类型：发明
国别省市：