实体消歧的方法及系统技术方案

本发明专利技术实施例公开了一种实体消歧的方法及装置，应用于分布式平台，其中该方法包括：将待消歧实体的词向量数据划分为多个部分，对每个部分的词向量数据进行聚类得到每个部分中每一类的类表示向量；将所有部分的所有类表示向量一同再次进行聚类，得到最终聚类结果；其中,不同部分的词向量数据由所述分布式平台中的不同节点进行聚类。如此，利用分布式平台通过二次聚类来完成实体消歧，能够满足对大量实体词进行实体消歧的需求。

【技术实现步骤摘要】
实体消歧的方法及系统
本专利技术涉及自然语言处理领域，尤指一种实体消歧的方法及装置。
技术介绍
信息抽取在自然语言处理中是一个很重要的工作，特别在当今信息爆炸的背景下，显得格外的重要。在抽取的众多实体中，将意义相近的词合并是一个重要课题，该课题被称作实体消歧。实体在自然语言处理领域，可以简单理解为名词，例如人名、机构名、地名以及其他所有以名称为标识的实体，更广泛的实体还包括数字、日期、货币、地址等等。一个实体可以有多个意思，例如同一个实体在不同的上下文中所表示的含义是不一样的。对于人来说，可以直观判断出这些实体代表的具体含义，但是对机器来说，就需要借助自然语言处理技术才能识别出每一个实体代表的具体含义，并能够区分不同的实体，即实体消歧技术。目前，可以应用在分布式环境中的机器学习算法非常少的，只有少量简单机器学习算法可应用于分布式计算平台上，对于大量其他算法仍然是计算在单机环境中，但是在单机环境中运行带来的问题就是计算能力有限，计算速度较慢，无法满足对大量实体词进行实体消歧的需求。可以说，现有技术中还没有能够满足对大量实体词进行实体消歧的方案。
技术实现思路
有鉴于此，本专利技术实施例提供了一种一种实体消歧的方法，应用于分布式平台，包括：将待消歧实体的词向量数据划分为多个部分，对每个部分的词向量数据进行聚类得到每个部分中每一类的类表示向量；将所有部分的所有类表示向量一同再次进行聚类，得到最终聚类结果；其中,不同部分的词向量数据由所述分布式平台中的不同节点进行聚类。本专利技术实施例还提供了一种实体消歧的装置，应用于分布式平台，包括：第一聚类单元，用于将待消歧实体的词向量数据划分为多个部分，对每个部分的词向量数据进行聚类得到每个部分中每一类的类表示向量；第二聚类单元，用于将所有部分的所有类表示向量一同再次进行聚类，得到最终聚类结果；其中,不同部分的词向量数据由所述分布式平台中的不同节点进行聚类。本专利技术实施例还提供了一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述实体消歧的方法。本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有信息处理程序，所述信息处理程序被处理器执行时实现上述实体消歧的方法的步骤。本专利技术实施例提供的技术方案，利用分布式平台通过二次聚类来完成实体消歧，能够满足对大量实体词进行实体消歧的需求。本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。附图说明附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。图1为本专利技术一实施例提供的一种实体消歧的方法的流程示意图；图2为本专利技术另一实施例提供的一种实体消歧的方法的流程示意图；图3为本专利技术一实施例中数据流向的示意图；图4为本专利技术另一实施例提供的一种实体消歧的方法的流程示意图；图5为本专利技术一实施例提供的一种实体消歧的装置的结构示意图。具体实施方式本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的专利技术方案。任何实施例的任何特征或元件也可以与来自其它专利技术方案的特征或元件组合，以形成另一个由权利要求限定的独特的专利技术方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。图1为本专利技术一实施例提供的一种实体消歧的方法的流程示意图，该方法应用于分布式平台，如图1所示，该方法包括：步骤101，将待消歧实体的词向量数据划分为多个部分，对每个部分的词向量数据进行聚类得到每个部分中每一类的类表示向量；步骤102，将所有部分的所有类表示向量一同再次进行聚类，得到最终聚类结果；其中，不同部分的词向量数据由所述分布式平台中的不同节点进行聚类。可选地，所述对每个部分的词向量数据进行聚类得到每个部分中每一类的类表示向量，包括：对于每个部分的词向量数据分别进行如下操作：采用相似度算法计算该部分中每两个实体之间的相似度；使用聚类算法根据该部分中每两个实体之间的相似度进行聚类；将该部分中聚类得到的每一类内所有词向量数据分别相加后取平均，得到该部分中每一类的类表示向量。可选地，所述将所有部分的所有类表示向量一同再次进行聚类，得到最终聚类结果，包括：采用相似度算法计算每两类之间的相似度；使用聚类算法根据每两类之间的相似度再次进行聚类；将再次聚类得到的每一类内所有词向量数据相加后取平均得到再次聚类后的每一类的类表示向量。可选地，在将待消歧实体的词向量数据进行划分之前，该方法还包括：根据预设筛选规则对原始实体词向量数据进行筛选，得到所述待消歧实体的词向量数据；可选地，在根据预设筛选规则对原始实体词向量数据进行筛选之前，该方法还包括：利用实体识别NER模型从原始数据中识别出原始实体词向量数据。可选地，所述根据预设筛选规则对原始实体词向量数据进行筛选，得到所述待消歧实体的词向量数据，包括：将所述原始实体词向量数据输入到分布式平台的Kafka队列中。使用分布式平台的Flink计算引擎从Kafka队列中读取所述原始实体词向量数据，再根据预设筛选规则对原始实体数据进行筛选，得到所述待消歧实体的词向量数据并保存到分布式平本文档来自技高网...

【技术保护点】
1.一种实体消歧的方法，应用于分布式平台，包括：/n将待消歧实体的词向量数据划分为多个部分，对每个部分的词向量数据进行聚类得到每个部分中每一类的类表示向量；/n将所有部分的所有类表示向量一同再次进行聚类，得到最终聚类结果；/n其中，不同部分的词向量数据由所述分布式平台中的不同节点进行聚类。/n

【技术特征摘要】
1.一种实体消歧的方法，应用于分布式平台，包括：
将待消歧实体的词向量数据划分为多个部分，对每个部分的词向量数据进行聚类得到每个部分中每一类的类表示向量；
将所有部分的所有类表示向量一同再次进行聚类，得到最终聚类结果；
其中，不同部分的词向量数据由所述分布式平台中的不同节点进行聚类。


2.根据权利要求1所述的方法，其特征在于，所述对每个部分的词向量数据进行聚类得到每个部分中每一类的类表示向量，包括：
对于每个部分的词向量数据分别进行如下操作：
采用相似度算法计算该部分中每两个实体之间的相似度；
使用聚类算法根据该部分中每两个实体之间的相似度进行聚类；
将该部分中聚类得到的每一类内所有词向量数据分别相加后取平均，得到该部分中每一类的类表示向量。


3.根据权利要求1所述的方法，其特征了在于，所述将所有部分的所有类表示向量一同再次进行聚类，得到最终聚类结果，包括：
采用相似度算法计算每两类之间的相似度；
使用聚类算法根据每两类之间的相似度再次进行聚类；
将再次聚类得到的每一类内所有词向量数据相加后取平均得到再次聚类后的每一类的类表示向量。


4.根据权利要求1所述的方法，其特征在于，在将待消歧实体的词向量数据进行划分之前，该方法还包括：
根据预设筛选规则对原始实体词向量数据进行筛选，得到所述待消歧实体的词向量数据。


5.根据权利要求4所述的方法，其特征在于，在根据预设筛选规则对原始实体词向量数据进行筛选之前，该方法还包括：
利用实体...

【专利技术属性】
技术研发人员：齐云飞，付骁弈，张杰，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11