实体结构化及消歧的方法、设备及存储介质技术

本发明专利技术提供实体结构化及消歧的方法、设备及存储介质，方法包括：收集文本数据；将其输入第一训练模型，以输出所有第一实体的标签分类；当标签分类为指代明确时，将其输入知识库，以输出最相近的结果；当指代不明确时，将其输入第二训练模型，以输出相关的关系分类，以及每个关系对应的另一第一实体；当存在等价关系时，将另一第一实体输入知识库，以输出最相近的结果；当仅存在相近关系时，将该实体以及与另一实体输入知识库，以输出最相近的结果，作为指代不明确的第一实体的消歧结果。该方法利用实体的关联关系，以及结合知识库可对文本数据中的第一实体进行进一步补充以及结构化，能够有效消除不清晰实体的歧义。够有效消除不清晰实体的歧义。够有效消除不清晰实体的歧义。

【技术实现步骤摘要】
实体结构化及消歧的方法、设备及存储介质


[0001]本专利技术涉及文本消歧领域，更具体地，涉及实体结构化及消歧的方法、设备及存储介质。

技术介绍

[0002]文本数据的理解中，常出现的问题为文本中各个实体容易存在歧义，例如当文本数据中出现代词时，容易混淆代词所指的是哪一个实体，又例如是文本数据中出现多种指称时，容易混淆不同的指称是否指的是同一个实体，例如“家”的这一个指称，是与上文中的“某某小区x栋xx房”的这一指称指的是同一个实体。当有前述情况出现时，文本数据的理解容易造成多处的歧义，不利于文本数据的理解分析以及应用，当文本数据中出现指代不清晰的实体时，现有技术中也没有对其进行补全或结构化，没有考虑到实体之间存在关联关系，整体来说在文本数据消除歧义的这一方面，现有技术并不完善。

技术实现思路

[0003]本专利技术旨在克服上述现有技术的至少一种缺陷，提供实体结构化及消歧的方法、设备及存储介质，用于解决现有技术中对文本数据消除歧义的过程中没有考虑到实体之间存在关联关系导致不完善的问题。
[0004]本专利技术采用的技术方案包括：
[0005]第一方面，本专利技术提供一种实体结构化及消歧的方法，包括：收集文本数据；所述文本数据中包括若干个第一实体；将所述文本数据输入已训练的第一训练模型，以使所述第一训练模型输出文本数据中所有第一实体的标签分类；标签分类包括指代明确和指代不明确；当所述第一实体的标签分类为指代明确时，将指代明确的第一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与指代明确的第一实体最相近的结果，作为所述指代明确的第一实体的消歧结果；当所述第一实体的标签分类为指代不明确时，将指代不明确的第一实体输入已训练的第二训练模型，以使所述第二训练模型输出与其相关的关系分类，以及每个相关的关系分类对应的另一第一实体；关系分类包括等价关系和相似关系；当指代不明确的第一实体存在等价关系的关系分类时，将与其存在等价关系的另一第一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与所述另一第一实体最相近的结果，作为所述指代不明确的第一实体的消歧结果；当指代不明确的第一实体仅存在相近关系的关系分类时，将所述指代不明确的第一实体以及与其存在相近关系的另一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与所述指代不明确的第一实体以及所述另一第一实体都最相近的结果，作为所述指代不明确的第一实体的消歧结果。
[0006]本专利技术提供的实体结构化及消歧的方法主要用于处理第一实体在文本数据中可能存在的歧义情况，第一实体是指同一类型的实体，已训练的第一训练模型能够用于输出第一实体的标签分类，包括指代明确与指代不明确，无论是指代明确或指代不明确的第一
实体均为本专利技术提供的方法的处理对象。已训练的第二训练模型能够用于输出第一实体的关系分类，本专利技术提供的方法利用该第一实体的关联关系，可用另一个第一实体弥补指代不明确的问题，使指代不明确的实体的信息更加清晰和丰富，可以将与之存在关联关系的另一第一实体，或仅将另一第一实体或指代明确的第一实体输入至实体结构化知识库，从而得到最相近的结果，以作为指代不明确/指代明确的第一实体的消歧结果，对第一实体进行结构化。本专利技术提供的方法利用实体的关联关系，以及结合知识库可对文本数据中的第一实体进行进一步补充以及结构化，能够有效消除不清晰实体的歧义。
[0007]进一步，将指代明确的第一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与指代明确的第一实体最相近的结果，具体包括：将指代明确的第一实体输入已构建的实体结构化知识库后，将指代明确的第一实体与实体结构化知识库中的实体数据进行表征向量相似度计算，将相似度最高的实体数据作为与指代明确的第一实体最相近的结果输出；将与其存在等价关系的另一第一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与所述另一第一实体最相近的结果，具体包括：将与其存在等价关系的另一第一实体输入已构建的实体结构化知识库后，将与其存在等价关系的另一第一实体与实体结构化知识库中的实体数据进行表征向量相似度计算，将相似度最高的实体数据作为与所述另一第一实体最相近的结果输出。
[0008]在实体结构化知识库中，输入的另一实体或第一实体需要与知识库中的实体数据进行表征向量相似度计算，以得到相似度最高的实体数据，作为第一实体的消歧结果，而对于指代明确的第一实体来说，输出的结果为第一实体的结构化结果，得到更加详细和清晰的信息。
[0009]进一步，将所述指代不明确的第一实体以及与其存在相近关系的另一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与所述指代不明确的第一实体以及所述另一第一实体都最相近的结果，具体包括：将所述指代不明确的第一实体以及与其存在相近关系的另一实体拼接后输入已构建的实体结构化知识库，将所拼接的实体数据与实体结构化知识库中的实体数据进行表征向量相似度计算，将相似度最高的实体数据作为与所述指代不明确的第一实体以及所述另一第一实体都最相近的结果输出。
[0010]当第一实体为指代不明确的实体，且相关的关系只有相近关系时，需要将指代不明确的第一实体以及与其存在相近关系的另一实体拼接后作为一个整体，输入已构建的实体结构化知识库，使指代不明确且关系无等价关系的第一实体的指代更清晰。
[0011]进一步，所述已训练的第一训练模型是通过将标签标注后的历史文本数据输入第一训练模型进行训练得到的；所述标签标注为将历史文本数据中的所有第一实体分为指代明确的实体或指代不明确的实体。
[0012]进一步，所述第一训练模型的训练过程具体包括：将标签标注后的历史文本数据输入第一训练模型，以使所述第一训练模型获取所述历史文本数据的分词表征、分句表征以及位置表征，并将所获取的分词表征、分句表征以及位置表征输入第一训练模型的CRF层，以使CRF层输出每个第一实体的标签，将所输出的每个第一实体的标签与同一第一实体的标签标注的分类进行比对，根据比对结果以及第一训练模型的损失函数进行反向传播，迭代更新所述第一训练模型的参数，直至所述损失函数的函数值为最小值，得到训练后的第一训练模型。
[0013]进一步，所述已训练的第二训练模型是通过将关系标注后的历史文本数据输入第二训练模型进行训练得到的；所述关系标注为对所述历史文本数据中的至少两个第一实体之间的关系分为等价关系或相似关系。
[0014]进一步，所述第二训练模型的训练过程具体包括：将关系标注后的历史文本数据输入第二训练模型，以使所述第二训练模型获取所述历史文本数据的分词表征，根据所述第一实体的位置将历史文本数据分为头实体索引表征和尾实体索引表征，根据所述第一实体之间的区域确定历史文本数据的掩码索引，将所述分词表征、头实体索引表征、尾实体索引表征以及掩码索引输入第二训练模型的softmax层，以使softmax层输出至少两个第一实体之间的关系，将所输出的每两个第一实体的关系与同样的两个第一实体的关系标注的分类进行比对，根据比对结果以及第二训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体结构化及消歧的方法，其特征在于，包括：收集文本数据；所述文本数据中包括若干个第一实体；将所述文本数据输入已训练的第一训练模型，以使所述第一训练模型输出文本数据中所有第一实体的标签分类；标签分类包括指代明确和指代不明确；当所述第一实体的标签分类为指代明确时，将指代明确的第一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与指代明确的第一实体最相近的结果，作为所述指代明确的第一实体的消歧结果；当所述第一实体的标签分类为指代不明确时，将指代不明确的第一实体输入已训练的第二训练模型，以使所述第二训练模型输出与其相关的关系分类，以及每个相关的关系分类对应的另一第一实体；关系分类包括等价关系和相似关系；当指代不明确的第一实体存在等价关系的关系分类时，将与其存在等价关系的另一第一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与所述另一第一实体最相近的结果，作为所述指代不明确的第一实体的消歧结果；当指代不明确的第一实体仅存在相近关系的关系分类时，将所述指代不明确的第一实体以及与其存在相近关系的另一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与所述指代不明确的第一实体以及所述另一第一实体都最相近的结果，作为所述指代不明确的第一实体的消歧结果。2.根据权利要求1所述的实体结构化及消歧的方法，其特征在于，将指代明确的第一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与指代明确的第一实体最相近的结果，具体包括：将指代明确的第一实体输入已构建的实体结构化知识库后，将指代明确的第一实体与实体结构化知识库中的实体数据进行表征向量相似度计算，将相似度最高的实体数据作为与指代明确的第一实体最相近的结果输出；将与其存在等价关系的另一第一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与所述另一第一实体最相近的结果，具体包括：将与其存在等价关系的另一第一实体输入已构建的实体结构化知识库后，将与其存在等价关系的另一第一实体与实体结构化知识库中的实体数据进行表征向量相似度计算，将相似度最高的实体数据作为与所述另一第一实体最相近的结果输出。3.根据权利要求1所述的实体结构化及消歧的方法，其特征在于，将所述指代不明确的第一实体以及与其存在相近关系的另一实体输入已构建的实体结构化知识库，以使所述实体结构化知识库输出与所述指代不明确的第一实体以及所述另一第一实体都最相近的结果，具体包括：将所述指代不明确的第一实体以及与其存在相近关系的另一实体拼接后输入已构建的实体结构化知识库，将所拼接的实体数据与实体结构化知识库中的实体数据进行表征向量相似度计算，将相似度最高的实体数据作为与所述指代不明确的第一实体以及所述另...

【专利技术属性】
技术研发人员：李健民，曾婷，欧阳滨滨，林梓陆，高唯唯，陈益祥，柳子用，邱述洪，
申请(专利权)人：联通广东产业互联网有限公司，
类型：发明
国别省市：