检索和相似度分析一体化的方法、装置和存储介质制造方法及图纸

本发明专利技术公开了检索和相似度分析一体化的方法、装置和存储介质，方法包括以下步骤：获取输入文本，并根据输入文本确定检索词；根据检索词，确定若干个匹配文档；根据匹配文档和输入文本，确定输入文本与每一匹配文档的相似度；根据匹配文档返回每一匹配文档的摘要文本。通过本发明专利技术根据输入文本确定检索词，利用检索词确定匹配文档，并返回匹配文档的摘要文本，即使输入文本包含大量的内容，也能够正常进行检索找到匹配文档，并返回摘要文本，不会出现崩溃的情况；同时能够根据匹配文档和输入文本，确定输入文本与匹配文档的相似度，在检索正常的情况下又支持相似度分析，便捷且用户体验好。本发明专利技术可广泛应用于数据处理领域。

Method, device and storage medium of integration of retrieval and similarity analysis

【技术实现步骤摘要】
检索和相似度分析一体化的方法、装置和存储介质
本专利技术涉及数据处理领域，尤其是一种检索和相似度分析一体化的方法、装置和存储介质。
技术介绍
在自然语言处理中，经常会涉及到文本检索和对检索到的文本进行相似度分析的需求。现有的检索系统，通常只能输入少量几个词来检索特定内容，使检索系统能够返回摘要文本，而不支持大量文本的输入，例如“百度”仅支持38个汉字以内，当输入的内容较多时，检索系统会出现崩溃，而通常我们在需要对手上的文本与检索到的特定文本进行相似度分析时(例如查重等)，必然需要输入大量的内容与检索到的特定文本进行对比，也就是说，现有的检索系统不能同时支持检索和相似度分析，不便捷，用户体验差。
技术实现思路
有鉴于此，为了解决上述技术问题，本专利技术的目的是提供便捷且同时满足检索和相似度分析的检索和相似度分析一体化的方法、装置和存储介质。本专利技术采用的技术方案是：检索和相似度分析一体化的方法，包括以下步骤：获取输入文本，并根据输入文本确定检索词；根据检索词，确定若干个匹配文档；根据匹配文档和输入文本，确定输入文本与每一匹配文档的相似度；根据匹配文档返回每一匹配文档的摘要文本。进一步，所述根据输入文本确定检索词的步骤中，包括以下步骤：对第一文本进行分词处理，获得第一名词和第二名词；分别为第一名词和第二名词配置第一分值和第二分值；根据第一分值、第二分值和第一预设阈值，确定预设第一阈值数量的检索词；其中，第一名词包括地点名词、人名、纯数字中的至少一种，第一分值大于第二分值，第二名词包括检索词和第一名词。进一步，所述根据第一分值、第二分值和第一预设阈值，确定预设第一阈值数量的检索词的步骤中，包括以下步骤：若第一名词和第二名词的数量小于第一预设阈值，通过TextRank算法获取输入文本的关键词；根据第一分值、第二分值和关键词，确定预设第一阈值数量的检索词。进一步，所述根据检索词，确定若干个匹配文档的步骤中，包括以下步骤：根据检索词进行检索，获取每一检索词对应的初步匹配文档和初步匹配文档的初步匹配分值；将相同的初步匹配文档的初步匹配分值进行累加，得到初步匹配文档的匹配分值；根据匹配分值和第二预设阈值，确定若干个匹配文档。进一步，所述根据匹配分值和第二预设阈值，确定若干个匹配文档的步骤中，具体地：将匹配分值由高至低排名的排名不大于第二预设阈值的初步匹配文档作为匹配文档。进一步，所述根据匹配文档和输入文本，确定输入文本与每一匹配文档的相似度的步骤中，包括以下步骤：根据输入文本获取输入文本的第一主题关键词集合，根据匹配文档分别获取每一匹配文档对应的第二主题关键词集合；根据输入文本和匹配文档，分别获取输入文本相对每一匹配文档相似的第一句子的第一数量，以及分别获取每一匹配文档相对输入文本相似的第二句子的第二数量；分别获取输入文本与每一匹配文档的相似度分析结果，相似度分析结果包括主题关联度、内容相似度、输入文本相对匹配文档的相似度、匹配文档相对输入文本的相似度的至少一种；根据主题关联度、内容相似度、输入文本相对匹配文档的相似度、匹配文档相对输入文本的相似度的累加结果，得到输入文本与每一匹配文档的相似度；具体地，相似度分析结果的获取步骤如下：根据第一主题关键词集合和第二主题关键词集合，得到主题关联度；根据第一主题关键词集合和第一数量，得到输入文本相对匹配文档的相似度；根据第二主题关键词集合和第二数量，得到匹配文档相对输入文本的相似度；根据第一主题关键词集合、第二主题关键词集合、第一数量和第二数量，得到内容相似度；其中，第一主题关键词集合包括至少一个第一主题关键词、第二主题关键词集合包括至少一个第二主题关键词，输入文本包括第一句子，匹配文档包括第二句子。进一步，所述根据匹配文档返回每一匹配文档的摘要文本的步骤中，包括以下步骤：根据输入文本和匹配文档，获取每一匹配文档相对输入文本相似的第二句子，通过正则匹配分别获取匹配文档中第二句子及第二句子之前和/或之后的内容，并作为每一匹配文档的摘要文本返回；或者根据输入文本和匹配文档，获取输入文本相对每一匹配文档相同的关键词，通过正则匹配分别获取匹配文档中关键词及关键词之前和/或之后的内容，并作为每一匹配文档的摘要文本返回；其中，匹配文档包括第二句子，输入文本和匹配文档包括至少一个相同的关键词。本专利技术还提供检索和相似度分析一体化的装置，包括：确定模块，用于获取输入文本，并根据输入文本确定检索词；匹配模块，用于根据检索词，确定若干个匹配文档；相似度模块，用于根据匹配文档和输入文本，确定输入文本与匹配文档的相似度；返回模块，用于根据匹配文档返回匹配文档的摘要文本。本专利技术还提供检索和相似度分析一体化的装置，包括：至少一处理器；至少一存储器，用于存储至少一程序；当所述至少一程序被所述至少一处理器执行，使得所述至少一处理器实现如相似度分析一体化的方法。本专利技术还提供存储介质，存储有处理器可执行的指令，处理器执行所述处理器可执行的指令时执行所述检索和相似度分析一体化的方法。本专利技术的有益效果是：根据输入文本确定检索词；根据检索词确定若干个匹配文档；根据匹配文档和输入文本，确定输入文本与匹配文档的相似度；根据匹配文档返回匹配文档的摘要文本；本专利技术通过根据输入文本确定检索词，利用检索词确定匹配文档，并根据匹配文档返回匹配文档的摘要文本，即使输入文本包含大量的内容，也能够正常进行检索找到匹配文档，并返回匹配文档的摘要文本，不会出现崩溃的情况；同时能够根据匹配文档和输入文本，确定输入文本与匹配文档的相似度，在检索正常的情况下又支持相似度分析，便捷且用户体验好。附图说明图1为本专利技术检索和相似度分析一体化的方法的步骤流程示意图。具体实施方式下面结合说明书附图和具体实施例对本专利技术作进一步解释和说明。对于本专利技术实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。如图1所示，本实施例提供一种检索和相似度分析一体化的方法，包括以下步骤：获取输入文本，并根据输入文本确定检索词；根据检索词，确定若干个匹配文档；根据匹配文档和输入文本，确定输入文本与匹配文档的相似度；根据匹配文档返回匹配文档的摘要文本。在本实施例中，输入文本可选地包括若干个检索词，摘要文本指的是包含与输入文本的内容相似的文本，可以为与输入文本的检索词相似的文本，或者与输入文本的句子相似的文本，例如，在检索系统进行检索的时候通常会出现多个可供点击的词条，词条下面的内容即相当于摘要文本，而摘要文本通常只有在检索系统正常运行时能够被返回。在本实施例中，具体地本文档来自技高网...

【技术保护点】
1.检索和相似度分析一体化的方法，其特征在于，包括以下步骤：/n获取输入文本，并根据输入文本确定检索词；/n根据检索词，确定若干个匹配文档；/n根据匹配文档和输入文本，确定输入文本与每一匹配文档的相似度；/n根据匹配文档返回每一匹配文档的摘要文本。/n

【技术特征摘要】
1.检索和相似度分析一体化的方法，其特征在于，包括以下步骤：
获取输入文本，并根据输入文本确定检索词；
根据检索词，确定若干个匹配文档；
根据匹配文档和输入文本，确定输入文本与每一匹配文档的相似度；
根据匹配文档返回每一匹配文档的摘要文本。


2.根据权利要求1所述检索和相似度分析一体化的方法，其特征在于：所述根据输入文本确定检索词的步骤中，包括以下步骤：
对第一文本进行分词处理，获得第一名词和第二名词；
分别为第一名词和第二名词配置第一分值和第二分值；
根据第一分值、第二分值和第一预设阈值，确定预设第一阈值数量的检索词；
其中，第一名词包括地点名词、人名、纯数字中的至少一种，第一分值大于第二分值，第二名词包括检索词和第一名词。


3.根据权利要求2所述检索和相似度分析一体化的方法，其特征在于：所述根据第一分值、第二分值和第一预设阈值，确定预设第一阈值数量的检索词的步骤中，包括以下步骤：
若第一名词和第二名词的数量小于第一预设阈值，通过TextRank算法获取输入文本的关键词；
根据第一分值、第二分值和关键词，确定预设第一阈值数量的检索词。


4.根据权利要求1所述检索和相似度分析一体化的方法，其特征在于：所述根据检索词，确定若干个匹配文档的步骤中，包括以下步骤：
根据检索词进行检索，获取每一检索词对应的初步匹配文档和初步匹配文档的初步匹配分值；
将相同的初步匹配文档的初步匹配分值进行累加，得到初步匹配文档的匹配分值；
根据匹配分值和第二预设阈值，确定若干个匹配文档。


5.根据权利要求4所述检索和相似度分析一体化的方法，其特征在于：所述根据匹配分值和第二预设阈值，确定若干个匹配文档的步骤中，具体地：
将匹配分值由高至低排名的排名不大于第二预设阈值的初步匹配文档作为匹配文档。


6.根据权利要求1所述检索和相似度分析一体化的方法，其特征在于：所述根据匹配文档和输入文本，确定输入文本与每一匹配文档的相似度的步骤中，包括以下步骤：
根据输入文本获取输入文本的第一主题关键词集合，根据匹配文档分别获取每一匹配文档对应的第二主题关键词集合；
根据输入文本和匹配文档，分别获取输入文本相对每一匹配文档相似的第一句子的第一数量，以及分别获取每一匹配文档相对输入文本相似的第二句子的第二数量；
分别获取输入文本与每一匹配文...

【专利技术属性】
技术研发人员：卢达沛，罗乐滔，蓝飘，汤强，梁瑜灏，
申请(专利权)人：广州广电运通信息科技有限公司，广州广电运通金融电子股份有限公司，
类型：发明
国别省市：广东;44