一种文本相似度判别方法及装置制造方法及图纸

本发明专利技术公开了一种文本相似度判别方法及装置，方法包括：获取待测文本；解析待测文本，提取至少部分待测文本的句子；在预先建立的全量数据库中查询至少部分待测文本的句子；根据查询结果生成待测文本与第一文本的相似度。本申请的全量数据库中存储有至少一个第一文本的句子与第一文本名称的映射关系，全量数据库中的每个句子对应唯一的第一文本名称。由于保证了全量数据库中存储的句子与第一文本的一一对应关系，在全量数据库中查询句子时，可以得到唯一的匹配结果。本发明专利技术的全量数据库中已剔除了同时对应一个以上第一文本的句子，从而提高了句子的命中率和查找目标第一文本的速度。

Text similarity discrimination method and device

The invention discloses a method and a device for distinguishing, text similarity method includes: obtaining the text to be tested; analytical test text extraction, at least in part to be measured text query sentences; at least in part to be tested in the full text sentence database pre established; according to the similarity of query results generated text and text to be tested first the. A mapping of the sentence of at least one first text to the first text name is stored in the full amount database of the present application, and each sentence in the full amount database corresponds to the unique first text name. In order to ensure the one-to-one correspondence between the sentences stored in the whole database and the first text, the unique matching results can be obtained when the sentences are searched in the full amount database. In the full amount database of the invention, a sentence corresponding to more than one first text is eliminated, thereby improving the hit rate of the sentence and searching the speed of the first text of the target.

【技术实现步骤摘要】
一种文本相似度判别方法及装置
本专利技术涉及互联网
，尤其涉及一种文本相似度判别方法及装置。
技术介绍
目前，对于文本相似度判别主要采用基于hash的相似度计算方法，该方法是一种基于概率的高维度数据的维度削减的方法，主要用于大规模数据的压缩与实时或者快速的计算场景下，基于hash方法的相似度计算经常用于高维度大数据量的情况下，将利用原始信息不可存储与计算的问题转化为映射空间的可存储计算问题，在海量文本重复性判断方面，近似文本查询方面有比较多的应用，例如google的网页去重，googlenews的协同过滤等都是采用hash方法进行近似相似度的计算，比较常见的应用场景包括Near-duplicatedetection、Imagesimilarityidentification、nearestneighborsearch，常用的一些方法包括I-match，Shingling、Locality-SensitiveHashing族等方法。但是，本专利技术的专利技术人发现：现有技术中在大量文本重复性判断方面，至少存在以下问题：对分词分句后的结果误判率高、效率低，比如两部原著小说都有“说时迟那时快”一句，使用包含“说时迟那时快”的小说章节去判断章节相似度时，容易导致误判，且工作量大，判断效率低。
技术实现思路
有鉴于此，本专利技术提供了一种文本相似度判别方法，包括：获取待测文本；解析所述待测文本，提取至少部分待测文本的句子；在预先建立的全量数据库中查询所述至少部分待测文本的句子；所述全量数据库中存储有至少一个第一文本的句子与第一文本名称的映射关系；其中，全量数据库中的每个句子对应唯一的第一文本名称；根据查询结果生成待测文本与第一文本的相似度。进一步地，在所述预先建立的全量数据库中查询所述至少部分待测文本的句子之前还包括向全量数据库写入数据的步骤；所述向全量数据库写入数据包括：获取至少一个第一文本；解析所述第一文本，提取所述第一文本中的句子；在全量数据库中查询所述第一文本中的句子；若找到，则从所述全量数据库中删除该句子的相关记录；若未找到，将所述句子与所述句子对应的第一文本的名称的映射关系存入所述全量数据库。进一步地，所述解析所述第一文本，提取所述第一文本中的句子之后，还包括：判断所述第一文本的句子的长度是否小于预设的长度；若是，则删除所述句子。进一步地，所述解析所述待测文本，提取至少部分待测文本的句子之后，还包括：判断所述至少部分待测文本的句子的长度是否小于预设的长度；若是，则删除所述句子。进一步地，所述根据查询结果生成待测文本与第一文本的相似度，包括：获取查找到的句子及所述查找到的句子对应的第一文本的名称；根据查找到的句子中与每个第一文本的名称对应的句子的数目生成每个第一文本的第一匹配计数；生成第一句子总数，所述第一总数为所述至少部分待测文本的句子总数；根据每个第一文本的第一匹配计数与所述第一句子总数生成待测文本与每个第一文本的相似度。进一步地，所述解析所述待测文本，提取至少部分待测文本的句子，包括：解析所述待测文本，获取所述待测文本的句子；从所述待测文本的句子中提取预定比例的句子；所述根据每个第一文本的第一匹配计数与所述第一句子总数生成待测文本与每个第一文本的相似度之后，还包括：判断所述相似度是否大于预设的阈值；若否，则从所述待测文本的句子中剩余的句子中提取至少部分句子，返回在预先建立的全量数据库中查询所述至少部分句子的步骤。进一步地，所述向全量数据库写入数据的步骤之后，还包括：向每个第一文本的单本数据库写入数据的步骤；所述向每个第一文本的单本数据库写入数据包括：将全量数据库的句子对应存储到所述句子对应的第一文本的单本数据库。进一步地，所述解析所述待测文本，提取至少部分待测文本的句子包括：解析所述待测文本，提取第一预定部分待测文本的句子和第二预定部分待测文本的句子；所述在预先建立的全量数据库中查询所述至少部分待测文本的句子包括：在所述全量数据库中查询所述第一预定部分待测文本的句子，获取查找到的句子对应的第一文本的名称；所述在预先建立的全量数据库中查询所述至少部分待测文本的句子之后，还包括：根据获取的第一文本的名称分别在对应的单本数据库中查询所述第二预定部分待测文本的句子；所述根据查询结果生成待测文本与第一文本的相似度，包括：根据第二预定部分待测文本的句子总数生成第二句子总数；获取每个第一文本的单本数据库中查找到的句子的数目，根据所述数目生成每个第一文本的第二匹配计数；根据每个第一文本的第二匹配计数与第二句子总数生成待测文本与每个第一文本的相似度。另一方面，本专利技术提供了一种文本相似度判别装置，包括：待测文本获取模块，用于获取待测文本；待测文本句子提取模块，用于解析所述待测文本，提取至少部分待测文本的句子；查询模块，用于在预先建立的全量数据库中查询所述至少部分待测文本的句子；所述全量数据库中存储有至少一个第一文本的句子与第一文本名称的映射关系；其中，全量数据库中的每个句子对应唯一的第一文本名称；相似度判别模块，用于根据查询结果生成待测文本与第一文本的相似度。进一步地，还包括全量数据库数据加载模块，所述全量数据库数据加载模块包括：第一文本获取单元，用于获取至少一个第一文本；第一文本句子提取单元，用于解析所述第一文本，提取所述第一文本中的句子；第一查询单元，用于在全量数据库中查询所述第一文本中的句子；删除单元，用于在全量数据库中查找到所述第一文本中的句子时，从所述全量数据库中删除该句子的相关记录；存储单元，用于在全量数据库中未查找到所述第一文本中的句子时，将所述句子与所述句子对应的第一文本的名称的映射关系存入所述全量数据库。进一步地，所述装置还包括：长度判断单元，用于判断所述第一文本的句子的长度是否小于预设的长度；句子删除单元，用于在第一文本的句子的长度小于预设的长度时，删除所述句子。进一步地，所述装置还包括：待测句子长度判断模块，用于判断所述至少部分待测文本的句子的长度是否小于预设的长度；待测句子删除模块，用于在至少部分待测文本的句子的长度小于预设的长度时，则删除所述句子。进一步地，所述相似度判别模块包括：第一获取单元，用于获取查找到的句子及所述查找到的句子对应的第一文本的名称；第一匹配计数生成单元，用于根据查找到的句子中与每个第一文本的名称对应的句子的数目生成每个第一文本的第一匹配计数；第一句子总数生成单元，用于生成第一句子总数，所述第一总数为所述至少部分待测文本的句子总数；第一相似度生成单元，用于根据每个第一文本的第一匹配计数与所述第一句子总数生成待测文本与每个第一文本的相似度。进一步地，所述待测文本句子提取模块包括：第二获取单元，用于解析所述待测文本，获取所述待测文本的句子；第一提取单元，用于从所述待测文本的句子中提取预定比例的句子；所述装置还包括：相似度判断模块，用于判断所述相似度是否大于预设的阈值；所述待测文本句子提取模块还包括：第二提取单元，用于从所述待测文本的句子中剩余的句子中提取至少部分句子。进一步地，所述装置还包括单本数据库数据加载模块，用于将全量数据库的句子对应存储到所述句子对应的第一文本的单本数据库。进一步地，所述待测文本句子提取模块包括：第三提取单元，用于解析所述待测文本，提取第一预定部分待本文档来自技高网...

【技术保护点】
一种文本相似度判别方法，其特征在于，包括：获取待测文本；解析所述待测文本，提取至少部分待测文本的句子；在预先建立的全量数据库中查询所述至少部分待测文本的句子；所述全量数据库中存储有至少一个第一文本的句子与第一文本名称的映射关系；其中，全量数据库中的每个句子对应唯一的第一文本名称；根据查询结果生成待测文本与第一文本的相似度。

【技术特征摘要】
1.一种文本相似度判别方法，其特征在于，包括：获取待测文本；解析所述待测文本，提取至少部分待测文本的句子；在预先建立的全量数据库中查询所述至少部分待测文本的句子；所述全量数据库中存储有至少一个第一文本的句子与第一文本名称的映射关系；其中，全量数据库中的每个句子对应唯一的第一文本名称；根据查询结果生成待测文本与第一文本的相似度。2.根据权利要求1所述的文本相似度判别方法，其特征在于，在所述预先建立的全量数据库中查询所述至少部分待测文本的句子之前还包括向全量数据库写入数据的步骤；所述向全量数据库写入数据包括：获取至少一个第一文本；解析所述第一文本，提取所述第一文本中的句子；在全量数据库中查询所述第一文本中的句子；若找到，则从所述全量数据库中删除该句子的相关记录；若未找到，将所述句子与所述句子对应的第一文本的名称的映射关系存入所述全量数据库。3.根据权利要求2所述的文本相似度判别方法，其特征在于，所述解析所述第一文本，提取所述第一文本中的句子之后，还包括：判断所述第一文本的句子的长度是否小于预设的长度；若是，则删除所述句子。4.根据权利要求1所述的文本相似度判别方法，其特征在于，所述解析所述待测文本，提取至少部分待测文本的句子之后，还包括：判断所述至少部分待测文本的句子的长度是否小于预设的长度；若是，则删除所述句子。5.根据权利要求1所述的文本相似度判别方法，其特征在于，所述根据查询结果生成待测文本与第一文本的相似度，包括：获取查找到的句子及所述查找到的句子对应的第一文本的名称；根据查找到的句子中与每个第一文本的名称对应的句子的数目生成每个第一文本的第一匹配计数；生成第一句子总数，所述第一句子总数为所述至少部分待测文本的句子总数；根据每个第一文本的第一匹配计数与所述第一句子总数生成待测文本与每个第一文本的相似度。6.根据权利要求5所述的文本相似度判别方法，其特征在于，所述解析所述待测文本，提取至少部分待测文本的句子，包括：解析所述待测文本，获取所述待测文本的句子；从所述待测文本的句子中提取预定比例的句子；所述根据每个第一文本的第一匹配计数与所述第一句子总数生成待测文本与每个第一文本的相似度之后，还包括：判断所述相似度是否大于预设的阈值；若否，则从所述待测文本的句子中剩余的句子中提取至少部分句子，返回在预先建立的全量数据库中查询所述至少部分句子的步骤。7.根据权利要求2所述的文本相似度判别方法，其特征在于，所述向全量数据库写入数据的步骤之后，还包括：向每个第一文本的单本数据库写入数据的步骤；所述向每个第一文本的单本数据库写入数据包括：将全量数据库的句子对应存储到所述句子对应的第一文本的单本数据库。8.根据权利要求7所述的文本相似度判别方法，其特征在于，所述解析所述待测文本，提取至少部分待测文本的句子包括：解析所述待测文本，提取第一预定部分待测文本的句子和第二预定部分待测文本的句子；所述在预先建立的全量数据库中查询所述至少部分待测文本的句子包括：在所述全量数据库中查询所述第一预定部分待测文本的句子，获取查找到的句子对应的第一文本的名称；所述在预先建立的全量数据库中查询所述至少部分待测文本的句子之后，还包括：根据获取的第一文本的名称分别在对应的单本数据库中...

【专利技术属性】
技术研发人员：戴礼松，许泽伟，蔡晓鹏，张渝，姜江，曾刘彬，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44