文本信息的查重方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种文本信息的查重方法、装置及电子设备，涉及信息处理的技术领域，包括获取待查询文本；对待查询文本进行段落拆分处理，得到待查询文本的多个拆分段落；对每个拆分段落进行哈希函数处理，得到拆分段落的特征指纹；将拆分段落的特征指纹进行分段处理，得到多个特征指纹片段，并将每个特征指纹片段与其对应的特征指纹片段库中的预设特征指纹片段进行匹配，根据匹配结果确定查重结果。该方法通过将每个特征指纹片段与其对应的特征指纹片段库进行匹配，能够快速的得到查重结果，并且是对每个拆分段落进行的查重，查重结果的相似度性能好，缓解了现有的文本信息查重方法存在检索速度慢、检索结果的相似度性能差的技术问题。

【技术实现步骤摘要】
文本信息的查重方法、装置及电子设备
本专利技术涉及信息处理的
，尤其是涉及一种文本信息的查重方法、装置及电子设备。
技术介绍
大数据时代的数据量远远大于了人可以处理的范围，其中绝大多数是重复的，转载的或者说是抄袭的。出于查明文本抄袭来源或者减少相同内容重复存储的目的，需要查重或者查相似的系统。现有技术中的文本信息查重方法，对文本内容做分词，去掉停止词并进行特征词提取，将特征词向量存储在数据库中，请求的文章会被做一样的处理，并求特征词向量的距离，如：海明距离，余弦距离，距离越近的相似性越高。这种方法可以找到高相似的文章，但问题是特征向量的维数不好把控，维数高的情况下，建立索引以及检索的速度就会很慢，如果维数比较低的情况下，提取的特征词可能就不够用来做相似检索，相似度性能会大打折扣。综上所述，现有的文本信息查重方法存在检索速度慢、检索结果的相似度性能差的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种文本信息的查重方法、装置及电子设备，以缓解现有的文本信息查重方法存在检索速度慢、检索结果的相似度性能差的技术问题。第一方面，本专利技术实施例提供了一种文本信息的查重方法，包括：获取待查询文本；对所述待查询文本进行段落拆分处理，得到所述待查询文本的多个拆分段落；对每个所述拆分段落进行哈希函数处理，得到所述拆分段落的特征指纹，其中，所述特征指纹为包含所述待查询文本的特征的数组；将所述拆分段落的特征指纹进行分段处理，得到多个特征指纹片段，并将每个所述特征指纹片段与其对应的特征指纹片段库中的预设特征指纹片段进行匹配，根据匹配结果确定查重结果，其中，所述查重结果至少包括：是否存在重复内容，所述重复内容的出处。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，对所述待查询文本进行段落拆分处理包括：根据所述待查询文本中的分隔符号对所述待查询文本进行分句处理，得到多个语句，其中，所述分隔符号至少包括：句号，换行符，问号；将所述多个语句进行组合，得到所述待查询文本的多个拆分段落，其中，所述拆分段落至少包含一个语句。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，将所述多个语句进行组合包括：获取动态采样窗口的大小和动态采样窗口的滑动步长，其中，所述动态采样窗口的大小决定所述拆分段落所包含的字数，或，所述动态采样窗口的大小决定所述拆分段落所包含的语句个数；根据所述动态采样窗口的大小和所述动态采样窗口的滑动步长对所述多个语句进行遍历采样，得到所述待查询文本的多个拆分段落。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，对每个所述拆分段落进行哈希函数处理包括：在每个所述拆分段落中遍历提取连续的n个单字，并将每个所述连续的n个单字作为第一目标词，进而得到由多个第一目标词组成的第一目标词集；对所述第一目标词集中的每个所述第一目标词进行第一哈希函数处理，得到多个第一初始哈希值；基于算式h(x)＝(ax+b)modc对多个所述第一初始哈希值进行第二哈希函数处理，得到多个第一目标哈希值，其中，h(x)表示所述第一目标哈希值，x表示所述第一初始哈希值，a，b，c表示预设随机正整数，且所述预设随机正整数为f组；在每组所述预设随机正整数确定的所述多个第一目标哈希值中确定一个特征值，进而得到f个特征值，其中，所述特征值为所述多个第一目标哈希值中的最小值；对所述f个特征值进行第一压缩处理，得到第一特征指纹，并将所述第一特征指纹作为所述拆分段落的特征指纹。结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，对每个所述拆分段落进行哈希函数处理包括：在每个所述拆分段落中遍历提取连续的m个单字，并将每个所述连续的m个单字作为第二目标词，进而得到由多个第二目标词组成的第二目标词集；对所述第二目标词集中的每个所述第二目标词进行第三哈希函数处理，得到多个第二初始哈希值，其中，所述第三哈希函数的输出位数为w位；将每个所述第二初始哈希值转换为w位的二进制数；获取每个所述第二目标词的TFIDF权重；将每个所述w位的二进制数的每一位的表示位与对应的第二目标词的TFIDF权重进行相乘，得到多个w位的计算数值，其中，若所述w位的二进制数中的任意一位为0，则其表示位为-1，若所述w位的二进制数中的任意一位为1，则其表示位为+1；将所述多个w位的计算数值中的对应位进行相加计算，得到目标计算数值；对所述目标计算数值进行第二压缩处理，得到第二特征指纹，并将所述第二特征指纹作为所述拆分段落的特征指纹。结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，将所述拆分段落的特征指纹进行分段处理包括：获取预设的特征指纹分段数量；按照所述数量对所述拆分段落的特征指纹进行分段处理，得到多个特征指纹片段。第二方面，本专利技术实施例还提供一种文本信息的查重装置，包括：获取模块，用于获取待查询文本；拆分模块，用于对所述待查询文本进行段落拆分处理，得到所述待查询文本的多个拆分段落；函数处理模块，用于对每个所述拆分段落进行哈希函数处理，得到所述拆分段落的特征指纹，其中，所述特征指纹为包含所述待查询文本的特征的数组；分段匹配模块，用于将所述拆分段落的特征指纹进行分段处理，得到多个特征指纹片段，并将每个所述特征指纹片段与其对应的特征指纹片段库中的预设特征指纹片段进行匹配，根据匹配结果确定查重结果，其中，所述查重结果至少包括：是否存在重复内容，所述重复内容的出处。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，所述拆分模块包括：分句单元，用于根据所述待查询文本中的分隔符号对所述待查询文本进行分句处理，得到多个语句，其中，所述分隔符号至少包括：句号，换行符，问号；组合单元，用于将所述多个语句进行组合，得到所述待查询文本的多个拆分段落，其中，所述拆分段落至少包含一个语句。第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中所述的方法的步骤。第四方面，本专利技术实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面中所述的方法。在本专利技术实施例中，首先获取待查询文本，然后对待查询文本进行段落拆分处理，得到待查询文本的多个拆分段落，再对每个拆分段落进行哈希函数处理，得到拆分段落的特征指纹，其中，特征指纹为包含待查询文本的特征的数组，最后，将拆分段落的特征指纹进行分段处理，得到多个特征指纹片段，并将每个特征指纹片段与其对应的特征指纹片段库中的预设特征指纹片段进行匹配，根据匹配结果确定查重结果，其中，查重结果包括：是否存在重复内容，重复内容的出处。通过上述描述可知，该方法通过将每个特征指纹片段与其对应的特征指纹片段库进行匹配，能够快速的得到查重结果，并且是对每个拆分段落进行的查重，查重结果的相似度性能好，有效缓解了现有的文本信息查重方法存在检索速度慢、检索结果的相似度性能差的技术问题。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以本文档来自技高网...

【技术保护点】
1.一种文本信息的查重方法，其特征在于，包括：获取待查询文本；对所述待查询文本进行段落拆分处理，得到所述待查询文本的多个拆分段落；对每个所述拆分段落进行哈希函数处理，得到所述拆分段落的特征指纹，其中，所述特征指纹为包含所述待查询文本的特征的数组；将所述拆分段落的特征指纹进行分段处理，得到多个特征指纹片段，并将每个所述特征指纹片段与其对应的特征指纹片段库中的预设特征指纹片段进行匹配，根据匹配结果确定查重结果，其中，所述查重结果至少包括：是否存在重复内容，所述重复内容的出处。

【技术特征摘要】
1.一种文本信息的查重方法，其特征在于，包括：获取待查询文本；对所述待查询文本进行段落拆分处理，得到所述待查询文本的多个拆分段落；对每个所述拆分段落进行哈希函数处理，得到所述拆分段落的特征指纹，其中，所述特征指纹为包含所述待查询文本的特征的数组；将所述拆分段落的特征指纹进行分段处理，得到多个特征指纹片段，并将每个所述特征指纹片段与其对应的特征指纹片段库中的预设特征指纹片段进行匹配，根据匹配结果确定查重结果，其中，所述查重结果至少包括：是否存在重复内容，所述重复内容的出处。2.根据权利要求1所述的方法，其特征在于，对所述待查询文本进行段落拆分处理包括：根据所述待查询文本中的分隔符号对所述待查询文本进行分句处理，得到多个语句，其中，所述分隔符号至少包括：句号，换行符，问号；将所述多个语句进行组合，得到所述待查询文本的多个拆分段落，其中，所述拆分段落至少包含一个语句。3.根据权利要求2所述的方法，其特征在于，将所述多个语句进行组合包括：获取动态采样窗口的大小和动态采样窗口的滑动步长，其中，所述动态采样窗口的大小决定所述拆分段落所包含的字数，或，所述动态采样窗口的大小决定所述拆分段落所包含的语句个数；根据所述动态采样窗口的大小和所述动态采样窗口的滑动步长对所述多个语句进行遍历采样，得到所述待查询文本的多个拆分段落。4.根据权利要求1所述的方法，其特征在于，对每个所述拆分段落进行哈希函数处理包括：在每个所述拆分段落中遍历提取连续的n个单字，并将每个所述连续的n个单字作为第一目标词，进而得到由多个第一目标词组成的第一目标词集；对所述第一目标词集中的每个所述第一目标词进行第一哈希函数处理，得到多个第一初始哈希值；基于算式h(x)＝(ax+b)modc对多个所述第一初始哈希值进行第二哈希函数处理，得到多个第一目标哈希值，其中，h(x)表示所述第一目标哈希值，x表示所述第一初始哈希值，a，b，c表示预设随机正整数，且所述预设随机正整数为f组；在每组所述预设随机正整数确定的所述多个第一目标哈希值中确定一个特征值，进而得到f个特征值，其中，所述特征值为所述多个第一目标哈希值中的最小值；对所述f个特征值进行第一压缩处理，得到第一特征指纹，并将所述第一特征指纹作为所述拆分段落的特征指纹。5.根据权利要求1所述的方法，其特征在于，对每个所述拆分段落进行哈希函数处理包括：在每个所述拆分段落中遍历提取连续的m个单字，并将每个...

【专利技术属性】
技术研发人员：熊英超，孙宏跃，刘志远，
申请(专利权)人：南京中孚信息技术有限公司，
类型：发明
国别省市：江苏,32