一种汉语文本比对方法、存储介质及设备技术

本发明专利技术公开了一种汉语文本比对方法、存储介质及设备，本发明专利技术首先通过分片和文本相似度匹配从进行比对的两个文本中获取具有比对意义的若干对文本分片。然后，在配对的两个文本分片中利用汉语分词技术，结合近邻重组的思想分别将文本分片重组成由若干个相同且相邻的词拼接而成的文本片段的集合，最后在两个集合的文本片段之间通过最大匹配法进行文本的自动比对。该方法通过使用文本分片、文本相似度匹配、汉语分词、近邻重组等自然语言处理技术实现了具有语义引导的文本比对，降低了用最长公共子序列等暴力解法导致的时间复杂度过高的问题，从而快速标识出两文本相似内容的差异部分。部分。

A Chinese text comparison method, storage medium and equipment

【技术实现步骤摘要】
一种汉语文本比对方法、存储介质及设备


[0001]本专利技术涉及文本处理
，具体涉及一种汉语文本比对方法、存储介质及设备。

技术介绍

[0002]文本比对在生物信息领域、中文信息等领域有着广泛应用，如基因序列比对、论文查重系统等。
[0003]余宁
[1]公开了一种文本比较方法、装置、计算机设备和存储介质,所述方法包括:获取第一文本及第二文本,将所述第一文本及所述第二文本分别转换成单行文字,并将转换后的所述第一文本及所述第二文本分别映射到X轴和Y轴；对在X轴上的所述第一文本及在Y轴上的所述第二文本进行遍历查询,获取所述第一文本与所述第二文本中相同文字的匹配点信息；根据所述第一文本与所述第二文本中相同文字的匹配点信息进行统计,获取文本比较结果。
[0004]郭叶
[2]提供了一种文本比对方法，所述方法包括：从第一文本中获取若干第一子文本以及从第二文本中获取若干第二子文本；根据所述第一子文本以及第二子文本获取若干相似度值；所述相似度值为一个第一子文本与一个第二子文本之间相似的程度；根据所述相似度值获取相似文本对，所述相似文本对包含第一子文本以及与该第一子文本相似度值最大的第二子文本；获取所述相似文本对中的第一子文本与第二子文本的至少一个区别特征。
[0005]韩志刚
[3]对第一文本和第二文本进行分块；针对由所述第一文本中文字块与所述第二文本中文字块组成的文字块对,获取所述文字块对的最长公共子序列对；根据相邻两个最长公共子序列对之间的字符信息,生成差异描述信息,所述差异描述信息用于显示所述文字块对的字符差异.通过本公开的技术方案,基于文字块组成的文字块对进行文本比较,效率比以行或者单词为最小单位进行文本比较的效率和精确度更高.
[0006]徐宁
[1]通过将待比较文本映射到二维平面,并根据最短相同字符间的最短距离找出文本之间的相同字符,提高了文本比较的速度,降低了文本比较的复杂度，但当待比对文本差异过大时比对的速度和准确度下降明显。
[0007]相比较徐宁
[1]的方法，郭叶
[2]对源文本进行了子文本划分，并通过计算相似度值来定位具有实际比对意义的子文本对从而降低误匹配率。但其在划分子文本时欠缺了语义完整性的考虑，以及忽略了划分后子文本的字符粒度大小对于计算短文本相似度值的影响。韩志刚
[3]在郭叶基础上优化了分块后的文本比较的方法，根据最长公共子序列的思想生成了两文本之间的差异。由于最长公共子序列时基于字符串匹配算法的思想，该方法在用于相似文本片段占比小或相似片段上下文位置差异过大的两个子文本之间的文本比对时，算法效率将大幅度下降。余宁、郭叶、韩志刚通过不同的方法提高了文本比对的速度或效率。但其任务对象主要是识别相同文本的修改记录。但对于相似部分占比较小或相似部分在各自文本上下文位置差异较大的两个文本(如历年来同一主题相关的政策文本)，识别
其相似部分的差异时效率较差。
[0008]参考文件：
[0009][1]余宁.文本比较方法,装置,计算机设备和存储介质:,CN110147429A[P].2019.
[0010][2]郭叶,武光鼎,曹琴.一种文本比对方法,装置,计算机设备及可读存储介质:.
[0011][3]韩志刚.文本比较方法,装置,存储介质及电子设备:,CN109815452A[P].2019.

技术实现思路

[0012]针对现有技术的不足，本专利技术旨在提供一种汉语文本比对方法、存储介质及设备。
[0013]为了实现上述目的，本专利技术采用如下技术方案：
[0014]一种汉语文本比对方法，具体过程为：
[0015]S1、将要进行比对的两个文本分别切分成语义基本完整且长度均匀的文本分片；
[0016]S2、根据步骤S1的两个文本的切分结果，将两个文本的分片进行两两组合得到多对文本分片对，并对每对文本分片对进行相似度计算；
[0017]S3、按步骤S2的相似度计算结果，筛选出相似度超过阈值的文本分片对，并对筛选出的每个文本分片对分别进行步骤S4的处理；如果没有相似度度超过阈值的文本分片对，则停止对比；
[0018]S4、将要比对的文本分片进行自动分词并对各个词编号后，筛选保留两个文本分片之间的相同词及其对应的序号，再将两个文本分片中序号相邻的词语拼接，此时两个文本分片均由若干个文本片段构成；最后以片段为单位，将两个文本分片利用最大匹配法进行比对找出差异部分并标识出来。
[0019]进一步地，步骤S1的具体过程为：将要进行对比的两个文本按句号、感叹号、问号、分号切分成句子级的均匀的文本分片。
[0020]更进一步地，如果某个文本分片字符超过预设的长度阈值，则按逗号将该文本分片再次切分。
[0021]进一步地，步骤S2的具体过程为：
[0022]S2.1、找出要对比的两个文本分片的所有共有词，并统计所有共有词的总字数；
[0023]S2.2、计算两个文本分片的长度，得到长度更长的文本分片的字数，然后计算两个文本分片的相似度＝共有词的总字数/长度更长的文本分片的字数。
[0024]进一步地，步骤S4的具体过程为：
[0025]S4.1、对文本分片对的两个文本分片分词后，分别对两个文本分片的分词结果按顺序编号；
[0026]S4.2、筛选出两个文本分片之间的相同词，两个文本分片均仅保留筛选出的相同词及其序号；
[0027]S4.3、经过步骤S4.2的处理后，分别将两个文本分片中序号相邻的词进行拼接重组为一个片段，没有序号与之相邻的词则单独为一个片段，拼接重组后，两个文本分片均是由一个或多个片段组成的；
[0028]S4.4、将拼接重组后的两个文本分片以片段为单位使用最大匹配法进行遍历比对，并标识出差异部分。
[0029]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算
机程序，所述计算机程序被处理器执行时实现上述方法。
[0030]本专利技术还提供一种设备，包括处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序时，实现上述方法。
[0031]本专利技术的有益效果在于：本专利技术在利用自然语言处理技术保证语义完整性的前提下，可以精准快速识别文本之间相似部分的差异，解决了传统文本比对方法不适用于文本差异较大的两个文本的问题。本专利技术首先通过分片和文本相似度匹配从进行比对的两个文本中获取具有比对意义的若干对文本分片。然后，在配对的两个文本分片中利用汉语分词技术，结合近邻重组的思想分别将文本分片重组成由若干个相同且相邻的词拼接而成的文本片段的集合，最后在两个集合的文本片段之间通过最大匹配法进行文本的自动比对。该方法通过使用文本分片、文本相似度匹配、汉语分词、近邻重组等自然语言处理技术实现了具有语义引导的文本比对，降低了用最长公共子序列等暴力解法导致的时间复杂度过高的问题，从而快速标识出两文本相似内容的差异部分。
附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种汉语文本比对方法，其特征在于，具体过程如下：S1、将要进行比对的两个文本分别切分成语义基本完整且长度均匀的文本分片；S2、根据步骤S1的两个文本的切分结果，将两个文本的分片进行两两组合得到多对文本分片对，并对每对文本分片对进行相似度计算；S3、按步骤S2的相似度计算结果，筛选出相似度超过阈值的文本分片对，并对筛选出的每个文本分片对分别进行步骤S4的处理；如果没有相似度度超过阈值的文本分片对，则停止对比；S4、将要比对的文本分片进行自动分词并对各个词编号后，筛选保留两个文本分片之间的相同词及其对应的序号，再将两个文本分片中序号相邻的词语拼接，此时两个文本分片均由若干个文本片段构成；最后以片段为单位，将两个文本分片利用最大匹配法进行比对找出差异部分并标识出来。2.根据权利要求1所述的方法，其特征在于，步骤S1的具体过程为：将要进行对比的两个文本按句号、感叹号、问号、分号切分成句子级的均匀的文本分片。3.根据权利要求2所述的方法，其特征在于，如果某个文本分片字符超过预设的长度阈值，则按逗号将该文本分片再次切分。4.根据权利要求1所述的方法，其特征在于，步骤S2的具体过程为：S2.1、找出要对比的两个文本分片的所有共有...

【专利技术属性】
技术研发人员：程南昌，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：