一种结合语义识别实现标识文本差异内容的方法及系统技术方案

本申请公开了一种结合语义识别实现标识文本差异内容的方法，包括：S100：通过深度学习方法预训练所述相似度计算模型；S200：计算待对比文本的第一相似度；S300：逐个随机剔除待对比文本中的分词；S400：计算剔除分词之后的待对比文的第二相似度；S500：当第二相似度小于预设相似度阈值且大于第一相似度时，重复步骤S300；S600：当第二相似度小于第一相似度时，放回被剔除的分词后，重复步骤S300；S700：当第二相似度大于或等于预设相似度阈值时，标识待对比文本中被剔除的分词。本申请可以在保留语义的前提下，提取出两句文本中不同的内容，并对不同的内容进行高亮展示，准确高效的提取到使用者关注的核心要素，从而提升使用者的工作效率。效率。效率。

【技术实现步骤摘要】
一种结合语义识别实现标识文本差异内容的方法及系统


[0001]本申请涉及本申请涉及自然语言处理的相关技术，特别是涉及一种结合语义识别实现标识文本差异内容的方法。

技术介绍

[0002]随着大数据时代的到来，我们的生活和工作被大量数据包围，如何从纷杂的数据中提取对自己有用的信息，变得越来越重要。主流文本差异的高亮比对技术基于文本中的字符串比较进行高亮，该方法的不足之处在于：若两句文本中同个意思使用的词不同或同个意思但语序不同，会导致无法准确识别其中差异内容，导致高亮了多余的内容，失去了高亮应有的价值，增加了阅读者的阅读成本。

技术实现思路

[0003]本申请的主要目的在于提供一种结合语义识别实现标识文本差异内容的方法，包括：S100：通过深度学习方法预训练所述相似度计算模型；S200：通过相似度计算模型计算待对比文本的第一相似度；S300：当所述第一相似度小于预设相似度阈值时，逐个随机剔除所述待对比文本中的分词；S400：通过相似度计算模型计算剔除所述分词之后的所述待对比文的第二相似度；S500：当所述第二相似度小于所述预设相似度阈值且大于所述第一相似度时，重复步骤S300；S600：当所述第二相似度小于所述第一相似度时，放回被剔除的所述分词后，重复步骤S300；S700：当所述第二相似度大于或等于所述预设相似度阈值时，标识所述待对比文本中被剔除的分词。
[0004]可选地，结合语义识别实现标识文本差异内容的方法还包括：设定所述相似度阈值。
[0005]可选地，结合语义识别实现标识文本差异内容的方法还包括：当所述第一相似度大于或等于所述相似度阈值时，无需标识。
[0006]可选地，结合语义识别实现标识文本差异内容的方法还包括：对比所述第一相似度与所述相似度阈值。
[0007]可选地，结合语义识别实现标识文本差异内容的方法还包括：对比所述第二相似度与所述第一相似度，以及对比所述第二相似度与所述相似度阈值。
[0008]可选地，结合语义识别实现标识文本差异内容的方法还包括：
将所述待对比文本进行分词处理。
[0009]根据本申请的另一个目的，还提供了一种结合语义识别实现标识文本差异内容的系统，包括：第一相似度计算模块，用于计算待对比文本的第一相似度；分词剔除模块，用于逐个随机剔除所述待对比文本中的分词；第二相似度计算模块，用于计算剔除所述分词之后的所述待对比文的第二相似度；标识模块，用于标识所述待对比文本中被剔除的分词。
[0010]根据本申请的另一个目的，还提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
[0011]根据本申请的另一个目的，还提供了一种计算机可读存储介质，非易失性可读存储介质，其内存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现上述任一项所述的方法。
[0012]与现有技术相比，本申请具有如下有益效果：本申请提供一种结合语义识别实现高亮文本差异内容的方法，可以在保留语义的前提下，提取出两句文本中不同的内容，并对不同的内容进行高亮展示，准确高效的提取到使用者关注的核心要素，从而提升使用者的工作效率。
[0013]附图说明
[0014]构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和有益效果变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1
‑
图2是根据本申请一个实施例的结合语义识别实现标识文本差异内容的方法的流程示意图；图3是根据本申请一个实施例的计算机设备的示意图；以及图4是根据本申请一个实施例的计算机可读存储介质的示意图。
具体实施方式
[0015]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0016]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的
过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0017]请参照图1
‑
图2，本申请已实施例提供了一种结合语义识别实现标识文本差异内容的方法，包括：S100：通过深度学习方法预训练所述相似度计算模型；S200：通过相似度计算模型计算待对比文本的第一相似度；S300：当所述第一相似度小于预设相似度阈值时，逐个随机剔除所述待对比文本中的分词；S400：通过相似度计算模型计算剔除所述分词之后的所述待对比文的第二相似度；S500：当所述第二相似度小于所述预设相似度阈值且大于所述第一相似度时，重复步骤S300；S600：当所述第二相似度小于所述第一相似度时，放回被剔除的所述分词后，重复步骤S300；S700：当所述第二相似度大于或等于所述预设相似度阈值时，标识所述待对比文本中被剔除的分词。
[0018]在本实施例中，还包括设定所述相似度阈值，但并不以此为限。在本实施例中，还包括：当所述第一相似度大于或等于所述相似度阈值时，无需标识，但并不以此为限。在本实施例中，还包括：对比所述第一相似度与所述相似度阈值，但并不以此为限。在本实施例中，还包括：对比所述第二相似度与所述第一相似度，以及对比所述第二相似度与所述相似度阈值，但并不以此为限。在本实施例中，还包括：将所述待对比文本进行分词处理，但并不以此为限。在本实施例中，还包括：通过深度学习方法预训练所述相似度计算模型，但并不以此为限。
[0019]为解决上述技术问题，本申请通过下述技术方案得以解决：（1）利用分词工具对待对比的两句文本进行分词处理；（2）利用深度学习方法预训练一种文本相似度计算模型；准备大量训练样本，格式为每行是一组句子对，并使用0或1标注句子对中两个句子是否相似，0表示不相似，1表示相似。
[0020]构建基于BERT预训练神经网络的相似度识别模型。使用BERT模型的优势在于：在为每个字计算词向量时，会根据上下文不同而得到不同的词向量，优化了识别效果。
[0021]首先对样本进行预处理，将两个样本句子对进行合并，并添加分类以及分隔符，然后将合并好的文本以及标签利用构建的BERT预训练神经网络层的transformer encoder计算得到的每个字符的词向量；再将得到的embedding中的标签本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合语义识别实现标识文本差异内容的方法，其特征在于，包括：S100：通过深度学习方法预训练所述相似度计算模型；S200：通过相似度计算模型计算待对比文本的第一相似度；S300：当所述第一相似度小于预设相似度阈值时，逐个随机剔除所述待对比文本中的分词；S400：通过相似度计算模型计算剔除所述分词之后的所述待对比文的第二相似度；S500：当所述第二相似度小于所述预设相似度阈值且大于所述第一相似度时，重复步骤S300；S600：当所述第二相似度小于所述第一相似度时，放回被剔除的所述分词后，重复步骤S300；S700：当所述第二相似度大于或等于所述预设相似度阈值时，标识所述待对比文本中被剔除的分词。2.根据权利要求1所述的结合语义识别实现标识文本差异内容的方法，其特征在于，还包括：设定所述相似度阈值。3.根据权利要求2所述的结合语义识别实现标识文本差异内容的方法，其特征在于，还包括：当所述第一相似度大于或等于所述相似度阈值时，无需标识。4.根据权利要求3所述的结合语义识别实现标识文本差异内容的方法，其特征在于，还包括：对比所述第一相似度与所述相似度阈值...

【专利技术属性】
技术研发人员：张利江，滕菁，孙长磊，蒋涛，
申请(专利权)人：杭州有数金融信息服务有限公司，
类型：发明
国别省市：