文本数据相似度确定方法和系统技术方案

技术编号:41757277 阅读:31 留言:0更新日期:2024-06-21 21:39
本申请涉及一种文本数据相似度确定方法,该方法包括:分别对第一文本和第二文本中的同类型字段进行分词处理,得到各类型字段的第一词汇表和第二词汇表,以第一词汇表构建横轴,以第二词汇表构建纵轴,得到第一文本坐标系,在第一文本坐标系中,沿正方向逐一对第一词汇表和第二词汇表中的词汇进行语义比对,按照比对结果和预设文本转换规则,生成至少两条文本转换路径,在文本转换路径中,将转换操作次数最少的路径作为目标路径,基于目标路径确定第一文本和第二文本的相似度。通过本申请,解决了文本相似度确定方法效率低的问题。通过构建文本坐标系,获取文本转换的最少操作步骤,得到两个文本的相似度,提高了相似度确定方法的效率。

【技术实现步骤摘要】

本申请涉及数据处理领域,特别是涉及文本数据对比方法、系统、电子设备和存储介质。


技术介绍

1、文本相似度是指判断两个文本之间的相似程度或相关性。随着计算机技术的快速发展,数据在数量上呈现出爆发式增长,对文本相同相似比较的需求也越来越多。

2、在相关技术中,在自然语言处理和信息检索领域,经常需通过文本相同相似比较,来判断两个或多个不同文本间的相似度,以达到相应的应用目的。但现有的文本相同相似比较方法效率低且准确度不高。

3、目前针对相关技术中文本相似度确定方法效率低的问题,尚未提出有效的解决方案。


技术实现思路

1、本申请实施例提供了一种文本数据相似度确定方法、系统、电子设备和存储介质,以至少解决相关技术中文本相似度确定方法效率低的问题。

2、第一方面,本申请实施例提供了一种文本数据相似度确定方法,所述方法包括:

3、分别对第一文本和第二文本中的同类型字段进行分词处理,得到各类型字段对应的第一词汇表和第二词汇表;

4、以所述第一词汇表构建横轴,以所述第本文档来自技高网...

【技术保护点】

1.一种文本数据相似度确定方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述按照比对结果和预设文本转换规则,生成至少两条文本转换路径包括:

3.根据权利要求2所述的方法,其特征在于,所述预设文本转换规则包括:

4.根据权利要求1所述的方法,其特征在于,以所述第一词汇表构建横轴,以所述第二词汇表构建纵轴,得到第一文本坐标系包括:

5.根据权利要求4所述的方法,其特征在于,所述对所述第一词汇表和所述第二词汇表中的词汇进行索引号编码包括:

6.根据权利要求1所述的方法,其特征在于,所述基于所述目标路径确定...

【技术特征摘要】

1.一种文本数据相似度确定方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述按照比对结果和预设文本转换规则,生成至少两条文本转换路径包括:

3.根据权利要求2所述的方法,其特征在于,所述预设文本转换规则包括:

4.根据权利要求1所述的方法,其特征在于,以所述第一词汇表构建横轴,以所述第二词汇表构建纵轴,得到第一文本坐标系包括:

5.根据权利要求4所述的方法,其特征在于,所述对所述第一词汇表和所述第二词汇表中的词汇进行索引号编码包括:

6.根据权利要求1所述的方法,其特征...

【专利技术属性】
技术研发人员:段启鹏李军贺文峰刘安平胡芸梅清
申请(专利权)人:品茗科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1