相似文本检测方法、电子设备、存储介质及程序产品技术

技术编号:41143745 阅读:29 留言:0更新日期:2024-04-30 18:12
本公开提供了一种相似文本检测方法、电子设备、存储介质及程序产品。本公开提供的相似文本检测方法包括:获取目标文本和第一文本集;对目标文本进行处理,得到目标文本特征;根据分割数对目标文本特征进行分割,得到目标子特征;根据目标子特征中的分特征及其对应的分表从第一文本集中获取第二文本集;使用目标文本、第二文本集和预设相似阈值进行相似文本检测。

【技术实现步骤摘要】

本公开涉及一种相似文本检测方法、电子设备、存储介质及程序产品


技术介绍

1、随着互联网和数字化技术的迅猛发展,各种信息呈指数级别急剧增长,而文本数据是其中一个重要部分。海量的文本数据不仅给用户造成信息过载,也给信息管理、搜索等带来了巨大的挑战。为了提升文本数据质量、减少数据量,相似文本检测技术应运而生。

2、现有技术中进行相似文本检测时,需要计算目标文本与文本集中每个文本的相似度。

3、然而,当文本集中文本的数量较多时,逐一计算相似度的计算量较大,相似文本检测的效率低下。


技术实现思路

1、本公开提供了一种相似文本检测方法、装置、电子设备及存储介质。

2、根据本公开的一个方面,提供一种相似文本检测方法,包括:

3、获取目标文本和第一文本集;

4、对所述目标文本进行处理,得到目标文本特征;

5、根据分割数对所述目标文本特征进行分割,得到目标子特征;

6、根据所述目标子特征中的分特征及其对应的分表从所述第一文本集中获取第二文本集本文档来自技高网...

【技术保护点】

1.一种相似文本检测方法,其特征在于,包括:

2.根据权利要求1所述的相似文本检测方法,其特征在于,所述根据所述目标子特征中的分特征及其对应的分表从所述第一文本集中获取第二文本集,包括:

3.根据权利要求1或2所述的相似文本检测方法,其特征在于,在从所述映射表中获取所述第一分特征对应的第一分表之前,还包括:

4.根据权利要求1或2所述的相似文本检测方法,其特征在于,在所述根据分割数对所述目标文本特征进行分割之前,还包括:

5.根据权利要求1或2所述的相似文本检测方法,其特征在于,

6.一种相似文本检测方法,其特征在于,包括:...

【技术特征摘要】

1.一种相似文本检测方法,其特征在于,包括:

2.根据权利要求1所述的相似文本检测方法,其特征在于,所述根据所述目标子特征中的分特征及其对应的分表从所述第一文本集中获取第二文本集,包括:

3.根据权利要求1或2所述的相似文本检测方法,其特征在于,在从所述映射表中获取所述第一分特征对应的第一分表之前,还包括:

4.根据权利要求1或2所述的相似文本检测方法,其特征在于,在所述根据分割数对所述目标文本特征进行分割之前,还包括:

5.根据权利要求1或2所述的相似文本检测方法...

【专利技术属性】
技术研发人员:汪泽西宋熙康李媛媛
申请(专利权)人:上海墨百意信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1