System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 文本相似度确定方法、系统、电子设备、介质和程序产品技术方案_技高网

文本相似度确定方法、系统、电子设备、介质和程序产品技术方案

技术编号:40258484 阅读:8 留言:0更新日期:2024-02-02 22:49
本申请提供一种文本相似度确定方法、系统、电子设备、介质和程序产品,该方法包括:将第一文本的第一文本序列以及第二文本的第二文本序列,在语义空间进行映射,得到第一特征向量以及第二特征向量;对第一特征向量以及第二特征向量进行正则化操作,以确定第一特征向量所属分布与第二特征向量所属分布之间的分布距离;构建第一特征向量与第二特征向量的第一相似关系图,并对第一相似关系图进行多个层级的卷积操作得到多个中间相似关系图;对各个中间相似关系图进行融合得到第二相似关系图,并基于第二相似关系图以及分布距离确定第一文本与第二文本之间的相似度。本申请中,提高了文本之间的相似度的确定准确性。

【技术实现步骤摘要】

本申请涉及数据处理领域、金融科技领域或其他相关领域,尤其涉及一种文本相似度确定方法、系统、电子设备、介质和程序产品


技术介绍

1、文本匹配时自然语言处理的一个基础问题,它可以应用在问答系统、对话系统、文本翻译、相似度等多种场景中。

2、文本匹配会涉及到两个文本之间的相似度的计算。示例性技术中,通过获取两个文本的特征向量,再将两个特征向量输入至模型中即可确定两个文本之间的相似度。

3、但上述方式仅利用了文本之间的单层次的文本交互信息,文本之间相似度的准确性不高,也即存在文本之间的相似度的确定准确性较低。


技术实现思路

1、本申请提供一种文本相似度确定方法、系统、电子设备、介质和程序产品,用以解决文本之间的相似度的确定准确性较低的问题。

2、一方面,本申请提供一种文本相似度确定方法,应用于文本相似度确定系统,所述文本相似度确定方法包括:

3、获取第一文本的第一文本序列以及第二文本的第二文本序列;

4、将所述第一文本序列以及所述第二文本序列,在语义空间进行映射,得到所述第一特征向量以及第二特征向量;

5、对所述第一特征向量以及所述第二特征向量进行正则化操作,以确定所述第一特征向量所属分布与所述第二特征向量所属分布之间的分布距离;

6、构建所述第一特征向量与所述第二特征向量的第一相似关系图,并对所述第一相似关系图进行多个层级的卷积操作得到多个中间相似关系图;

7、对各个所述中间相似关系图进行融合得到第二相似关系图,并基于所述第二相似关系图以及所述分布距离确定所述第一文本与所述第二文本之间的相似度。

8、另一方面,本申请还提供一种文本相似度确定系统,包括:

9、获取模块,用于获取第一文本的第一文本序列以及第二文本的第二文本序列;

10、映射模块,用于将所述第一文本序列以及所述第二文本序列,在语义空间进行映射,得到所述第一特征向量以及第二特征向量;

11、确定模块,用于对所述第一特征向量以及所述第二特征向量进行正则化操作,以确定所述第一特征向量所属分布与所述第二特征向量所属分布之间的分布距离;

12、构建模块,用于构建所述第一特征向量与所述第二特征向量的第一相似关系图,并对所述第一相似关系图进行多个层级的卷积操作得到多个中间相似关系图;

13、融合模块,用于对各个所述中间相似关系图进行融合得到第二相似关系图,并基于所述第二相似关系图以及所述分布距离确定所述第一文本与所述第二文本之间的相似度。

14、另一方面,本申请还提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;

15、所述存储器存储计算机执行指令;

16、所述处理器执行所述存储器存储的计算机执行指令,以实现如上所述的方法。

17、另一方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上所述的方法。

18、另一方面,本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。

19、本申请提供的文本相似度确定方法、系统、电子设备、介质和程序产品,获取第一文本的第一文本序列以及第二文本的第二文本序列,将第一文本以及第二文本序列在语义空间进行映射得到第一特征向量以及第二特征向量,并对第一特征向量以及第二特征向量进行正则化操作,以确定第一特征向量所属分布与第二特征向量所属分布之间的分布距离,再构建第一特征向量与第二特征向量之间的第一相似关系图,对第一相似关系图进行多个层级的卷积操作得到多个中间相似关系图,对各个中间相似关系图进行融合得到第二相似关系图,最后基于第二相似关系图以及分布距离确定第一文本与第二文本之间的相似度。本申请中,通过对两个文本的特征向量进行正则化操作,加速了两个特征向量在语义空间中的不同域的序列标识的融合,因而能够获得准确度较高的分布距离,最后基于分布距离以及两个文本的特征向量的多层级的卷积操作,能够获得鲁棒性高以及准确性高的相似度的表示,提高了文本之间的相似度的确定准确性。

本文档来自技高网...

【技术保护点】

1.一种文本相似度确定方法,其特征在于,应用于文本相似度确定系统,所述文本相似度确定方法包括:

2.根据权利要求1所述的文本相似度确定方法,其特征在于,所述文本相似度确定系统包括投影特征模型、正则化模型以及匹配模型,其中,

3.根据权利要求2所述的文本相似度确定方法,其特征在于,所述匹配模型设置有至少一个层次相似性推理层;

4.根据权利要求3所述的文本相似度确定方法,其特征在于,所述匹配模型设有残差层,所述层次相似性层与所述残差层连接。

5.根据权利要求2所述的文本相似度确定方法,其特征在于,所述文本相似度确定系统设置融合模型,所述融合模型包括所述投影特征模型、所述正则化模型以及所述匹配模型,所述融合模型的训练具体如下:

6.根据权利要求5所述的文本相似度确定方法,其特征在于,所述获取多个训练样本的步骤包括:

7.根据权利要求5所述的文本相似度确定方法,其特征在于,所述第一子模型的损失函数基于散度设置。

8.根据权利要求1-7中任一项所述的文本相似度确定方法,其特征在于,所述基于所述第二相似关系图以及所述分布距离确定所述第一文本与所述第二文本之间的相似度的步骤之后,还包括:

9.一种文本相似度确定系统,其特征在于,包括:

10.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的方法。

12.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法。

...

【技术特征摘要】

1.一种文本相似度确定方法,其特征在于,应用于文本相似度确定系统,所述文本相似度确定方法包括:

2.根据权利要求1所述的文本相似度确定方法,其特征在于,所述文本相似度确定系统包括投影特征模型、正则化模型以及匹配模型,其中,

3.根据权利要求2所述的文本相似度确定方法,其特征在于,所述匹配模型设置有至少一个层次相似性推理层;

4.根据权利要求3所述的文本相似度确定方法,其特征在于,所述匹配模型设有残差层,所述层次相似性层与所述残差层连接。

5.根据权利要求2所述的文本相似度确定方法,其特征在于,所述文本相似度确定系统设置融合模型,所述融合模型包括所述投影特征模型、所述正则化模型以及所述匹配模型,所述融合模型的训练具体如下:

6.根据权利要求5所述的文本相似度确定方法,其特征在于,所述获取多个训练样本的...

【专利技术属性】
技术研发人员:冯如
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1