文本相似度的确定方法及装置制造方法及图纸

技术编号:23705502 阅读:97 留言:0更新日期:2020-04-08 11:17
本发明专利技术公开了一种文本相似度的确定方法及装置。其中,该方法包括:获取至少两个文本的词序列;将至少两个文本的词序列转换成多维数字向量;通过预先训练的匹配模型对多维数字向量进行语义组合,以确定文本向量;通过所述匹配模型对所述文本向量进行向量比对,并对至少两个文本的文本语义进行解析,确定至少两个文本的文本相似度。本发明专利技术解决了相关技术中由于语义不同导致文本相似度判别困难的技术问题。

【技术实现步骤摘要】
文本相似度的确定方法及装置
本专利技术涉及文本匹配
,具体而言,涉及一种文本相似度的确定方法及装置。
技术介绍
在相关技术中,对于文本之间的相似度匹配,往往是比较字面上的词语含义,或者是通过简单的观点匹配来确认文本的相似度。随着当前电子政务及电子办公系统的普及,数据量也在急速上升,大量相似观点的存在对后期数据分析形成了较大困难,因此,需要对文本之间的相似度进行有效确认,以减少相似文本的工作量。当前对于相似度的计算,主要分为两类,一类是基于统计的方法,主要用于句子及段落级别的相似度计算,即对文本中的句子含义和段落含义进行识别,以确认文本之间的相似度。而另一类是基于语义的方法,主要用于词语和句子级别的相似度计算,即分别比较文本中的词语的词义,进而确认词语和句子之间的相似度,以综合比较文本的相似度。但是上述两种计算文本相似度的方式,只能解决词汇层面的匹配问题,在一些情况下,直接通过字面距离并不能正确地进行相似度匹配,比如由于语言的同义性、多义性的存在,导致语义上相似的文本相似度低,而字面相同但含义完全不同的文本却相似度高,比如同义词“客本文档来自技高网...

【技术保护点】
1.一种文本相似度的确定方法,其特征在于,包括:/n获取至少两个文本的词序列;/n将所述至少两个文本的词序列转换成多维数字向量;/n通过预先训练的匹配模型对所述多维数字向量进行语义组合,以确定文本向量;/n通过所述匹配模型对所述文本向量进行向量比对,并对所述至少两个文本的文本语义进行解析,确定所述至少两个文本的文本相似度。/n

【技术特征摘要】
1.一种文本相似度的确定方法,其特征在于,包括:
获取至少两个文本的词序列;
将所述至少两个文本的词序列转换成多维数字向量;
通过预先训练的匹配模型对所述多维数字向量进行语义组合,以确定文本向量;
通过所述匹配模型对所述文本向量进行向量比对,并对所述至少两个文本的文本语义进行解析,确定所述至少两个文本的文本相似度。


2.根据权利要求1所述的方法,其特征在于,通过预先训练的匹配模型对所述多维数字向量进行语义组合,以确定文本向量的步骤,包括:
获取所述多维数字向量;
依据所述多维数字向量,计算低维语义向量,其中,所述低维语义向量表示词语所在的句子的语义信息;
对所述低维语义向量进行组合,确定多个单维句子向量,其中,所述单维句子向量表示句子所在文本的文本信息;
通过所述多个单维句子向量,计算所述至少两个文本的文本向量。


3.根据权利要求2所述的方法,其特征在于,依据所述多维数字向量,计算低维语义向量包括:
将所述多维数字向量中的每维数字向量转换为表示词语所在句子的词语向量;
组合词语向量中词义的相似度在预设范围内的词语,以得到所述低维语义向量。


4.根据权利要求1所述的方法,其特征在于,通过所述匹配模型对所述文本向量进行向量比对,并对所述至少两个文本的文本语义进行解析,确定所述至少两个文本的文本相似度的步骤,包括:
依据所述文本向量,确定每个文本的文本中心语句;
依据所述文本中心语句,确定每个所述文本的文章中心语义;
根据所述至少两个文本中每个文本的所述文章中心语义和所述匹配模型,计算所述至少两个文本的文本相似度。


5.根据权利要求4所述的方法,其特征在于,通过所述匹配模型对所述文本向量进行向量比对,并对所述至少两个文本的文本语义进行解析,确定所述至少两个文本的文本相似度还包括:
依据所述每个文本的所述文章中心语义,对所述至少两个文本进行交互计算,以确定多组二维矩阵;
根据所述多组二维矩阵,建...

【专利技术属性】
技术研发人员:孙德彬徐文斌
申请(专利权)人:北京国双科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1