一种判定文本相似性的方法和系统技术方案

本发明专利技术属于文本分类的技术领域，为了解决现有技术中三种文本相似性判断算法分别存在的不足，本发明专利技术提供一种判定文本相似性的方法和系统，所述方法包括：S1、构建向量空间模型，使得文本量化成可处理的对象；S2、使用Siamese网络构建文本语义相似性提取模型，并且在Siamese网络中，语义特征提取网络与相似性判别网络串联在一起，同时在样本训练阶段进行优化；S3、基于训练阶段样本的语义特征表达，构造基于特征向量的夹角余弦的文本相似度计算函数，以及最终的损失函数；S4、输入两个待测文本，基于Siamese网络对待测文本进行语义特征提取之后，计算两个向量的余弦夹角距离，并设置阈值，当两个向量的余弦夹角距离大于阈值时，判定为相似，否则判定为不相似。

【技术实现步骤摘要】
一种判定文本相似性的方法和系统
本专利技术涉及文本分类的
，尤其涉及核安全级软件验证与确认的
；更具体地，涉及一种判定文本相似性的方法和系统。
技术介绍
在核安全级软件验证和确认(V&V)的过程中，需要对执行文档进行评估，对可追踪性进行分析，以及对危险进行分析等，随着技术文档的不断增加，每个项目每个阶段重复的执行这些活动需要大量人力，因此在文档评估过程中自动识别待评估项，可追踪分析中自动判断上下级文件的语义相关性，危险分析过程中相似产品的失效模式的自动匹配，成为V&V人员需要解决的问题。目前用于判断文本相似性的方法主要有余弦相似度、SimHash算法以及隐性语义标引法(LSI)。其中，余弦相似度法通过预处理、文本特征项选择、加权、生成向量空间模型后计算余弦；SimHash为Google处理海量网页的采用的文本相似判定方法，该方法的主要目的是降维，即将高维的特征向量映射成f-bit的指纹，通过比较两篇文档指纹的汉明距离来表征文档重复或相似性。；隐性语义标引(LSI)利用矩阵理论中的“奇异值分解(SVD)”技术，将词频矩阵转化为奇异矩阵，然后将该矩阵进行奇异值本文档来自技高网...

【技术保护点】
一种判定文本相似性的方法，其特征在于，包括：S1、构建向量空间模型，使得文本量化成可处理的对象；S2、使用Siamese网络构建文本语义相似性提取模型，并且在所述Siamese网络中，语义特征提取网络与相似性判别网络串联在一起，同时在样本训练阶段进行优化；S3、基于训练阶段样本的语义特征表达，构造基于特征向量的夹角余弦的文本相似度计算函数，以及最终的损失函数，使得同类样本对的特征向量映射到空间某个区域；S4、输入两个待测文本，基于所述Siamese网络对待测文本进行语义特征提取之后，计算两个向量的余弦夹角距离，并设置阈值，当两个向量的余弦夹角距离大于阈值时，判定为相似，否则判定为不相似。

【技术特征摘要】
1.一种判定文本相似性的方法，其特征在于，包括：S1、构建向量空间模型，使得文本量化成可处理的对象；S2、使用Siamese网络构建文本语义相似性提取模型，并且在所述Siamese网络中，语义特征提取网络与相似性判别网络串联在一起，同时在样本训练阶段进行优化；S3、基于训练阶段样本的语义特征表达，构造基于特征向量的夹角余弦的文本相似度计算函数，以及最终的损失函数，使得同类样本对的特征向量映射到空间某个区域；S4、输入两个待测文本，基于所述Siamese网络对待测文本进行语义特征提取之后，计算两个向量的余弦夹角距离，并设置阈值，当两个向量的余弦夹角距离大于阈值时，判定为相似，否则判定为不相似。2.根据权利要求1所述的方法，其特征在于，所述步骤S2中，所述Siamese网络的结构可以有两个或者多个并行的通路，相应地，能够将两个或者多个文本特征同时输入，所述Siamese网络经过各自通路的非线性映射提取特征，然后多个文本的特征可以在特征层后相结合进而语义相关性判断。3.根据权利要求2所述的方法，其特征在于，所述步骤S2中，将所述Siamese网络分成前半部分和后半部分；前半部分用于文本语义特征的提取，由全连接层组成；后半部分用于相似性度量，将网络前半部分抽取的特征整合；计算经不同分支提取之后的一对样本特征之间的距离，或者将对应元素直接加权连接；进而在步骤S3中经过余弦夹角度量函数判别样本间的相似性。4.根据权利要求2或3所述的方法，其特征在于，所述前半部分用于文本语义特征的提取，由全连接层组成，并且包括词、短语、句子、段落、文章和语义，构建5层隐藏层的网络结构。5.根据权利要求1所述的方法，其特征在于，所述S3和S4中夹角余弦的计算采用三元度量函数，在三元组样本(x，x+，x-)经过特征提取后具有相同的网络参数W，得...

【专利技术属性】
技术研发人员：冯素梅，江国进，孙永滨，白涛，杜乔瑞，王晓燕，张亚栋，徐先柱，
申请(专利权)人：北京广利核系统工程有限公司，中国广核集团有限公司，
类型：发明
国别省市：北京,11