一种面向科研立项查重的句向量生成方法及查重方法技术

本发明专利技术公开了一种面向科研立项查重的句向量生成方法及查重方法。本发明专利技术句向量生成方法为：1)对于一科研项目申报书的文本进行分词，计算每一分词w的词频及词频权重；2)设置每一分词w的词性权重；3)根据分词w所在句子在所述文本中的位置，确定该句子中分词w的位置权重；4)根据各句子中分词的分词w的词频权重、词性权重和位置权重计算对应句子中分词w的词权重；5)根据分词w的词权重生成文本的句向量矩阵；6)去除句向量矩阵的前m个主成分，对句向量矩阵中的每一句向量进行更新；7)将科研项目申报书的文本输入Doc2Vec模型，生成文本的句向量并将其与步骤6)更新后的句向量加权平均，得到文本中每一句子对应的句向量。到文本中每一句子对应的句向量。到文本中每一句子对应的句向量。

【技术实现步骤摘要】
一种面向科研立项查重的句向量生成方法及查重方法


[0001]本专利技术涉及自然语言处理文本表示
，是一种面向科研立项查重的由词向量生成句向量的改进方法及查重方法。

技术介绍

[0002]近年来，我国对科研经费的投入越来越大，逐年增加的科研经费和海量的申报课题给科研项目立项决策带来了极大的困难，科技项目“重复立项”、“多头申报”问题日益凸显。科研项目的重复研究将造成科研资源的浪费，阻碍国家的科技发展规划，因此建立有效的科研项目立项查重机制已成为科技计划管理部门的当务之急。
[0003]对科技项目申报文本进行查重首先需要将文本表示为计算机可以处理的形式。目前文本表示的常用方式是把字或词处理成向量，在包含语义信息的同时，以便计算机能进行处理。当前文本表示的常用方法有Word2Vec，Doc2Vec，Glove，fastText，BERT等。
[0004]通常情况下，句子由若干字、词组成，一段文本由若干个句子组成。在使用文本表示技术将字或词表示为向量后，若要获得句子或段落的向量表示，需要通过某种方式将词向量转化为句向量，句向量再转化为段落向量。使句向量能够更为准确地表征文本语义，是进行语义理解、计算语义相似度的关键。
[0005]目前常用的句向量生成方式有以下两种：有监督的句向量生成方法和无监督的句向量生成方法。有监督的句向量生成方法对标注数据有较强的依赖，在一些特定领域，标注数据获取成本较高。无监督的句向量生成方法目前常见的有词向量直接相加平均、词向量通过TF
‑
IDF、USIF等方式进行加权等。词向量直接相加平均没有考虑到训练样本中词频带来的影响和句子长度带来的影响。TF
‑
IDF虽考虑到词频带来的影响，但是提升效果不大。USIF在考虑词频的基础上，通过删除句矩阵前m个主成分来消除词向量加权平均造成的无意义分量，但仍无法解决词序问题，且没有考虑到语法、位置等信息，无法准确表征句子语义。

技术实现思路

[0006]本专利技术旨在实现一种面向科研立项查重的句向量生成方法及查重方法，通过改进USIF加权方式并融合词序，提升句向量的语义表征能力，提高科研立项查重结果的准确率。
[0007]本专利技术面向科研立项查重的句向量生成方法，包括以下步骤：
[0008]在USIF计算词频权重的基础上，加入词词性权重、位置权重，并使用上述三种权重作为词的最终权重进行计算。在使用USIF方法去除了句向量矩阵前m个主成分后，将得到的句向量与Doc2Vec生成的句向量进行加权平均，得到融入词序特征后的句向量。
[0009]为实现上述目的，本专利技术采用以下技术方案：
[0010]一种面向科研立项查重的句向量生成方法，其步骤包括：
[0011]1)对于一科研项目申报书的文本进行分词，计算所述文本中每一分词w的词频p(w)及词频权重tf(w)；
[0012]2)根据汉语的语法规则以及六类实词词性在科研项目文本中的分布，设置每一分词w的词性权重tag(w)；其中六类实词词性包括名词、动词、形容词、代词、量词和数词；
[0013]3)根据分词w所在句子在所述文本中的位置，确定该句子中分词w的位置权重pos(w)；
[0014]4)根据各句子中分词的分词w的词频权重tf(w)、词性权重tag(w)和位置权重pos(w)计算对应句子中分词w的词权重wgh(w)；
[0015]5)根据分词w的词权重wgh(w)生成所述文本的句向量矩阵A；
[0016]6)去除所述句向量矩阵A的前m个主成分，对所述句向量矩阵A中的每一句向量进行更新；
[0017]7)将科研项目申报书的文本输入Doc2Vec模型，生成所述文本的句向量并将其与步骤6)更新后的对应句向量加权平均，得到所述文本中每一句子对应的句向量。
[0018]进一步的，确定分词w的位置权重的方法为：如果分词w所在句子为所述文本的段落首句或末句，则分词w的位置权重较高，否则分词w的位置权重较低。
[0019]进一步的，词权重wgh(w)＝tf(w)*(1+tag(w)+pos(w))。
[0020]进一步的，所述句向量矩阵其中，所述文本中句子s的句向量v
w
为分词w的词向量，n为所述文本中句子总数。
[0021]进一步的，步骤6)中，句向量c
s
更新后的向量其中，σ
i
为句向量矩阵A的第i个奇异值，c
i
为句向量矩阵A的第i个奇异向量，为句向量矩阵A中前m个奇异值中的第j个奇异值的平方，λ
i
为c
i
的权重。
[0022]进一步的，句子s的句向量其中，φ为加权系数，为Doc2Vec训练生成的句子s的句向量。
[0023]进一步的，词频权重其中，|V|是词典大小。
[0024]一种科研立项查重方法，其步骤包括：
[0025]1)采用上述方法生成待查重科研项目申报书中文本的句向量，并对所生成的句向量进行加和取平均得到该待查重科研项目申报书的语义表征向量；
[0026]2)计算该待查重科研项目申报书的语义表征向量与数据库中每一科研项目申报书对应的语义表征向量之间的相似度，如果相似度大于设定阈值，则判定该待查重科研项目申报书为重复申报项目。
[0027]一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法中各步骤的指令。
[0028]一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。
[0029]与现有技术相比，本专利技术的优点如下：
[0030](1)可以更准确地反映每个词对句子语义的贡献；
[0031](2)可以为句向量保留句子的词序关系；
[0032]即使用本文提出的句向量生成方法可以更准确地提取句子语义特征，提升句向量对句子语义的表征能力。
[0033]为验证本文提出的句向量生成方法在语义表征能力方面具有一定的优势，我们选取了若干科研项目文本进行了多组实验。实验对比了基于USIF加权的句向量生成方法(UW)、基于TF
‑
IDF加权的句向量生成方法(TW)，部分实验数据如表1所示。
[0034]表1基于不同句向量生成方法的科研项目相似度
[0035][0036]从表1中可以看出，该句向量生成方法总体上使不相似文本间的相似度更低，而相似文本间的相似度更高，相比TF
‑
IDF加权的句向量生成方法提升约16％，相比于USIF加权的句向量生成方法提升约9.5％，可以更准确地计算项目文本间的相似度。
[0037]对科研项目申报书中的文本使用该句向量生成方法，并对生成的句向量进行加和取平均即可获得科研项目申报书的语义表征向量。科研项目申报书间的相似度通过计算语义表征向量间的相似本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向科研立项查重的句向量生成方法，其步骤包括：1)对于一科研项目申报书的文本进行分词，计算所述文本中每一分词w的词频p(w)及词频权重tf(w)；2)根据汉语的语法规则以及六类实词词性在科研项目文本中的分布，设置每一分词w的词性权重tag(w)；其中六类实词词性包括名词、动词、形容词、代词、量词和数词；3)根据分词w所在句子在所述文本中的位置，确定该句子中分词w的位置权重pos(w)；4)根据各句子中分词的分词w的词频权重tf(w)、词性权重tag(w)和位置权重pos(w)计算对应句子中分词w的词权重wgh(w)；5)根据分词w的词权重wgh(w)生成所述文本的句向量矩阵A；6)去除所述句向量矩阵A的前m个主成分，对所述句向量矩阵A中的每一句向量进行更新；7)将科研项目申报书的文本输入Doc2Vec模型，生成所述文本的句向量并将其与步骤6)更新后的对应句向量加权平均，得到所述文本中每一句子对应的句向量。2.根据权利要求1所述的方法，其特征在于，确定分词w的位置权重的方法为：如果分词w所在句子为所述文本的段落首句或末句，则分词w的位置权重较高，否则分词w的位置权重较低。3.根据权利要求1或2所述的方法，其特征在于，词权重wgh(w)＝tf(w)*(1+tag(w)+pos(w))。4.根据权利要求3所述的方法，其特征在于，所述句向量矩阵其中，所述文本中句子s的句向量v
w
为分词w的词向量，n为所述文本中句子总数...

【专利技术属性】
技术研发人员：李翀，张金杰，张士波，何晓涛，刘学敏，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：