【技术实现步骤摘要】
本专利技术涉及nlp领域，具体提供一种文本相似度度量方法及系统。
技术介绍
1、nlp是自然语言处理(natural language processing)的缩写，它是一门研究人类语言和计算机之间交互的学问。nlp是人工智能领域的一个重要分支，其研究和应用将会对我们的生活带来越来越大的改变。nlp的研究可以帮助计算机理解自然语言，进而进行一系列任务，如文本分类、语音识别、机器翻译、情感分析、信息抽取等。目前nlp在智能问答系统得到了广泛的应用，以下是一些常见的nlp技术在智能问答系统中的应用。
2、文本预处理：在智能问答系统中，文本预处理是必不可少的一步。它包括分词、去除停用词、词性标注等操作，以便更好地理解用户提问和搜索相关的信息。
3、语义分析：通过语义分析，智能问答系统可以理解用户提问的含义，并将其转化为可执行的查询。语义分析技术包括句法分析、语义角色标注、命名实体识别等，可以帮助系统准确理解用户意图。
4、信息检索：智能问答系统需要从大量的知识库或文档中检索相关的信息。在信息检索阶段，nlp技术可以将用户提问与文本进行匹配，找到最相关的答案或文档。
5、文本相似度计算：用户提问可能与已有的问题和答案相似，因此文本相似度计算可以帮助系统寻找最相似的问题，并从中提取答案。常用的文本相似度计算方法包括词袋模型、tf-idf、余弦相似度等。
6、实体识别和关系抽取：nlp技术可以识别用户提问中的实体，并通过关系抽取技术提取实体之间的关系。这有助于从知识库或文档中提取相
7、生成式回答：有时智能问答系统需要生成自然语言的回答，而不仅仅是从已有的答案中选择。生成式回答涉及到自然语言生成技术，如神经网络生成模型、语言模型等。
8、以上是nlp在智能问答系统中的一些常见应用。通过这些技术的结合，智能问答系统可以更好地理解用户提问，并提供准确、有用的回答。
9、在智能问答系统中比较重要的一技术就是文本相似度计算。文本相似度的计算方法主要分为三大类：一类是基于文本相似度的计算方法例如余弦相似度、编辑距离、汉明距离、jaccard相似系数；另一类是基于语义理解的计算方法例如word2vec、wordnet、hownet、同义词词林等；
10、以上两种方法各有优缺点，此基于统计学的计算方法优点是通常比较简单，计算速度快。一些常见的相似度度量方法可以直接应用于文本数据，不需要大量的训练数据和复杂的模型。可以直接度量文本之间的相似程度，提供一个可解释的相似度值。这使得它们在一些应用场景中具有较好的可解释性。对语义理解的要求较低。它们主要依赖于表层特征、词语出现频率等特征，能够在一些简单任务中提供有用的相似度度量。
11、缺点是在计算时没有考虑文本的句子结构信息和语义信息，计算的结果有时会与人对自然语言的理解不相符合。基于语义理解的计算方法优点是，不仅仅局限于表面形式的相似度。它们能够通过学习词义、上下文等语义信息来得到更准确的相似度度量。可以适应不同语言和领域的文本相似度任务。基于语义理解的方法能够一定程度上处理文本中存在的语义歧义问题。通过深度学习模型的学习和表示能力，可以捕捉到上下文信息，从而更好地理解文本的语义。数据需求量大：基于语义理解的相似度计算方法通常需要大量的标注数据来训练模型，尤其是在一些特定任务和领域。这可能对于资源受限的场景来说是一个挑战。基于语义理解的方法往往涉及到深度学习模型，这些模型通常具有较大的参数量和复杂的结构，需要较大的计算资源和时间来进行训练和推理，模型复杂度高；深度学习模型通常被视为黑盒子，难以解释模型如何得出相似度结果。这对于某些应用领域对解释性和可解释性有较高要求的任务可能是一个不足之处。
12、基于上述情况，如何快速有效的解决文本相似度是nlp在应用中一个重要的问题。
技术实现思路
1、本专利技术是针对上述现有技术的不足，提供一种实用性强的文本相似度度量方法。
2、本专利技术进一步的技术任务是提供一种设计合理，安全适用的文本相似度度量系统。
3、本专利技术解决其技术问题所采用的技术方案是：
4、一种文本相似度度量方法，基于余弦相似度和word2vec，假设x为用word2vec计算出的语义相似度，y为用余弦相似度计算出的文本相似度，其中，0≤x≤1,0≤y≤1；
5、x和y其值越大表示相似度越大当其值等于1的时候表示完全相似，当其值等于0时其完全不相似。
6、进一步的，基于x和y得一种计算方法，公式如下：
7、
8、其中，表示取两个值其中的最小值，0≤z≤1。
9、进一步的，当语义相似度大于0.5时，说明两个文本语义上更新趋近于相似，语义相似度对对余弦相似度计算的文本相似度有积极作用语义越相似文本相似度应该越大。
10、进一步的，当x小0.5时，表示两个文本在语义上更趋近于不相同，对余弦相似度计算的文本相似度起抑制作用，语义相似度越小时抑制作用越强，基于余弦相似度文本相似度应该越小。
11、进一步的，当x等于0.5时认为此时语义相似度不起，只考虑文本相似度既可。
12、一种文本相似度度量系统，基于余弦相似度和word2vec，假设x为用word2vec计算出的语义相似度，y为用余弦相似度计算出的文本相似度，其中，0≤x≤1,0≤y≤1；
13、x和y其值越大表示相似度越大当其值等于1的时候表示完全相似，当其值等于0时其完全不相似。
14、进一步的，基于x和y得一种计算方法，公式如下：
15、
16、其中，表示取两个值其中的最小值，0≤z≤1。
17、进一步的，当语义相似度大于0.5时，说明两个文本语义上更新趋近于相似，语义相似度对对余弦相似度计算的文本相似度有积极作用语义越相似文本相似度应该越大。
18、进一步的，当x小0.5时，表示两个文本在语义上更趋近于不相同，对余弦相似度计算的文本相似度起抑制作用，语义相似度越小时抑制作用越强，基于余弦相似度文本相似度应该越小。
19、进一步的，当x等于0.5时认为此时语义相似度不起，只考虑文本相似度既可。
20、本专利技术的一种文本相似度度量方法及系统和现有技术相比，具有以下突出的有益效果：
21、本专利技术先用的相似度度量方法，综合考虑其存在的优缺点，使用文本相似度中的余弦相似度和语义相似度中的word2vec两种方法来综合度量文本相似度，该方法既考虑了文本在字面上的相似度同时又考虑了文本在语义上的相似度。使得两种方法的缺点都得到一定程度的缓解，使得度量结果能更加稳定更加准确。
本文档来自技高网...【技术保护点】
1.一种文本相似度度量方法，其特征在于，基于余弦相似度和Word2Vec，假设X为用Word2Vec计算出的语义相似度，Y为用余弦相似度计算出的文本相似度，其中，0≤X≤1,0≤Y≤1；
2.根据权利要求1所述的一种文本相似度度量方法，其特征在于，基于X和Y得一种计算方法，公式如下：
3.根据权利要求2所述的一种文本相似度度量方法，其特征在于，当语义相似度大于0.5时，说明两个文本语义上更新趋近于相似，语义相似度对对余弦相似度计算的文本相似度有积极作用语义越相似文本相似度应该越大。
4.根据权利要求3所述的一种文本相似度度量方法，其特征在于，当X小0.5时，表示两个文本在语义上更趋近于不相同，对余弦相似度计算的文本相似度起抑制作用，语义相似度越小时抑制作用越强，基于余弦相似度文本相似度应该越小。
5.根据权利要求4所述的一种文本相似度度量方法，其特征在于，当X等于0.5时认为此时语义相似度不起，只考虑文本相似度既可。
6.一种文本相似度度量系统，其特征在于，基于余弦相似度和Word2Vec，假设X为用Word2Vec计算
7.根据权利要求6所述的一种文本相似度度量系统，其特征在于，基于X和Y得一种计算方法，公式如下：
8.根据权利要求7所述的一种文本相似度度量系统，其特征在于，当语义相似度大于0.5时，说明两个文本语义上更新趋近于相似，语义相似度对对余弦相似度计算的文本相似度有积极作用语义越相似文本相似度应该越大。
9.根据权利要求8所述的一种文本相似度度量系统，其特征在于，当X小0.5时，表示两个文本在语义上更趋近于不相同，对余弦相似度计算的文本相似度起抑制作用，语义相似度越小时抑制作用越强，基于余弦相似度文本相似度应该越小。
10.根据权利要求9所述的一种文本相似度度量系统，其特征在于，当X等于0.5时认为此时语义相似度不起，只考虑文本相似度既可。
...【技术特征摘要】
1.一种文本相似度度量方法，其特征在于，基于余弦相似度和word2vec，假设x为用word2vec计算出的语义相似度，y为用余弦相似度计算出的文本相似度，其中，0≤x≤1,0≤y≤1；
2.根据权利要求1所述的一种文本相似度度量方法，其特征在于，基于x和y得一种计算方法，公式如下：
3.根据权利要求2所述的一种文本相似度度量方法，其特征在于，当语义相似度大于0.5时，说明两个文本语义上更新趋近于相似，语义相似度对对余弦相似度计算的文本相似度有积极作用语义越相似文本相似度应该越大。
4.根据权利要求3所述的一种文本相似度度量方法，其特征在于，当x小0.5时，表示两个文本在语义上更趋近于不相同，对余弦相似度计算的文本相似度起抑制作用，语义相似度越小时抑制作用越强，基于余弦相似度文本相似度应该越小。
5.根据权利要求4所述的一种文本相似度度量方法，其特征在于，当x等于0.5时认为此时语义相似度不起，只考虑文本相似度既可。
...【专利技术属性】
技术研发人员：秦西运，王振，尹青山，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。