端到端实体模糊方法和系统、电子设备、计算机存储介质技术方案

本发明专利技术提供一种端到端实体模糊方法和系统、电子设备、计算机存储介质，该方法包括：获取用户的请求信息；将请求信息分别与多个预设候选信息均进行实体模糊处理，得到多个相似度；取多个相似度中相似度最高的作为实体模糊后的最终相似度；不需要人工计算前缀匹配、后缀匹配、NGram、CLS等人工总结、计算的特征方式，采用模型自主学习特征方式，让模型能够自主学习到更多深层次的特征信息，也即，轻模型工程化的复杂度，并且让模型能够自主的学习更多潜在的、隐藏特征。隐藏特征。隐藏特征。

【技术实现步骤摘要】
端到端实体模糊方法和系统、电子设备、计算机存储介质


[0001]本专利技术属于自然语言处理
，更具体的说，尤其涉及一种端到端实体模糊方法和系统、电子设备、计算机存储介质。

技术介绍

[0002]自然语言处理，主要解决的是自然语言处理过程中，当在语音识别后的文本包含噪音、识别错误、用户表达不全的情况下，能够根据实体候选列表匹配到最相似的实体。
[0003]现有的实体模糊技术主要靠的是特征工程方案，在模型推理之前，需要人工计算特征，例如前缀匹配、后缀匹配、编辑距离等特征。这种模型方案不属于端到端的模型方案，工程化较复杂；且人工总结的特征可能存在不全面的情况，使得模型无法学习到更多深度次隐藏的特征。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种端到端实体模糊方法和系统、电子设备、计算机存储介质，用于舍弃现有人工总结、计算的特征方式，采用模型自主学习特征方式，让模型能够自主学习到更多深层次的特征信息。
[0005]本申请第一方面公开了一种端到端实体模糊方法，包括：
[0006]获取用户的请求信息；
[0007]将所述请求信息分别与多个预设的候选信息均进行实体模糊处理，得到多个相似度；
[0008]取多个所述相似度中相似度最高的值，作为实体模糊后的最终相似度。
[0009]可选的，将所述请求信息与所述预设的候选信息进行实体模糊处理，得到所述相似度，包括：
[0010]对所述请求信息和所述预设的候选信息进行词性解析，得到所述请求信息的文本信息、所述请求信息的词性信息、所述候选信息的文本信息和所述候选信息的词性信息；
[0011]对所述请求信息的文本信息与所述候选信息的文本信息，进行特征自训练，得到特征相似度；以及，对所述请求信息的文本信息、所述请求信息的词性信息、所述候选信息的文本信息和所述候选信息的词性信息进行注意力处理得到注意力相似度；
[0012]将所述特征相似度和所述注意力相似度，进行拼接后进行矩阵运行，得到所述请求信息的文本信息与候选信息的文本信息的相似度。
[0013]可选的，对所述请求信息的文本信息与所述候选信息的文本信息，进行特征自训练，得到特征相似度，包括：
[0014]所述请求信息的文本信息保持不动，所述候选信息的文本信息向右依次平移，并计算每次平移后的两个文本信息的叠加向量；以及，所述请求信息的文本信息保持不动，所述候选信息的文本信息向左依次平移，并计算每次平移后的两个的叠加向量；
[0015]将各个所述叠加向量作为局部相似片段；
[0016]将各个所述局部片段进行线性函数处理，得到特征相似度。
[0017]可选的，请求信息的文本信息保持不动，候选信息的文本信息向右依次平移，并计算每次平移后的两个文本信息的叠加向量；以及，所述请求信息的文本信息保持不动，所述候选信息的文本信息向左依次平移，并计算每次平移后的两个文本信息的叠加向量，所采用的公式包括：
[0018][0019]其中，pos是左右平移位置编码；向左平移n次时，pos分别是0，
‑
1，
‑
2，
‑
n；向右平移n次时，pos分别是0，1，2，n；d为位置编码矩阵的维度；PE(pos,2i)为学习偶数位置上的位置编码矩阵；PE(pos,2i+1)为学习奇数位置上的位置编码矩阵；
[0020]所述线性函数处理所采用的公式为：
[0021]feat_mat＝w1*(feat_left_mat+left_posi_emb)+w2*(feat_right_mat+right_posi_emb)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(2)
[0022]final_feat_mat＝linear(feat_mat)；
[0023]其中，所述w1、w2表示模型学习的参数，linear表示线性函数；feat_left_mat为左移特征矩阵；feat_right_mat为右移特征矩阵；right_posi_emb为公式(1)向右平移n次的值；left_posi_emb为公式(1)向左平移n次的值；feat_mat为学习后的特征矩阵；final_feat_mat为线性处理后的矩阵。
[0024]可选的，对所述请求信息的文本信息、所述请求信息的词性信息、所述候选信息的文本信息和所述候选信息的词性信息进行注意力处理得到注意力相似度所采用的公式为：
[0025][0026]其中，attmat为注意力相似度，q_n表示所述请求信息的词性信息，c_n表示所述候选信息的词性信息；q表示所述请求信息的文本信息；c表示所述候选信息的文本信息；d为多头注意力的头数，其为固定值；Q、V为融合所述请求信息中文本信息和词性信息的矩阵，K为融合所述候选信息中文本信息和词性信息的矩阵；concat表示两个矩阵拼接。
[0027]本申请第二方面公开了一种端到端实体模糊系统，包括：
[0028]获取模块，用于获取用户的请求信息；
[0029]实体模糊模型，用于将所述请求信息分别与多个预设候选信息均进行实体模糊处理，得到多个相似度；取多个相似度中相似度最高的作为实体模糊后的最终相似度。
[0030]可选的，实体模糊模型，包括：
[0031]解析模块，用于对所述请求信息和所述预设的候选信息进行词性解析，得到所述请求信息的文本信息、所述请求信息的词性信息所述、候选信息的文本信息和所述候选信息的词性信息；
[0032]特征自训练模块，用于对所述请求信息的文本信息与所述候选信息的文本信息，进行特征自训练，得到特征相似度；
[0033]注意力模块，用于对所述请求信息的文本信息、所述请求信息的词性信息、所述候选信息的文本信息和所述候选信息的词性信息进行注意力处理得到注意力相似度；
[0034]矩阵拼接线性模块，用于将所述特征相似度和所述注意力相似度，进行拼接后进行矩阵运行，得到所述请求信息的文本信息与候选信息的文本信息的相似度。
[0035]可选的，还包括：实体模糊模型的构建单元；所述构建单元包括：
[0036]样本获取单元，用于获取请求信息样本；
[0037]实体模糊处理单元，用于将所述请求信息样本与第一预设的候选信息进行实体模糊处理，得到第一相似度，以及，将所述请求信息与第二预设的候选信息进行实体模糊处理，得到第二相似度；
[0038]损失函数计算单元，用于对两个相似度，进行损失函数计算，得到实体模糊后的损失程度；当所述损失程度满足预设条件时，完成实体模糊模型的构建。
[0039]本申请第三方面公开了一种电子设备，包括：
[0040]一个或多个处理器；
[0041]存储系统，其上存储有一个或多个程序；
[0042]当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如本申请第一方面任一项所述的端到端实体模糊方法。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端到端实体模糊方法，其特征在于，包括：获取用户的请求信息；将所述请求信息分别与多个预设的候选信息均进行实体模糊处理，得到多个相似度；取多个所述相似度中相似度最高的值，作为实体模糊后的最终相似度。2.根据权利要求1所述的端到端实体模糊方法，其特征在于，将所述请求信息与所述预设的候选信息进行实体模糊处理，得到所述相似度，包括：对所述请求信息和所述预设的候选信息进行词性解析，得到所述请求信息的文本信息、所述请求信息的词性信息、所述候选信息的文本信息和所述候选信息的词性信息；对所述请求信息的文本信息与所述候选信息的文本信息，进行特征自训练，得到特征相似度；以及，对所述请求信息的文本信息、所述请求信息的词性信息、所述候选信息的文本信息和所述候选信息的词性信息进行注意力处理得到注意力相似度；将所述特征相似度和所述注意力相似度，进行拼接后进行矩阵运行，得到所述请求信息的文本信息与候选信息的文本信息的相似度。3.根据权利要求2所述的端到端实体模糊方法，其特征在于，对所述请求信息的文本信息与所述候选信息的文本信息，进行特征自训练，得到特征相似度，包括：所述请求信息的文本信息保持不动，所述候选信息的文本信息向右依次平移，并计算每次平移后的两个文本信息的叠加向量；以及，所述请求信息的文本信息保持不动，所述候选信息的文本信息向左依次平移，并计算每次平移后的两个的叠加向量；将各个所述叠加向量作为局部相似片段；将各个所述局部片段进行线性函数处理，得到特征相似度。4.根据权利要求3所述的端到端实体模糊方法，其特征在于，请求信息的文本信息保持不动，候选信息的文本信息向右依次平移，并计算每次平移后的两个文本信息的叠加向量；以及，所述请求信息的文本信息保持不动，所述候选信息的文本信息向左依次平移，并计算每次平移后的两个文本信息的叠加向量，所采用的公式包括：其中，pos是左右平移位置编码；向左平移n次时，pos分别是0，
‑
1，
‑
2，
‑
n；向右平移n次时，pos分别是0，1，2，n；d为位置编码矩阵的维度；PE(pos,2i)为学习偶数位置上的位置编码矩阵；PE(pos,2i+1)为学习奇数位置上的位置编码矩阵；所述线性函数处理所采用的公式为：其中，所述w1、w2表示模型学习的参数，linear表示线性函数；feat_left_mat为左移特征矩阵；feat_right_mat为右移特征矩阵；right_posi_emb为公式(1)向右平移n次的值；left_posi_emb为公式(1)向左平移n次的值；feat_mat为学习后的特征矩阵；final_feat_mat为线性处理后的矩阵。
...

【专利技术属性】
技术研发人员：梅林海，陈洋，连德富，刘权，凌震华，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：