本发明专利技术涉及自然语言处理技术领域，揭露一种专有名词纠错方法，包括：从预构建的专有名词库中获取多个专有名词，通过计算拼音及字形的编辑距离的方法，从预设字词库中获取专有名词对应的候选字词库；根据候选字词库对专有名词进行随机的字词替换或增删操作，得到正样本，以及从专有名词库中选择与专有名词完全不相同的专有名词作为负样本；利用专有名词以及专有名词对应的正样本和负样本对预构建的初始文本纠错模型进行训练，得到标准文本纠错模型；利用所述标准文本纠错模型对待纠错文本进行纠错，得到标准文本。本发明专利技术还提出一种专有名词纠错装置、设备及存储介质。本发明专利技术可以提升医疗诊断过程中对专有名词纠错的准确率。升医疗诊断过程中对专有名词纠错的准确率。升医疗诊断过程中对专有名词纠错的准确率。
【技术实现步骤摘要】
专有名词纠错方法、装置、设备及计算机可读介质
[0001]本专利技术涉及自然语言处理
，尤其涉及一种专有名词纠错方法、装置、设备及介质。
技术介绍
[0002]受限于目前的语音识别技术水平、用户自身的方言背景、以及输入法本身的识别技术水平，初始传入搜索引擎的query往往存在着同近音和近形字错误，例如，某些地方的方言背景的用户容易分不清”l”和“n”的发音，导致相应的近音字错误。另一方面，当用户需要检索某个专业领域的信息时，由于专有名词存在较多生僻字，普通用户在输入过程中容易输入更为熟悉和简单的同音近形字代替；同时，由于专有名词的字词组合方式较为罕见，用户难以完全记住，往往输入语序错误、或者具有多字缺字的错误query。
[0003]在现实应用中，专业领域信息的检索相较于通用领域的信息检索往往具有更低的容错度，在涉及法律、医疗等专业领域，错误的专业名词输入导致的错误检索结果轻则引发用户和平台之间的纠纷，重则会延误用户的求助和医疗救治。因此，亟需一种专有名词纠错方法，能够在用户输入错误时及时纠正，返回用户真正想要且准确的结果。
技术实现思路
[0004]本专利技术提供一种专有名词纠错方法、装置、设备及介质，其主要目的在于提升对专有名词纠错的准确率。
[0005]为实现上述目的，本专利技术提供的一种专有名词纠错方法，包括：
[0006]从预构建的专有名词库中获取多个专有名词，通过计算拼音及字形的编辑距离的方法，从预设字词库中获取所述专有名词对应的候选字词库；
[0007]根据所述候选字词库对所述专有名词进行随机的字词替换或增删操作，得到正样本，以及从所述专有名词库中选择与所述专有名词完全不相同的专有名词作为负样本；
[0008]利用所述专有名词以及所述专有名词对应的正样本和负样本对预构建的初始文本纠错模型进行训练，得到标准文本纠错模型；
[0009]利用所述标准文本纠错模型对待纠错文本进行纠错，得到标准文本。
[0010]可选地，所述利用所述专有名词以及所述专有名词对应的正样本和负样本对预构建的初始文本纠错模型进行训练，得到标准文本纠错模型，包括：
[0011]计算各个所述专有名词文本和对应正样本之间的第一欧式距离，以及计算各个所述专有名词文本和对应负样本之间的第二欧式距离；
[0012]从多个所述专有名词中选取其中一个专有名词，根据选取的所述专有名词的第一欧式距离以及所述第二欧式距离，利用所述初始文本纠错模型中的损失函数公式计算损失函数值；
[0013]判断所述损失函数值是否大于预设的损失函数阈值；
[0014]当所述损失函数值大于预设的损失函数阈值时，利用前反馈神经网络最小化所述
损失函数值，并将所述初始文本纠错模型的参数进行网络逆向更新，得到更新文本纠错模型，并返回上述从多个所述专有名词中选取一个专有名词的步骤；
[0015]当所述损失函数值小于或者等于预设的损失函数阈值时，将所述更新文本纠错模型作为所述标准文本纠错模型。
[0016]可选地，所述利用所述标准文本纠错模型对待纠错文本进行纠错，得到标准文本之前，所述方法还包括：
[0017]接收待纠错文本，并将所述待纠错文本拼音化，得到待纠错拼音文本；
[0018]将所述待纠错拼音文本通过预设的输入法进行转换，得到拼音转换文本；
[0019]比对所述拼音转换文本和所述待纠错文本的相同字符的数目；
[0020]当所述拼音转换文本和所述待纠错文本的相同字符的数目小于预设数目时，执行利用所述标准文本纠错模型对待纠错文本进行纠错的步骤。
[0021]可选地，所述方法还包括：
[0022]当所述拼音转换文本和所述待纠错文本的相同字符的数目大于或者等于预设数目时，计算所述待纠错文本的向量均值；
[0023]根据所述向量均值从所述专有名词库中获取所述待纠错文本的标准文本。
[0024]可选地，所述根据所述候选字词库对所述专有名词进行随机的字词替换或增删操作，得到正样本，包括：
[0025]从所述候选字词库中随机选择一个或者多个字词，利用选择的所述字词替换所述专有名词中对应的字词，得到替换专有名词；
[0026]随机删除所述专有名词中的一个或者多个字词，得到缺失专有名词；
[0027]汇总所述替换专有名词以及所述缺失专有名词，得到所述专有名词的正样本。
[0028]可选地，所述通过计算拼音及字形的编辑距离的方法，从预设字词库中获取所述专有名词对应的候选字词库，包括：
[0029]计算所述专有名词中每个字词与所述预设字词库中每个字词的字形编辑距离，从预设字词库中选择所述选择所述字形编辑距离小于预设第一编辑距离阈值的字词，得到字形近似词；
[0030]获取所述专有名词的拼音表示，得到名词拼音，计算所述名词拼音与所述预设字词库中每个字词的拼音之间的字音编辑距离，并从预设字词库中选择所述字音编辑距离小于预设第二编辑距离阈值的字词，得到拼音近似字词；
[0031]集合所述拼音近似字词和所述字形近似词，得到所述候选字词库。
[0032]可选地，所述损失函数公式为：
[0033]L＝max(d(anchor,positive)
‑
d(anchor,negative)+margin,0)
[0034]其中，L为损失函数值，d(anchor,positive)为所述专有名词文本和所述正样本的欧式距离，d(anchor,negative)为所述专有名词文本和所述负样本的欧式距离，margin为预设距离参考值。
[0035]为了解决上述问题，本专利技术还提供一种专有名词纠错装置，所述装置包括：
[0036]名词获取模块，用于从预构建的专有名词库中获取多个专有名词，通过计算拼音及字形的编辑距离的方法，从预设字词库中获取所述专有名词对应的候选字词库；
[0037]样本构建模块，用于根据所述候选字词库对所述专有名词进行随机的字词替换或
增删操作，得到正样本，以及从所述专有名词库中选择与所述专有名词完全不相同的专有名词作为负样本；
[0038]模型训练模块，用于利用所述专有名词以及所述专有名词对应的正样本和负样本对预构建的初始文本纠错模型进行训练，得到标准文本纠错模型；
[0039]文本纠错模块，用于利用所述标准文本纠错模型对待纠错文本进行纠错，得到标准文本。
[0040]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0041]至少一个处理器；以及，
[0042]与所述至少一个处理器通信连接的存储器；其中，
[0043]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的专有名词纠错方法。
[0044]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，包括存储数据区和存储程序本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种专有名词纠错方法，其特征在于，所述方法包括：从预构建的专有名词库中获取多个专有名词，通过计算拼音及字形的编辑距离的方法，从预设字词库中获取所述专有名词对应的候选字词库；根据所述候选字词库对所述专有名词进行随机的字词替换或增删操作，得到正样本，以及从所述专有名词库中选择与所述专有名词完全不相同的专有名词作为负样本；利用所述专有名词以及所述专有名词对应的正样本和负样本对预构建的初始文本纠错模型进行训练，得到标准文本纠错模型；利用所述标准文本纠错模型对待纠错文本进行纠错，得到标准文本。2.如权利要求1所述的专有名词纠错方法，其特征在于，所述利用所述专有名词以及所述专有名词对应的正样本和负样本对预构建的初始文本纠错模型进行训练，得到标准文本纠错模型，包括：计算各个所述专有名词文本和对应正样本之间的第一欧式距离，以及计算各个所述专有名词文本和对应负样本之间的第二欧式距离；从多个所述专有名词中选取其中一个专有名词，根据选取的所述专有名词的第一欧式距离以及所述第二欧式距离，利用所述初始文本纠错模型中的损失函数公式计算损失函数值；判断所述损失函数值是否大于预设的损失函数阈值；当所述损失函数值大于预设的损失函数阈值时，利用前反馈神经网络最小化所述损失函数值，并将所述初始文本纠错模型的参数进行网络逆向更新，得到更新文本纠错模型，并返回上述从多个所述专有名词中选取一个专有名词的步骤；当所述损失函数值小于或者等于预设的损失函数阈值时，将所述更新文本纠错模型作为所述标准文本纠错模型。3.如权利要求1所述的专有名词纠错方法，其特征在于，所述利用所述标准文本纠错模型对待纠错文本进行纠错，得到标准文本之前，所述方法还包括：接收待纠错文本，并将所述待纠错文本拼音化，得到待纠错拼音文本；将所述待纠错拼音文本通过预设的输入法进行转换，得到拼音转换文本；比对所述拼音转换文本和所述待纠错文本的相同字符的数目；当所述拼音转换文本和所述待纠错文本的相同字符的数目小于预设数目时，执行利用所述标准文本纠错模型对待纠错文本进行纠错的步骤。4.如权利要求3所述的专有名词纠错方法，其特征在于，所述方法还包括：当所述拼音转换文本和所述待纠错文本的相同字符的数目大于或者等于预设数目时，计算所述待纠错文本的向量均值；根据所述向量均值从所述专有名词库中获取所述待纠错文本的标准文本。5.如权利要求1所述的专有名词纠错方法，其特征在于，所述根据所述候选字词库对所述专有名词进行随机的字词替换或增删操作，得到正样本，包括：从所述候选字词库中随机选择一个或者多个字词，利用选择的所述字词替换所述专有名词中对应的字词，得到...
【专利技术属性】
技术研发人员：杨海韵，严为绒，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。