【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及智能搜索和自然语言处理。
技术介绍
1、文本处理技术可以实现商城搜索场景下对用户的请求实现语句自动检查、自动纠正，隐式地对用户输入的语句进行更新和修正，可以提高用户搜索的正确性和精确性，进一步地也可以减少人工校验的成本。相关技术中，错误的请求语句必然对搜索算法带来了极大的挑战，如不能准确的识别用户的意图、无法召回最相关的商品、无法将最满足用户意图的商品排在前面等，因此，如何提高文本处理的效率和正确率，减少模型计算复杂度，降低文本纠错的延时，已经成为重要的研究方向之一。
技术实现思路
1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，
2、本申请第一方面实施例提出了一种文本处理模型的训练方法，包括：
3、获取样本文本对，并基于样本文本对获取第一候选文本和第二候选文本，其中，样本文本对包括初始文本以及初始文本对应的纠错后的参考文本；
4、由文本处理模型中的文本生成器对初始文本进行非自回归转换及扫描采样，以获取第三候
【技术保护点】
1.一种文本处理模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一候选文本的获取过程，包括：
3.根据权利要求2所述的方法，其特征在于，所述获取所述初始文本和所述参考文本之间的编辑距离，并根据所述编辑距离获取第一候选文本，包括：
4.根据权利要求3所述的方法，其特征在于，所述获取所述初始文本在所述编辑路径上的第四候选文本，包括：
5.根据权利要求1所述的方法，其特征在于，所述第二候选文本的获取过程，包括：
6.根据权利要求5所述的方法，其特征在于，所述多维度包括字形、字义和...
【技术特征摘要】
1.一种文本处理模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一候选文本的获取过程，包括：
3.根据权利要求2所述的方法，其特征在于，所述获取所述初始文本和所述参考文本之间的编辑距离，并根据所述编辑距离获取第一候选文本，包括：
4.根据权利要求3所述的方法，其特征在于，所述获取所述初始文本在所述编辑路径上的第四候选文本，包括：
5.根据权利要求1所述的方法，其特征在于，所述第二候选文本的获取过程，包括：
6.根据权利要求5所述的方法，其特征在于，所述多维度包括字形、字义和音韵，所述对所述初始文本和所述参考文本分别进行特征提取，并基于提取到的多维度特征，生成第二候选文本，包括：
7.根据权利要求4所述的方法，其特征在于，所述由文本处理模型中的文本生成器对所述初始文本进行非自回归转换及扫描采样，以获取第三候选文本，包括：
8.根据权利要求6所述的方法，其特征在于，所述由所述文本处理模型的文本纠错孪生网络分别对所述初始文本和所述第二候选文本进行特征处理以得到融合特征，包括：
9.根据权利要求8所述的方法，其特征在于，所述由所述文本处理模型的文本纠错孪生网络对所述初始文本和第二候选文本分别进行多维度的特征提取，获取所述初始文本的第一特征表示和所述第二候选文本的第二特征表示，包括：
10.根据权利要求7所述的方法，其特征在于，所述方法，还包括：
11.根据权利要求1-9任一项所述的方法，其特征在于，所述基于所述第一候选文本和所述第三候选文本，以及所述目标文本和所述参考文本，对所述文本处理模型进行调整，获取训练后的文本处...
【专利技术属性】
技术研发人员：祝大伟，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。