【技术实现步骤摘要】
文本纠错方法、系统、设备及存储介质
[0001]本专利技术涉及文本纠错领域，更具体地，涉及文本纠错方法、系统、设备及存储介质。
技术介绍
[0002]自动语音识别（Automatic Speech Recognition，ASR）是自然语言处理中智能语音的一项基础任务，该技术能够广泛应用于智能客服、智能外呼等场景。在自动语音识别任务中，经常出现语音识别结果不够准确的情况，例如识别得到的文本出现错字、多字、少字等错误，因此，对于下游的自然语言处理业务而言，自动语音识别结果的纠错也是一项关键的任务。而现有的文本纠错方案一般采用管道式处理，即分为三个顺序步骤：错误检测、候选召回、候选排序。错误检测是指检测定位文本中出现错误的点位，候选召回是指召回错误点位的正确候选词，候选排序是指需通过排序算法对召回的候选词进行打分排序，选择分数最高/顺序最前的一项与错误点位的词/字进行替换。现有的方案中会通过三个独立的模型分别实现三个步骤，但管道式处理的方式必然导致下游模型会强依赖上游模型的结果，则当某一模型出现误差时，该误差会在下游模型中不断累...
【技术保护点】
【技术特征摘要】
1.一种文本纠错方法，其特征在于，包括：将经过自动语音识别得到的文本切分为若干个短句；对于每一个所述短句执行以下操作：将所述短句输入已训练的纠错模型，所述纠错模型包括音素提取器、音素特征编码器、语言特征编码器、特征合并模块以及解码器；所述音素提取器、音素特征编码器、语言特征编码器、特征合并模块以及解码器在通过将文本样本输入所述纠错模型进行训练的过程中同步更新参数；所述音素提取器获取所述短句的音素信息；所述音素特征编码器通过编码将所述音素信息转化为音素特征；所述语言特征编码器通过编码得到所述短句的语言特征；所述特征合并模块合并所述音素特征和所述语言特征得到合并特征；所述解码器通过对所述合并特征进行解码以对所述短句进行纠错，并得到纠错后的短句；确定纠错后的短句的文本困惑度作为第一困惑度；确定纠错前的短句的文本困惑度作为第二困惑度；通过比较同一短句的第一困惑度和第二困惑度确定以所述纠错前的短句或纠错后的短句作为对应短句的正确文本；将所有所述短句的正确文本按顺序合并为正确文本。2.根据权利要求1所述的文本纠错方法，其特征在于，确定纠错后的短句的文本困惑度作为第一困惑度，具体包括：将纠错后的短句分别输入两个基于不同语料训练的语言模型，以使两个所述语言模型分别输出纠错后的短句的文本困惑度指标，根据两个所述语言模型输出的文本困惑度指标得到纠错后的短句的文本困惑度作为第一困惑度；确定纠错前的短句的文本困惑度作为第二困惑度，具体包括：将纠错前的短句分别输入所述两个基于不同语料训练的语言模型，以使两个所述语言模型分别输出纠错前的短句的文本困惑度指标，根据两个所述语言模型输出的文本困惑度指标得到纠错前的短句的文本困惑度作为第二困惑度；所述语言模型以所述文本困惑度作为评价指标。3.根据权利要求2所述的文本纠错方法，其特征在于，所述两个基于不同语料训练的语言模型均为双向N元语言模型；所述双向N元语言模型由一层逆向的N
‑
Gram结构和一层正向的N
‑
Gram结构相加得到，所述N为正整数。4.根据权利要求1~3任一项所述的文本纠错方法，其特征在于，通过比较所述第一困惑度和第二困惑度确定以所述纠错后的短句或纠错前的短句作为所述短句的正确文本，具体包括：判断所述第一困惑度是否小于或等于所述第二困惑度，如是，则以纠错后的短句作为所述短句的正确文本；如否，则以纠错前的短句作为所述短句的正确文本。5.根据权利要求1~3任一项所述的文本纠错方法，其特征在于，所述音素信息包括拼音声母信息和拼音韵母信息；
所述音素特征包括第一音素特征和第二音素特征；获取所述短句的音素信息，并通过音素编码将所述音素信息转化为音素特征，具体包括：获取所述短句的拼音声母信息和拼音韵母信息，通过音素编码将所述拼音声母信息转化为第一音素特征，并将拼音韵母信息转化为第二音素特征；合并所述音素特征和所述语言特征得到合并特征，具体包括：合并所述第一音素特征、所述第二音素特征以及所述语言特征得到合并特征。6.根据权利要求1~3任一项所述的文本纠错方法，其特征在于，所述文本样本采用...
【专利技术属性】
技术研发人员：吕召彪，许程冲，李剑锋，肖清，周丽萍，
申请(专利权)人：联通广东产业互联网有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。