音频相关文本中错别字检测方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种音频相关文本中错别字检测方法、装置、设备及存储介质，本申请提取待检测文本的文字模态特征，与待检测文本相关输入音频的情感模态特征，将情感模态特征和文字模态特征进行融合，基于融合特征确定待检测文本对应的真实文本，对比真实文本和待检测文本，以得到错别字检测结果。本申请在错别字检测时，在考虑了待检测文本的文字模态特征的基础上，进一步融合了相关音频的情感模态特征，使得预测结果更加准确，在此基础上，通过对比真实文本和待检测文本，确定错别字检测结果，大大提升了错别字检测的准确度。大大提升了错别字检测的准确度。大大提升了错别字检测的准确度。

【技术实现步骤摘要】
音频相关文本中错别字检测方法、装置、设备及存储介质


[0001]本申请涉及自然语言处理
，更具体的说，是涉及一种音频相关文本中错别字检测方法、装置、设备及存储介质。

技术介绍

[0002]随着信息技术的发展，以信息传递形式多元化为特征的时代已经到来，在日常生产生活中，人们接收文字信息的来源越来越多，如街边广告、自媒体博文、视频字幕等。由于各种各样的原因，文字信息中可能会出现错别字的问题，如果单纯依据人力对这些文稿进行校对与纠错将耗费大量的人力与时间。
[0003]在人工智能蓬勃发展的今天，特别是得益于自然语言处理技术的进步，各种各样的文本检错纠错系统应运而生，从而帮助人们高效进行文字错误的检查和修改。现有纠错系统的基本流程是接收一段可能包含语法、词汇等各种错误的文本作为输入，对它进行处理，定位其中可能存在的错误并进行纠正，将定位结果以及纠正结果返回并告知用户。以视频字幕为例，现有纠错系统一般识别出视频字幕后，基于字幕文本信息的上下文，对字幕文本信息进行纠错处理，定位其中可能的错误，并返回给用户。
[0004]现有的纠错方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频相关文本中错别字检测方法，其特征在于，包括：获取输入音频及与所述输入音频相关的待检测文本；提取所述输入音频的情感模态特征，以及，提取所述待检测文本的文字模态特征；将所述情感模态特征及所述文字模态特征进行融合，得到融合特征；基于融合特征确定所述待检测文本对应的真实文本；对比所述真实文本和所述待检测文本，得到待检测文本中的错别字检测结果。2.根据权利要求1所述的方法，其特征在于，所述情感模态特征和所述文字模态特征分别为向量形式；将所述情感模态特征及所述文字模态特征进行融合，得到融合特征的过程，包括：采用门控融合方式，将向量形式的情感模态特征及文字模态特征进行融合，得到融合特征。3.根据权利要求2所述的方法，其特征在于，在采用门控融合方式，将向量形式的情感模态特征及文字模态特征进行融合之后，还包括：将融合特征与所述文字模态特征相加，得到残差融合特征，作为最终的融合特征。4.根据权利要求2所述的方法，其特征在于，在采用门控融合方式，将向量形式的情感模态特征及文字模态特征进行融合之前，还包括：对所述情感模态特征进行表示偏移及非线性变换，得到处理后情感模态特征。5.根据权利要求1所述的方法，其特征在于，提取所述情感模态特征及文字模态特征并对二者进行融合，基于融合特征确定待检测文本对应的真实文本的过程，通过预训练的音频文本识别模型处理得到；所述音频文本识别模型被配置为，提取输入音频的情感模态特征，提取输入的待检测文本的文字模态特征，并将情感模态特征和文字模态特征进行融合，基于融合特征预测待检测文本对应的真实文本的内部状态表示。6.根据权利要求5所述的方法，其特征在于，所述音频文本识别模型包括：音频处理模块、文本处理模块、多模态融合模块及输出模块；其中，音频处理模块，用于提取输入音频的情感模态特征；文本处理模块，用于提取待检测文本的文字模态特征；多模态融合模块，用于将所述情感模态特征及所述文字模态特征进行融合，得到融合特征；输出模块，用于基于所述融合特征确定待检测文本对应的真实文本。7.根据权利要求6所述的方法，其特征在于，所述多模态融合模块包括：特征编辑模块，用于对所述情感模态特征进行表示偏移及非线性变换，得到处理后情感模态特征；门控融合模块，用于采用门控融合方式，将所述处理后情感模态特征及所述文字模态特征进行融合，得到融合特征；残差连接模块，用于将所述融合特征与所述文字模态特征相加，得到残差融合特征，作为最终的融合特征。8.根据权利要求6所述的方法，其特征在于，所述音频处理模块包括：预训练音频编码模块，用于采用预训练的音频编码模型，对输入音频的音频特征进行
编码，以得到编码后的情感模态特征，其中，所述音频编码模型采用音频预...

【专利技术属性】
技术研发人员：陈致鹏，徐梓航，杨子清，崔一鸣，王士进，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：