基于大语言模型的发音偏误检测及动作反馈方法及系统技术方案

本发明专利技术提供一种基于大语言模型的发音偏误检测及动作反馈方法及系统，涉及发音偏误检测领域，包括：获取跟读文本的二语发音偏误数据集进行音素标注；将标注后的数据集以及跟读文本对应音素发送至gtp4，调用gtp4的API获得任意数量的跟读文本的发音动作反馈数据集；基于发音动作反馈数据集，获得发音动作反馈微调大语言模型，输入任意跟读文本至发音动作反馈微调大语言模型，完成基于大语言模型的发音偏误检测及动作反馈。可以实现对任意跟读文本的发音动作反馈，用于微调大语言模型的数据集可以自动获得。解决了现有人力成本高，且只能针对限定跟读文本的不足之处，并且由于反馈结果都是基于真实音素的反馈，比基于统计的方法得到的反馈信息更加有效。到的反馈信息更加有效。到的反馈信息更加有效。

【技术实现步骤摘要】
基于大语言模型的发音偏误检测及动作反馈方法及系统


[0001]本专利技术涉及发音偏误检测
，尤其涉及一种基于大语言模型的发音偏误检测及动作反馈方法及系统。

技术介绍

[0002]在计算机辅助二语教学系统中，系统如何反馈二语学习者带有一些发音动作的反馈信息一直是研究界和工业界难点和重点。[Harrison A M, Lo W K, Qian X, et al. Implementation of an extended recognition network for mispronunciation detection and diagnosis in computer
‑
assisted pronunciation training[C]//International Workshop on Speech and Language Technology in Education. 2009]提出了使用有限状态自动机建模跟读文本中的正确语音和可能出现错误的语音的路径，根据识别路径的可能情况，人为提前写好每条路径的反馈信息，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大语言模型的发音偏误检测及动作反馈方法，其特征在于，方法步骤包括：S1、获取跟读文本，基于所述跟读文本获得二语发音偏误数据集，对所述二语发音偏误数据集进行音素标注；S2、将标注后的二语发音偏误数据集以及跟读文本对应的音素发送至gtp4，通过所述gpt4进行发音修正训练；S3、基于所述发音修正训练，调用所述gtp4的API获得任意数量的跟读文本的发音动作反馈数据集，通过所述发音动作反馈数据集对错误发音进行属性反馈；S4、基于所述发音动作反馈数据集，获得发音动作反馈微调大语言模型；S5、输入任意跟读文本至所述发音动作反馈微调大语言模型，完成基于大语言模型的发音偏误检测及动作反馈。2.根据权利要求1所述的方法，其特征在于，所述步骤S1中，对所述二语发音偏误数据集进行音素标注，包括：将所述跟读文本的二语发音偏误数据集中的真实音素进行标注。3.根据权利要求1所述的方法，其特征在于，所述步骤S2中，将标注后的二语发音偏误数据集以及跟读文本对应的音素发送至gtp4，通过所述gpt4进行发音修正训练，包括：将标注后的二语发音偏误数据集，以及跟读文本对应音素发送至gtp4，通过所述gpt4进行分词，获得分词后的实际音素；将预设的正确音素和发音属性的对应关系输入至所述gtp4；基于所述正确音素和发音属性的对应关系，通过所述gtp4将所述实际音素和正确音素具有差异的部分转换为发音属性，获取发音动作的修正信息。4.根据权利要求3所述的方法，其特征在于，所述将预设的正确音素和发音属性的对应关系输入至所述gtp4，包括：预设正确音素，将所述正确音素和发音属性之间的对应关系，以及每一个维度的发音属性含义输入至所述gtp4。5.根据权利要求4所述的方法，其特征在于，基于所述正确音素和发音属性的对应关系，通过所述gtp4将所述实际音素和正确音素具有差异的部分转换为发音属性，获取发音动作的修正信息，包括：基于所述正确音素和发音属性的对应关系，通过所述gtp4将所述实际音素和正确音素具有差异的部分转换为发音属性；通过查看每一个维度的发音属性含义，判断存在错误发音的维度，获得发音动作的修正信息。6.根据权利要求5所述的方法，其特征在于，所述步骤S3中，基于所述发音修正训练，调用所述gtp4的API获得任意数量的跟读文本的发音动作反馈数据集，通过所述发音动作反馈数据集对错误发音进行属性反馈，包括：基于所述发音修正训练，调用所述gtp4的A...

【专利技术属性】
技术研发人员：解焱陆，钟辉航，
申请(专利权)人：北京语言大学，
类型：发明
国别省市：