一种基于深度学习的口语评测方法技术

本发明专利技术涉及口语训练领域，具体涉及一种基于深度学习的口语评测方法，包括如下步骤：S1、基于单词库构建单词标准发音数据集和单词标准口型图像数据集；S2、基于单词标准发音数据集和单词标准口型图像数据集分别训练构建音频测评模型和口型测评模型；S3、实现待测评音频数据及其对应的口型图像数据的采集；S4、基于音频测评模型、口型测评模型分别实现音频数据和口型图像数据的测评，输出测评结果。本发明专利技术在可以降低系统数据计算量的同时，可以提高测评结果的精确度。

【技术实现步骤摘要】
一种基于深度学习的口语评测方法
本专利技术涉及口语训练领域，具体涉及一种基于深度学习的口语评测方法。
技术介绍
口语测评是检验语言学习的一个重要的环节。如何通过口语测评正确的引导学生进行语言学习，以提升学生口语发音的准确性，是语言学习过程中的热点问题。目前，现有的口语评测系统普遍采用既有的语音识别模型实现口语的测评，容易存在测评漏洞；同时，由于既有语音识别模型的数据训练集庞大，因此，在进行测评时，模型所面临的数据计算量会很大，在容易降低测量精确度的同时，很容易出现系统故障的问题。再则，由于既有的语音识别模型是仅采用音频数据训练的，并未考虑到口语发音过程中的口型问题，一定程度又降低了测评结果的精确度。
技术实现思路
为解决上述问题，本专利技术提供了一种基于深度学习的口语评测方法，在可以降低系统数据计算量的同时，可以提高测评结果的精确度。为实现上述目的，本专利技术采取的技术方案为：一种基于深度学习的口语评测方法，包括如下步骤：S1、基于单词库构建单词标准发音数据集和单词标准口型图像数据集；S2、基于单词标准发音数据集和单词标准口型图像数据集分别训练构建音频测评模型和口型测评模型；S3、实现待测评音频数据及其对应的口型图像数据的采集；S4、基于音频测评模型、口型测评模型分别实现音频数据和口型图像数据的测评，输出测评结果。进一步地，所述步骤S1中，基于单词库通过网络爬虫模块在预设的网络基站上爬取对应单词的标准发音数据，实现单词标准发音数据集的构建。<br>进一步地，所述步骤S1中，基于单词库通过网络爬虫模块在预设的网络基站上爬取对应单词的标准发音视频，调用视频取帧脚本，每隔一定帧数获取一张图像，实现单词标准口型图像数据集的构建。进一步地，所述步骤S2中，所述音频测评模型采用Inception_V3模型，所述口型测评模型采用DssdInception_V3模型。进一步地，所述步骤S2中，首先录入待测评口语数据文本信息，基于数据挖掘模块根据录入的待测评口语数据文本信息在单词标准发音数据集和单词标准口型图像数据集中挖掘对应的单元标准发音数据和单词标准口型图像数据，然后基于挖掘到的单元标准发音数据和单词标准口型图像数据分别训练构建音频测评模型和口型测评模型。进一步地，所述步骤S3中，基于视频录制的方式实现待测评音频数据及其对应的口型图像数据的采集，视频录制完成后，自动生成对应的测评音频数据和口型图像数据。进一步地，所述测评结果以EXCEL的形式反馈，每一个单词均配置一条评估记录，每一条评估记录均包括单词数据、标准发音数据、用户发音数据、标准发音口型图像数据、用户发音口型图像数据、发音评估结果数据及发音口型评估结果数据。本专利技术具有以下有益效果：1）在考虑口语发音参数的同时，引入了口型参数的测评，在可以提高测评结果的精确度的同时，使得学生可以更加直观的了解自己的口语发音问题。2）基于待测评口语数据文本信息为每一次测评配置独立的测评模型，在可以降低系统数据计算量的同时，可以提高测评结果的精确度。3）通过评估结果格式的优化，使得学生可以根据自己的情况实现针对性的口语纠正训练，以提升口语发音的准确性。附图说明图1为本专利技术实施例一种基于深度学习的口语评测方法的流程图。具体实施方式为了使本专利技术的目的及优点更加清楚明白，以下结合实施例对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，本专利技术实施例提供了一种基于深度学习的口语评测方法，包括如下步骤：S1、基于单词库构建单词标准发音数据集和单词标准口型图像数据集；S2、基于单词标准发音数据集和单词标准口型图像数据集分别训练构建音频测评模型和口型测评模型；S3、实现待测评音频数据及其对应的口型图像数据的采集；S4、基于音频测评模型、口型测评模型分别实现音频数据和口型图像数据的测评，输出测评结果。本实施例中，所述步骤S1中，基于单词库通过网络爬虫模块在预设的网络基站上爬取对应单词的标准发音数据，实现单词标准发音数据集的构建；同时基于单词库通过网络爬虫模块在预设的网络基站上爬取对应单词的标准发音视频，调用视频取帧脚本，每隔一定帧数获取一张图像，实现单词标准口型图像数据集的构建。本实施例中，所述步骤S2中，首先录入待测评口语数据文本信息，基于数据挖掘模块根据录入的待测评口语数据文本信息在单词标准发音数据集和单词标准口型图像数据集中挖掘对应的单元标准发音数据和单词标准口型图像数据，然后基于挖掘到的单元标准发音数据和单词标准口型图像数据分别训练构建音频测评模型和口型测评模型。其中，所述音频测评模型采用Inception_V3模型，所述口型测评模型采用DssdInception_V3模型。所述DssdInception_V3模型采用Dssd目标检测算法。本实施例中，所述步骤S3中，基于视频录制的方式实现待测评音频数据及其对应的口型图像数据的采集，视频录制完成后，自动生成对应的测评音频数据和口型图像数据。本实施例中，所述测评结果以EXCEL的形式反馈，每一个单词均配置一条评估记录，每一条评估记录均包括单词数据、标准发音数据、用户发音数据、标准发音口型图像数据、用户发音口型图像数据、发音评估结果数据及发音口型评估结果数据。以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的口语评测方法，其特征在于，包括如下步骤：/nS1、基于单词库构建单词标准发音数据集和单词标准口型图像数据集；/nS2、基于单词标准发音数据集和单词标准口型图像数据集分别训练构建音频测评模型和口型测评模型；/nS3、实现待测评音频数据及其对应的口型图像数据的采集；/nS4、基于音频测评模型、口型测评模型分别实现音频数据和口型图像数据的测评，输出测评结果。/n

【技术特征摘要】
1.一种基于深度学习的口语评测方法，其特征在于，包括如下步骤：
S1、基于单词库构建单词标准发音数据集和单词标准口型图像数据集；
S2、基于单词标准发音数据集和单词标准口型图像数据集分别训练构建音频测评模型和口型测评模型；
S3、实现待测评音频数据及其对应的口型图像数据的采集；
S4、基于音频测评模型、口型测评模型分别实现音频数据和口型图像数据的测评，输出测评结果。


2.如权利要求1所述的一种基于深度学习的口语评测方法，其特征在于，所述步骤S1中，基于单词库通过网络爬虫模块在预设的网络基站上爬取对应单词的标准发音数据，实现单词标准发音数据集的构建。


3.如权利要求1所述的一种基于深度学习的口语评测方法，其特征在于，所述步骤S1中，基于单词库通过网络爬虫模块在预设的网络基站上爬取对应单词的标准发音视频，调用视频取帧脚本，每隔一定帧数获取一张图像，实现单词标准口型图像数据集的构建。


4.如权利要求1所述的一种基于深度学习的口语评测方法，其特征在于，所述步骤S2中，所述音频测评模型采用In...

【专利技术属性】
技术研发人员：霍雨佳，左欣，
申请(专利权)人：霍雨佳，
类型：发明
国别省市：贵州;52