【技术实现步骤摘要】
一种基于人工智能的英语发音自检方法和自检系统
本专利技术属于英语发音自检
，具体涉及一种基于人工智能的英语发音自检方法和自检系统。
技术介绍
英语教学是指对于英语是或者不是第一语言的人进行教授英语的过程。英语教学涉及多种专业理论知识，包括语言学、第二语言习得、词汇学、句法学、文体学、语料库理论、认知心理学等内容。英语教学是一个循序渐进的过程，无论是对于英语是或者不是第一语言的人来说，英语学习在全球化快速发展的今天都是至关重要的。现有的英语教学中，对于学生的发音质量评估存在不能有效、简单的确定发音与否和发音质量。目前，现有的英语发音测试系统大多仅依赖音频数据实现发音情况的检测，检测结果单一。同时这类系统大多仅依靠用户反复听标准音频数据的方式实现发音训练，训练效率即为低下。申请公布号为CN110379221A的中国专利技术专利申请文件公开了一种英语发音测试与评价系统，基于音频和口型实现了用户发音情况的检测分析，使得用户可以更加全面的了解自己的发音情况，同时以及标准口型协同标准音频的方式进行标准资料的反馈，大...
【技术保护点】
1.一种基于人工智能的英语发音自检方法，其特征在于，包括如下步骤：/n步骤一：采集人员在各音节标准发音时的面部图像，得到人员在各音节标准发音过程中各面部图像中的关键点序列和检测角序列；/n所述面部图像中的关键点包括两个嘴角、上嘴唇顶点、下嘴唇定点和鼻尖；两个嘴角连线的中点与鼻尖点构成参考向量；上嘴唇的顶点和下嘴唇的顶点构成动作向量，所述检测角为参考向量和动作向量的夹角；/n步骤二：建立姿态预测神经网络，以人员在标准发音过程中各面部图像的关键点序列为输入，以对应的检测角序列为输出，对姿态预测神经网络进行训练，得到训练后的姿态神经网络；/n步骤三：在用户发音过程中采集其面部图像...
【技术特征摘要】
1.一种基于人工智能的英语发音自检方法，其特征在于，包括如下步骤：
步骤一：采集人员在各音节标准发音时的面部图像，得到人员在各音节标准发音过程中各面部图像中的关键点序列和检测角序列；
所述面部图像中的关键点包括两个嘴角、上嘴唇顶点、下嘴唇定点和鼻尖；两个嘴角连线的中点与鼻尖点构成参考向量；上嘴唇的顶点和下嘴唇的顶点构成动作向量，所述检测角为参考向量和动作向量的夹角；
步骤二：建立姿态预测神经网络，以人员在标准发音过程中各面部图像的关键点序列为输入，以对应的检测角序列为输出，对姿态预测神经网络进行训练，得到训练后的姿态神经网络；
步骤三：在用户发音过程中采集其面部图像，得到其发音过程中各面部图像的关键点序列，将该关键点序列输入到训练后的姿态神经网络中，得到其检测角序列，将与其相似度最高的检测角序列所对应的音节作为用户所发出的音节。
2.根据权利要求1所述的基于人工智能的用于发音自检方法，其特征在于，获取面部图像中关键点坐标的方法为：
获取发音过程中的面部图像，包括面部的RGB图像和深度图像；
将面部的RGB图像输入到训练后的关键点定位神经网络中，得到面部图像中各关键点的二维坐标；
获取各关键点在深度图像中的深度值，将深度值作为对应关键点的第三轴坐标，将其与对应关键点的二维坐标相结合，得到各关键点的三维坐标。
3.根据权利要求2所述的基于人工智能的用于发音自检方法，其特征在于，获取面部的深度图像后首先对其进行中值滤波，然后将其转换为灰度图像。
4.根据权利要求1所述的基于人工智能的英语发音自检方法，其特征在于，计算两个检测角相似度的方法为：
比较两个检测角序列中对应时刻检测角度值的相似度；
判断各时刻检测角度值的相似度是否均大于相应的设定相似度，如果大于，则判断为两个检测角序列的相似度最高；
设两个检测角序列中，相同时刻的检测角度值分别为α1和α2，则两者之间的相似度为：P＝1-(α1-α2)/α1。
5.根据权利要求1所述的基于人工智能的英语发音自检方法，其特征在于，如果有面部图像中的关键点不能被检测到，则将该面部图像前一时刻和后一时刻面部图像中相应关键点位置的中点该面部图像中的关键点。
6.一种基于人工智能的英语发音自检系统，包括处理器...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。