用户发音准确度评估方法、装置和电子设备制造方法及图纸

本发明专利技术属于在线教育技术领域，提供一种用户发音准确度评估方法、装置、电子设备和记录介质，方法包括：获取用户发音时的音频信息和影像信息；从所述影像信息中筛选出至少一帧用户发音时的图像；从所述发音时的图像中提取用户的口型信息；将所述音频信息和口型信息分别输入不同的深度学习模型，计算用户的发音匹配度和口型匹配度，并根据该发音匹配度和口型匹配度判断用户发音是否准确。本发明专利技术通过多维度来评估用户的发音是否准确，使得评估结果更加精确，将评估结果实时反馈给用户，并根据评估结果给出对应的纠正方案，便于用户调整自己的发音口型和发音音调，提升用户体验。

【技术实现步骤摘要】
用户发音准确度评估方法、装置和电子设备
本专利技术属于教育
，特别适用于在线教育，更具体的是涉及一种用户发音准确度评估方法、装置、电子设备和计算机可读介质。
技术介绍
在语言学习的过程中，学习正确的口语发音也是非常重要的一部分，在之前几年，口语学习只能跟随线下的老师进行，随着技术的发展，线上的口语学习成为一种趋势，近几年口语发音打分和纠正主要建立在语音特征的表示上。发音时口型的正确与否对发音起到了至关重要的作用，也即掌握正确的口型可以促使学习者发出标准的读音。现有的产品在进行用户发音练习时，主要方式是通过将用户发音时的口型与标准口型进行比对，或者将用户发音时的语音与标准语音进行比对，来判断用户发音是否标准，但这种单一的比对方式判断结果并不准确，很可能出现用户口型标准但是发音不准的问题，相应的对用户发音不准的问题纠正效果也有限。
技术实现思路
(一)要解决的技术问题本专利技术旨在解决如何有效评估并纠正用户发音不准确的问题。(二)技术方案为解决上述技术问题，本专利技术的一方面提出一种用户发音本文档来自技高网...

【技术保护点】
1.一种用户发音准确度评估方法，其特征在于，包括：/n获取用户发音时的音频信息和影像信息；/n从所述影像信息中筛选出至少一帧用户发音时的图像；/n从所述发音时的图像中提取用户的口型信息；/n将所述音频信息和口型信息分别输入不同的深度学习模型，计算用户的发音匹配度和口型匹配度，并根据该发音匹配度和口型匹配度判断用户发音是否准确。/n

【技术特征摘要】
1.一种用户发音准确度评估方法，其特征在于，包括：
获取用户发音时的音频信息和影像信息；
从所述影像信息中筛选出至少一帧用户发音时的图像；
从所述发音时的图像中提取用户的口型信息；
将所述音频信息和口型信息分别输入不同的深度学习模型，计算用户的发音匹配度和口型匹配度，并根据该发音匹配度和口型匹配度判断用户发音是否准确。


2.根据权利要求1所述的用户发音准确度评估方法，其特征在于，所述计算用户的口型匹配度进一步包括：
从每帧发音时的图像的口型信息中提取嘴部的关键点区域图像；
将所述关键点区域图像输入第一深度学习模型得到该用户的第一口型类别；
判断所述第一口型类别与正确的口型类别是否相同。


3.根据权利要求1或2所述的用户发音准确度评估方法，其特征在于，所述计算用户的口型匹配度进一步包括：
将所述口型信息输入第二深度学习模型，提取嘴部的关键点区域特征；
将关键点区域特征与预设的口型库中的特征进行匹配，得到对应的第二口型类别；
判断所述第二口型类别与正确的口型类别是否相同。


4.根据权利要求1-3任一所述的用户发音准确度评估方法，其特征在于，所述将关键点区域特征与预设的口型库中的特征进行匹配，得到对应的口型类别，进一步包括：
将关键点区域特征与预设的口型库中的特征进行匹配，选择与口型库中相同特征最多的口型类别作为该用户的口型类别；
将该口型类别的特征与正确的口型类别的特征进行相似度计算，得到相似度值；
可选地，所述根据发音匹配度和口型匹配度判断用户发音是否准确，进一步包括：
根据预定的规则判断用户发音是否准确，所述规则包括：当发音匹配度和口型匹配度中的至少一个低于预设的下限值时，用户发音不准确。


5.根据权利要求1-4任一所述的用户发音准确度评估方法，其特征在于，所述根据预定的规则判断用户发音是否准确，进一步包括：
设置所述第一口型类别的得分为口型匹配度，当所述第一口型类别...

【专利技术属性】
技术研发人员：王岩，王岩，安晟，蔡红，杨森，
申请(专利权)人：作业帮教育科技北京有限公司，
类型：发明
国别省市：北京;11