一种发音纠正方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种发音纠正方法、装置、电子设备及存储介质。方法包括：获取待测用户的语音信息；提取语音信息中包含基本语音单元的语音片段，并对语音片段进行评分获得评分结果；在确定评分结果小于预设分值时，获取与语音片段对应的待测用户的面部图像信息；对面部图像信息进行识别确定发音纠正方式。通过语音测评获得评分较低的语音片段，并通过对评分较低的语音片段所对应的用户面部图像信息进行识别确定出发音纠正方式，从而可以结合语音和图像两个方面在口语教学的过程中快速准确的对学生进行发音纠正。

【技术实现步骤摘要】
一种发音纠正方法、装置、电子设备及存储介质
本公开实施例涉及数据处理
，尤其涉及一种发音纠正方法、装置、电子设备及存储介质。
技术介绍
作为人际交流的重要媒介，口语语言在实际生活中占有及其重要的地位，在口语教学领域老师通常需要对学生的口语发音进行纠正，以提高学生口语的语音表达正确性。但是由于学生的口语发音过程通常涉及到多器官的协同作用，在一些情况下老师虽然能够直接听出老师的发音错误，但在具体查找发音错误原因时，需要老师一遍遍仔细观察学生的发音过程，例如，口型、舌头的位置，最终才能找到造成发音错误的原因，以对学生的发音方法进行纠正，但这种方式不仅需要消耗老师较多的精力，而且显著降低口语教学的效率。
技术实现思路
本公开实施例提供一种发音纠正方法、装置、电子设备及存储介质，以实现快速准确的进行发音的纠正。第一方面，本公开实施例提供了一种发音纠正方法，该方法包括：获取待测用户的语音信息；提取语音信息中包含基本语音单元的语音片段，并对语音片段进行评分获得评分结果；在确定评分结果小于预设分值时，获取与语音片段对应的待测用户的面部图像信息；对面部图像信息进行识别确定发音纠正方式。第二方面，本公开实施例还提供了一种发音纠正装置，该装置包括：语音信息获取模块，用于获取待测用户的语音信息；语音评分模块，用于提取语音信息中包含基本语音单元的语音片段，并对语音片段进行评分获得评分结果；面部图像信息获取模块，用于在确定评分结果小于预设分值时，获取与语音片段对应的待测用户的面部图像信息；发音纠正方式确定模块，用于对面部图像信息进行识别确定发音纠正方式。第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本公开任意实施例的方法。第四方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任意实施例的方法。本公开实施例中，通过语音测评获得评分较低的语音片段，并通过对评分较低的语音片段所对应的用户面部图像信息进行识别确定出发音纠正方式，从而可以结合语音和图像两个方面在口语教学的过程中快速准确的对学生进行发音纠正。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。图1(a)是本公开实施例一提供的一种发音纠正方法的流程图；图1(b)是本公开实施例一提供的嘴部特征元素示意图；图2是本公开实施例二提供的一种发音纠正方法的流程图；图3是本公开实施例三提供的一种发音纠正装置的结构示意图；图4是本公开实施例四提供的一种电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。实施例一图1是本公开实施例提供的一种发音纠正方法的流程图，该方法可以由本公开实施例提供的发音纠正装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。本公开实施例的方法具体包括：可选的，如图1(a)所示，本公开实施例中的方法可以包括如下步骤：步骤101，获取待测用户的语音信息。具体的说，在对待测用户进行口语教学的过程中，可以让待测用户按照提前写好的文字按顺序进行阅读，在待测用户阅读的过程中，采用录音装置对待测用户的语音进行实时采集，可以将需要进行测评的时间范围内所采集的语音作为待测用户的语音信息，本申请实施方式中并不限定语音信息的具体采集时间，可以根据实际需要进行采集。需要说明的是，本实施方式中在对待测用户的语音信息进行实时采集的过程中，还会通过摄像装置对待测用户的面部图像信息进行同步采集，并且本实施方式中的摄像装置和录音装置可以位于一个设备中，本申请实施方式中并不限定摄像装置和录音装置的具体类型，只要能够实现待测用户的语音与面部图像的同步采集都是在本申请的保护范围内。步骤102，提取语音信息中包含基本语音单元的语音片段，并对语音片段进行评分获得评分结果。可选的，基本语音单元包括：音节或音素。可选的，对语音片段进行评分获得评分结果，可以包括：确定语音片段中的基本语音单元与标准语音单元的距离参数；根据距离参数从距离分值匹配列表中进行查询获得评分结果，其中，距离分值匹配列表中包含了距离参数与分值的对应关系。可选的，确定语音片段中的基本语音单元与标准语音单元的距离，可以包括：确定语音片段中每个语音帧所对应的基本语音单元与标准语音单元的子距离；计算子距离的平均值，并将计算结果作为距离参数。具体的说，本实施方式中在获取到语音信息后可以先进行语音测评，即进行初步评分，例如，所获取的语音信息是“普通话”，该语音信息由三个音节组成，可以拆分成“p,u,t,o,ng,h,u,a”八个音素，本实施方式中以音素作为基本的语音单元为例进行的说明。并且进行语音测评的具体方式可以是提取语音信息中包含基本语音单元的语音片段，例如，音素“o”占用的是语音信息中的200-300的语音帧，则将200-300的语音帧作为语音片段，并根据该语音片段进行评分获得评分结果。其中，在对语音片段进行评分获得评分结果时，例如针对音素“o”,确定语音片段200-300的语音帧中的基本语音单元与标准语音单元的距离参数，其中，距本文档来自技高网...

【技术保护点】
1.一种发音纠正方法，其特征在于，包括：/n获取待测用户的语音信息；/n提取所述语音信息中包含基本语音单元的语音片段，并对所述语音片段进行评分获得评分结果；/n在确定评分结果小于预设分值时，获取与所述语音片段对应的待测用户的面部图像信息；/n对所述面部图像信息进行识别确定发音纠正方式。/n

【技术特征摘要】
1.一种发音纠正方法，其特征在于，包括：
获取待测用户的语音信息；
提取所述语音信息中包含基本语音单元的语音片段，并对所述语音片段进行评分获得评分结果；
在确定评分结果小于预设分值时，获取与所述语音片段对应的待测用户的面部图像信息；
对所述面部图像信息进行识别确定发音纠正方式。


2.根据权利要求1所述的方法，其特征在于，所述基本语音单元包括：音节或音素。


3.根据权利要求2所述的方法，其特征在于，所述对所述语音片段进行评分获得评分结果，包括：
确定所述语音片段中的基本语音单元与标准语音单元的距离参数；
根据所述距离参数从距离分值匹配列表中进行查询获得所述评分结果，其中，所述距离分值匹配列表中包含了距离参数与分值的对应关系。


4.根据权利要求3所述的方法，其特征在于，所述确定所述语音片段中的基本语音单元与标准语音单元的距离参数，包括：
确定所述语音片段中每个语音帧所对应的基本语音单元与标准语音单元的子距离；
计算所述子距离的平均值，并将计算结果作为所述距离参数。


5.根据权利要求3所述的方法，其特征在于，所述对所述面部图像信息进行识别确定发音纠正方式，包括：
获取面部图像信息中的嘴部特征元素，其中，所述嘴部特征元素中包含嘴部特征点的位置和舌头的状态；
获取与所述标准语音单元所对应的发音规则，其中，所述发音规则中包含标准语音单元所对应的嘴部标准特征点的位置和舌头的标准状态；
根据所述嘴部特征元素和所述发音规则确定所述发音纠正方式。


...

【专利技术属性】
技术研发人员：顾宇，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11