外语教学评价信息生成方法以及装置制造方法及图纸

本公开是关于一种外语教学评价信息生成方法、装置、电子设备以及存储介质。该方法包括：输出外语测试信息，检测视频采集设备采集的视频信号，分别提取所述视频信号中的视频画面信息以及音频信息，对所述视频画面信息中的用户唇部进行定位，并抓取所述用户唇部的口型特征，在预先建立的外语测试信息与发音信息模型中匹配与所述外语测试信息对应的发音信息，所述发音信息包括标准发音以及标准口型特征，计算所述用户唇部的口型特征与匹配到的所述标准口型特征的第一特征偏差值，根据所述第一特征偏差值生成教学评价信息。本公开可以通过对外语测试信息中口型特征的定位和对比实现对外语教学的评价。

Method and device for generating evaluation information in foreign language teaching

The present disclosure relates to a method, device, electronic device and storage medium for generating foreign language teaching evaluation information. The method includes: outputting foreign language test information, detecting video signals collected by video acquisition equipment, extracting video picture information and audio information respectively, locating the user's lip in the video picture information, and grasping the mouth shape characteristics of the user's lip, and establishing a foreign language in advance. The test information matches the pronunciation information corresponding to the foreign language test information in the pronunciation information model. The pronunciation information includes the standard pronunciation and the standard mouth shape feature, calculates the mouth shape feature of the user and the first characteristic deviation value of the matched standard mouth shape feature, and generates according to the first characteristic deviation value. Teaching evaluation information. The present disclosure can realize the evaluation of foreign language teaching by positioning and comparing the mouth features in the foreign language test information.

【技术实现步骤摘要】
外语教学评价信息生成方法以及装置
本公开涉及计算机
，具体而言，涉及一种外语教学评价信息生成方法、装置、电子设备以及计算机可读存储介质。
技术介绍
外语学习中发音是否准确直接关系到教学学习效果，实际教学中，准确的判定用户每次的发音与口型的正确程度，让用户知悉待更正的方向，可以让提高用户的学习效率，实现事半功倍的效果。然而，在实际教学中，只能通过一对一教学的方式才能实现对用户每次的发音与口型的观察和判定，这样的方式需要耗用占用大量的教学资源，同时学习时间和场所也是很的制约因素。在现有技术中，围绕注释内容的显示这个主题，现有技术中已经有一些专利申请进行了有益的尝试，比如：申请号为CN201610823063.6的专利申请公开了一种语音口型动画的识别方法及装置，从待识别语音中提取语音特征；将提取的所述语音特征，输入预先训练的语音口型识别模型；确定所述语音口型识别模型输出的与所述语音特征对应的口型类别；根据所述语音口型识别模型输出的口型类别，确定与所述口型类别对应的口型动画，作为所述待识别语音的口型动画。该申请通过将提取的所述语音特征在预先训练的语音口型识别模型处理得到对应的口型，但是并没有对用户的口型进行采集分析。申请号为CN201611075466.3的专利申请公开了唇语识别方法以及装置，获取目标人体对象的图像信息；从所述图像信息中获取所述目标人体对象的嘴唇区域图像；从所述嘴唇区域图像中提取唇部特征，并对所述唇部特征进行唇语识别。该申请先对获取人体对象的图像信息，然后在其中获取嘴唇区域图像，进而提取唇部特征，但其获取嘴唇区域图像是通过对鼻尖的特征定位来实现的，并不是通过嘴唇的轮廓或者颜色特征来实现的。申请号为CN201611076381.7的专利申请公开了一种基于深度图像的唇语交互方法以及唇语交互装置，获取目标人体对象的深度图像信息；从深度图像信息中获取所述目标人体对象的唇部区域图像；从嘴唇区域图像提取唇部特征，根据唇部特征进行唇语识别；将唇语识别的结果转化成对应的操作指令，并根据所述操作指令进行交互。该申请是依靠图像识别的方式实现对唇部的定位及唇部特征的提取的，其目的是识别对应的唇语以实现对交互设备的控制，并不能将唇部特征显示给用户使用户达到外语学习的目的。现有技术中，关于外语教学评价信息生成方法中口型特征的处理还存在以下问题：1、通过视频采集设备采集并分析口型设备后，并没有在用户的显示终端中显示；2、不能先通过人体识别，进而通过嘴唇的轮廓或者颜色特征来实现对唇部的定位；3、此外，也并未关注到用户口型与标准口型对比显示的问题。因此，需要提供一种或多种至少能够解决上述问题的技术方案。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种外语教学评价信息生成方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。根据本公开的一个方面，提供一种外语教学评价信息生成方法，包括：一种外语教学评价信息生成方法，其特征在于，所述方法包括：输出外语测试信息，检测视频采集设备采集的视频信号，分别提取所述视频信号中的视频画面信息以及音频信息；对所述视频画面信息中的用户唇部进行定位，并抓取所述用户唇部的口型特征；在预先建立的外语测试信息与发音信息模型中匹配与所述外语测试信息对应的发音信息，所述发音信息包括标准发音以及标准口型特征；计算所述用户唇部的口型特征与匹配到的所述标准口型特征的第一特征偏差值，根据所述第一特征偏差值生成教学评价信息。在本公开的一种示例性实施例中，所述方法还包括：分析所述音频信息，识别所述音频信息中的用户发音；计算所述用户发音与匹配到的所述标准发音的第二特征偏差值；根据所述第一特征偏差值以及第二特征偏差值所述生成教学评价信息。在本公开的一种示例性实施例中，根据所述第一特征偏差值以及第二特征偏差值生成教学评价信息，包括：根据所述第一特征偏差值生成得分信息；将所述得分信息作为教学评价信息。在本公开的一种示例性实施例中，所述方法还包括：判断所述第一特征偏差值是否满足预设偏差条件；若所述特征偏差值满足预设偏差条件，根据所述第一特征偏差值生成教学评价信息，包括：根据所述第一特征偏差值得到第一偏差信息；根据所述第一偏差信息以及匹配到的标准发音以及标准口型特征生成教学评价信息。在本公开的一种示例性实施例中，所述方法还包括：对满足预设偏差条件的口型特征区域增加提示标识；根据所述增加提示标识的口型特征生成教学评价信息，并控制所述教学评价信息在用户显示设备上显示。在本公开的一种示例性实施例中，对所述视频画面信息中的用户唇部进行定位，包括：识别并定位所述视频画面信息中的用户面部轮廓；对面部轮廓中指定区域使用唇色过滤器对用户唇部进行定位并跟踪。在本公开的一种示例性实施例中，所述口型特征包括唇部轮廓、唇部口径、唇部张角、唇高以及唇宽。在本公开的一种示例性实施例中，在预先建立的外语测试信息与发音信息模型中匹配与所述外语测试信息对应的发音信息，包括：根据所述唇部轮廓、唇部口径、唇部张角、唇高以及唇宽的至少一项进行几何建模，形成矢量化口型特征；将所述矢量化口型特征与所述标准口型特征进行匹配。在本公开的一种示例性实施例中，所述方法还包括：判断所述得分信息是否小于预设分数；若是，保存所述得分信息以及与所述得分信息对应的外语测试信息以及发音信息；根据保存的所述得分信息以及对应的外语测试信息以及发音信息训练外语练习模型；定期将所述外语练习模型中的外语测试信息以及发音信息发送至用户，以进行外语强化练习。在本公开的一个方面，提供一种外语教学评价信息生成装置，包括：信号检测模块，用于输出外语测试信息，检测视频采集设备采集的视频信号，分别提取所述视频信号中的视频画面信息以及音频信息；特征抓取模块，用于对所述视频画面信息中的用户唇部进行定位，并抓取所述用户唇部的口型特征；信息匹配模块，用于在预先建立的外语测试信息与发音信息模型中匹配与所述外语测试信息对应的发音信息，所述发音信息包括标准发音以及标准口型特征；信息生成模块，用于计算所述用户唇部的口型特征与匹配到的所述标准口型特征的第一特征偏差值，根据所述第一特征偏差值生成教学评价信息。在本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的方法。在本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的方法。本公开的示例性实施例中的外语教学评价信息生成方法，输出外语测试信息，检测视频采集设备采集的视频信号，分别提取所述视频信号中的视频画面信息以及音频信息，对所述视频画面信息中的用户唇部进行定位，并抓取所述用户唇部的口型特征，在预先建立的外语测试信息与发音信息模型中匹配与所述外语测试信息对应的发音信息，所述发音信息包括标准发音以及标准口型特征，计算所述用户唇部的口型特征与匹配到的所述标准口型特征的第一特征偏差值，根据所述第一特征偏差值生成教学评价信本文档来自技高网...

【技术保护点】
1.一种外语教学评价信息生成方法，其特征在于，所述方法包括：输出外语测试信息，检测视频采集设备采集的视频信号，分别提取所述视频信号中的视频画面信息以及音频信息；对所述视频画面信息中的用户唇部进行定位，并抓取所述用户唇部的口型特征；在预先建立的外语测试信息与发音信息模型中匹配与所述外语测试信息对应的发音信息，所述发音信息包括标准发音以及标准口型特征；计算所述用户唇部的口型特征与匹配到的所述标准口型特征的第一特征偏差值，根据所述第一特征偏差值生成教学评价信息。

【技术特征摘要】
1.一种外语教学评价信息生成方法，其特征在于，所述方法包括：输出外语测试信息，检测视频采集设备采集的视频信号，分别提取所述视频信号中的视频画面信息以及音频信息；对所述视频画面信息中的用户唇部进行定位，并抓取所述用户唇部的口型特征；在预先建立的外语测试信息与发音信息模型中匹配与所述外语测试信息对应的发音信息，所述发音信息包括标准发音以及标准口型特征；计算所述用户唇部的口型特征与匹配到的所述标准口型特征的第一特征偏差值，根据所述第一特征偏差值生成教学评价信息。2.如权利要求1所述的方法，其特征在于，所述方法还包括：分析所述音频信息，识别所述音频信息中的用户发音；计算所述用户发音与匹配到的所述标准发音的第二特征偏差值；根据所述第一特征偏差值以及第二特征偏差值所述生成教学评价信息。3.如权利要求2所述的方法，其特征在于，根据所述第一特征偏差值以及第二特征偏差值生成教学评价信息，包括：根据所述第一特征偏差值生成得分信息；将所述得分信息作为教学评价信息。4.如权利要求1所述的方法，其特征在于，所述方法还包括：判断所述第一特征偏差值是否满足预设偏差条件；若所述特征偏差值满足预设偏差条件，根据所述第一特征偏差值生成教学评价信息，包括：根据所述第一特征偏差值得到第一偏差信息；根据所述第一偏差信息以及匹配到的标准发音以及标准口型特征生成教学评价信息。5.如权利要求4所述的方法，其特征在于，所述方法还包括：对满足预设偏差条件的口型特征区域增加提示标识；根据所述增加提示标识的口型特征生成教学评价信息，并控制所述教学评价信息在用户显示设备上显示。6.如权利要求1所述的方法，其特征在于，对所述视频画面信息中的用户唇部进行定位，包括：识别并定位所述视频画面信息中的用户面部轮廓；对面部轮廓中指定区域使用唇色过滤器对用户唇部进行...

【专利技术属性】
技术研发人员：陈铿帆，杨宁，卢炀，
申请(专利权)人：深圳市鹰硕技术有限公司，
类型：发明
国别省市：广东,44