一种基于音视频双模态的口语学习监测方法技术

本发明专利技术公开了一种基于音视频双模态的口语学习监测方法，包括如下步骤：a)建立所有标准发音单元的声音信息库和图像特征信息库；b)实时采集用户口语学习时的语音及视频信息，压缩编码后传送到服务器端；c)服务器对用户的语音解码后进行切分，得到用户的每个发音单元的声音信息匹配度；d)服务器从同时采集的视频信息中提取出每个发音单元对应的图像动作特征信息，并给出其与标准发音单元的图像特征信息匹配度。本发明专利技术提供的基于音视频双模态的口语学习监测方法，通过同时采集语音及视频信息，并分别对语音及图像特征信息进行切分比对，从而能够快速、准确地找出发音的不足及产生原因，减少对教师资源的依赖并大大提高学习效率。

【技术实现步骤摘要】

本专利技术涉及一种用户在线学习监测方法，尤其涉及。
技术介绍
目前,在全球化的大趋势下，口语教育正成为全球的一个庞大产业。对于中国的情况来说，中国人学习外语以及外国人学习汉语的热潮越发高涨。一方面，外语(特别是英语)是商业交流活动中不可缺少的工具，从而推动了中国在职人员学习外语的热情。据不完全统计，北京、上海等大城市约有1%的在职人员在外语学习方面投入超过收入的10%。另一方面，全球化推动学习英语的热潮中，也成就了新的热潮，比如“中国热”。但是目前的传统语言教育方式越来越不能满足这一趋势。作为相互交流的基础，现代语言的学习越来越强调发音的学习。语言教学中，教师作为一个有效的反馈源，仍然有一些无法解决的问题:语言的学习是需要反复训练的，需要随时随地有效利用碎片时间进行练习；但是教师资源的有限性，不可能对所有学生随时进行一对一的指导。不少学生在传统语言教学模式下逐渐对语言学习失去兴趣，进而变成哑巴外语、应试外语。计算机辅助语言教学(computer-assistedlanguage learning,简称CALL),按照人们事先安排的语言教学计划和内容进行课堂教学和辅助课外操。早在1955年左右就有人探讨如何把计算机用于教育。现在，计算机辅助语言教学和远程网络结合起来广泛应用于口语学习。在线口语学习平台因时间自由，费用低廉，越来越得到普通用户的青睐；而对于口语学习平台来说，用户的增加，若不增加师资力量，必然导致单个用户资源的不足，而当今社会，人力成本越来越高，如何有效的监管用户的学习情况，已成为摆在口语学习平台的一个重要问题。因此有必要提供，能够替代大部分教师资源，自动实现用户口语学习发音和嘴型的比对分析，找出用户发音的不足及产生原因，帮助用户改正，促进用户的语言学习。
技术实现思路
本专利技术所要解决的技术问题是提供，能够自动实现用户口语学习发音和嘴型的比对分析，帮助用户找出发音的不足及产生原因，减少对教师资源的依赖并提高学习效率。本专利技术为解决上述技术问题而采用的技术方案是提供，包括如下步骤:a)建立所有标准发音单元的声音信息库和图像特征信息库山)实时采集用户口语学习时的语音及视频信息，压缩编码后传送到服务器端；c)服务器接收到用户上传的数据解码后，对用户的语音进行切分，得到用户的每个发音单元的声音信息，并给出用户的每个发音单兀与标准发音单兀的声音信息匹配度；d)服务器从同时采集的视频信息中提取出每个发音单元对应的图像动作特征信息，并给出用户的每个发音单元与标准发音单元的图像特征信息匹配度。上述的基于音视频双模态的口语学习监测方法，其中，所述声音信息匹配度采用隐马尔可夫模型，特征为梅尔倒谱特征，匹配度为隐马尔可夫模型后验概率输出。上述的基于音视频双模态的口语学习监测方法，其中，所述图像特征信息包括每个发音单元对应的嘴唇、牙齿和舌头的位置，所述图像特征信息匹配度为用户发音时的嘴唇、牙齿和舌头的位置与标准发音单元对应的位置偏差。上述的基于音视频双模态的口语学习监测方法，其中，所述步骤c)中对用户的语音进行切分后给出每个发音单元的起止时间，所述步骤d)根据每个发音单元的起止时间从同时采集的视频信息中提取该发音单元对应的图像动作特征信息。上述的基于音视频双模态的口语学习监测方法，其中，所述步骤d)根据每个发音单元的起止时间从同时采集的视频信息中提取N张图片，比较每一张图片与标准发音单元的图像特征信息匹配度后计算平均值，N为自然数。上述的基于音视频双模态的口语学习监测方法，其中，所述提取发音单元对应的图像动作特征信息包括如下过程:对每一张图片先将人脸定位出来，然后采用基于颜色梯度场的边缘提取算法检测嘴唇、舌头和牙齿的轮廓位置。本专利技术对比现有技术有如下的有益效果:本专利技术提供的基于音视频双模态的口语学习监测方法，通过同时采集用户口语学习中的语音及视频信息，并分别对语音及发音时的图像特征信息进行切分比对，从而能够帮助用户快速、准确地找出发音的不足及产生原因，减少对教师资源的依赖并大大提高学习效率。附图说明图1为本专利技术基于音视频双模态的口语学习监测流程示意图。具体实施例方式下面结合附图和实施例对本专利技术作进一步的描述。图1为本专利技术基于音视频双模态的口语学习监测流程示意图。请参见图1，本专利技术提供的基于音视频双模态的口语学习监测方法包括如下步骤:SlOl:建立所有标准发音单元的声音信息库和图像特征信息库；如以汉语的音素单元，或者更细的子音素单元为标准发音单元；在一数据库上训练标准发音模型，数据库包含了不同年龄段、不同性别的、覆盖了所有标准发音单元的发音的图像信息，并含标准发音标注；声学信息库模型选择隐马尔可夫模型，图像特征信息库构建优选采用支持向量机。S102:用户根据语言学习系统的要求，打开麦克风及摄像头，读/说出要学习的内容；这时，系统将实时采集用户的语音及嘴形音视频信息，压缩编码后传送到服务器端。S103:服务器接收到用户上传的数据后，对语音和嘴形(视频)信息解码分析；语音切分模块通过采用自动语音识别技术，利用在大规模数据集上训练的声学模型，对用户的语音进行切分，得到用户发音的每个基本单元对应的时间戳；以汉语为例，可以将“我们”这个词对应的语音切分成“w O m en”四个音素单元，并给出音素单元的发音起止时间，甚至可以划分到更细的子音素单元；然后，通过声学评测模块对用户语音进行评测。声学评测过程如下:音频切分后，将切分后的语音单元与标准发音单元的模型进行匹配，声学信息匹配度模型采用隐马尔可夫模型，特征为梅尔倒谱特征，匹配度为隐马尔可夫模型后验概率输出。S104:由于音视频是同时采集的，通过音频的音素切分信息对视频进行切分，并分别从视频中提取出发音的一些发音动作特征信息，如嘴、牙齿、舌头等的位置；然后通过视频评测模块对用户的发音动作进行评测，评测时，对比嘴、牙齿、舌头的位置与音素标准发音(模型)的匹配程度，主要以嘴、牙齿、舌头位置偏差作为图像特征信息匹配度，若匹配度低于该音素对应的阈值，则用户的当前音素发音可能存在问题。具体匹配过程如下:1.根据音频对视频的切分信息，对视频进行标注，得到切分后的视频；2.从切分后的视频中取一张图片；3.首先通过人脸检测模块将图片中人脸定位出来，如基于模板匹配的方法；4.然后采用目标提取模块检测嘴唇、舌头、牙齿等轮廓位置并将检测到的嘴唇、舌头、牙齿等轮廓转参数化；如采用常用的基于颜色梯度场的边缘提取算法；注意，有时候舌头、牙齿是不可见的，其边缘可能不存在，匹配时则忽略；5.接着根据切分结果，将输入参数与对应的模型进行匹配，得到视频评测结果；为了提高匹配精度，对每段切分视频，根据起止时间可以共提取N张图片，N为自然数，重复匹配过程1-5，获得N个图像特征信息匹配度后求取平均值，综合得到最终的视频评测结果。最后，对音视频的评测结果进行综合分析，确定用户的发音不标准的地方及可能的错误原因，反馈给用户；同时将收集到的发音不标准的用户数据添加到数据库中，积累用户数据。综上所述，本专利技术提供的基于音视频双模态的口语学习监测方法，通过同时采集用户口语学习中的语音及视频信息，并分别对语音及发音时的图像特征信息进行切分比对，从而能够帮助用户快速、准确地找出发音的不足及产生原因，具体优点如下:1)通过音视频本文档来自技高网...

【技术保护点】
一种基于音视频双模态的口语学习监测方法，其特征在于，包括如下步骤：a)建立所有标准发音单元的声音信息库和图像特征信息库；b)实时采集用户口语学习时的语音及视频信息，压缩编码后传送到服务器端；c)服务器接收到用户上传的数据解码后，对用户的语音进行切分，得到用户的每个发音单元的声音信息，并给出用户的每个发音单元与标准发音单元的声音信息匹配度；d)服务器从同时采集的视频信息中提取出每个发音单元对应的图像动作特征信息，并给出用户的每个发音单元与标准发音单元的图像特征信息匹配度。

【技术特征摘要】
1.一种基于音视频双模态的口语学习监测方法，其特征在于，包括如下步骤: a)建立所有标准发音单元的声音信息库和图像特征信息库； b)实时采集用户口语学习时的语音及视频信息，压缩编码后传送到服务器端； c)服务器接收到用户上传的数据解码后，对用户的语音进行切分，得到用户的每个发音单元的声音信息，并给出用户的每个发音单元与标准发音单元的声音信息匹配度； d)服务器从同时采集的视频信息中提取出每个发音单元对应的图像动作特征信息，并给出用户的每个发音单元与标准发音单元的图像特征信息匹配度。2.如权利要求1所述的基于音视频双模态的口语学习监测方法，其特征在于，所述声学信息匹配度采用隐马尔可夫模型，特征为梅尔倒谱特征，匹配度为隐马尔可夫模型后验概率输出。3.如权利要求1所述的基于音视频双模态的口语学习监测方法，其特征在于，所述图像特征信息包括每个发音单元对应的嘴唇、牙齿和...

【专利技术属性】
技术研发人员：许东星，
申请(专利权)人：上海众实科技发展有限公司，
类型：发明
国别省市：