一种基于音视频双模态的口语学习监测方法技术

本发明专利技术公开了一种基于音视频双模态的口语学习监测方法，包括如下步骤：a)建立所有标准发音单元的声音信息库和图像特征信息库；b)实时采集用户口语学习时的语音及视频信息，压缩编码后传送到服务器端；c)服务器对用户的语音解码后进行切分，得到用户的每个发音单元的声音信息匹配度；d)服务器从同时采集的视频信息中提取出每个发音单元对应的图像动作特征信息，并给出其与标准发音单元的图像特征信息匹配度。本发明专利技术提供的基于音视频双模态的口语学习监测方法，通过同时采集语音及视频信息，并分别对语音及图像特征信息进行切分比对，从而能够快速、准确地找出发音的不足及产生原因，减少对教师资源的依赖并大大提高学习效率。

【技术实现步骤摘要】

本专利技术涉及一种用户在线学习监测方法，尤其涉及。
技术介绍
目前,在全球化的大趋势下，口语教育正成为全球的一个庞大产业。对于中国的情况来说，中国人学习外语以及外国人学习汉语的热潮越发高涨。一方面，外语(特别是英语)是商业交流活动中不可缺少的工具，从而推动了中国在职人员学习外语的热情。据不完全统计，北京、上海等大城市约有1%的在职人员在外语学习方面投入超过收入的10%。另一方面，全球化推动学习英语的热潮中，也成就了新的热潮，比如“中国热”。但是目前的传统语言教育方式越来越不能满足这一趋势。作为相互交流的基础，现代语言的学习越来越强调发音的学习。语言教学中，教师作为一个有效的反馈源，仍然有一些无法解决的问题:语言的学习是需要反复训练的，需要随时随地有效利用碎片时间进行练习；但是教师资源的有限性，不可能对所有学生随时进行一对一的指导。不少学生在传统语言教学模式下逐渐对语言学习失去兴趣，进而变成哑巴外语、应试外语。计算机辅助语言教学(computer-assistedlanguage learning,简称CALL),按照人们事先安排的语言教学计划和内容进行课堂教学和辅助课外操。早在19本文档来自技高网...

【技术保护点】
一种基于音视频双模态的口语学习监测方法，其特征在于，包括如下步骤：a)建立所有标准发音单元的声音信息库和图像特征信息库；b)实时采集用户口语学习时的语音及视频信息，压缩编码后传送到服务器端；c)服务器接收到用户上传的数据解码后，对用户的语音进行切分，得到用户的每个发音单元的声音信息，并给出用户的每个发音单元与标准发音单元的声音信息匹配度；d)服务器从同时采集的视频信息中提取出每个发音单元对应的图像动作特征信息，并给出用户的每个发音单元与标准发音单元的图像特征信息匹配度。

【技术特征摘要】
1.一种基于音视频双模态的口语学习监测方法，其特征在于，包括如下步骤: a)建立所有标准发音单元的声音信息库和图像特征信息库； b)实时采集用户口语学习时的语音及视频信息，压缩编码后传送到服务器端； c)服务器接收到用户上传的数据解码后，对用户的语音进行切分，得到用户的每个发音单元的声音信息，并给出用户的每个发音单元与标准发音单元的声音信息匹配度； d)服务器从同时采集的视频信息中提取出每个发音单元对应的图像动作特征信息，并给出用户的每个发音单元与标准发音单元的图像特征信息匹配度。2.如权利要求1所述的基于音视频双模态的口语学习监测方法，其特征在于，所述声学信息匹配度采用隐马尔可夫模型，特征为梅尔倒谱特征，匹配度为隐马尔可夫模型后验概率输出。3.如权利要求1所述的基于音视频双模态的口语学习监测方法，其特征在于，所述图像特征信息包括每个发音单元对应的嘴唇、牙齿和...

【专利技术属性】
技术研发人员：许东星，
申请(专利权)人：上海众实科技发展有限公司，
类型：发明
国别省市：