The utility model relates to a classroom assistant system and device for integrated education for hearing impaired students, including a facial motion data acquisition module, a video recognition processing module, a voice data acquisition module, a speech recognition module, a synchronous processing module, a data transmission module, a display module, a resource storage module, a resource acquisition module and a data playback module; the utility model provides audio and video recognition. Adding resource storage module and resource acquisition module can help hearing impaired students receive teachers'teaching content in real time in class, and can also be applied to review video courseware after class. It is a classroom assistant system of integrated education for hearing impaired students.
【技术实现步骤摘要】
听障生融合教育课堂辅助系统及装置
本专利技术涉及听障生融合教育课堂辅助系统及装置。
技术介绍
我国听力障碍学生(听力障碍学生下文简称听障生)人数众多。由于人类的语言认知过程是一个人多通道的感知过程,除声音信息通道外,唇动视觉信息可以作为语音理解源。对于听障儿童来讲唇动视觉即唇读是最主要的语音理解源,因此听障生主要通过观察说话人的口唇发音动作、肌肉活动及面部表情,形成连续的视知觉,并与头脑中储存的词语表象相比较和联系,进而理解说话者的内容。唇读作为语音的发音运动技能,可以帮助听障儿童利用唇读在口语交流过程中获取信息,有利于他们随班就读,融入主流社会。目前大部分失聪和听障儿童都在聋哑学校或特殊教育学校学习,为了让听障儿童能接受高质量的普通教育,我国部分地区采取了融合教育课堂理念,即:融合指的是让大多数残障儿童进入普通班,并增进在普通班学习的方式。希望能合并普通及特教系统,建立一个统一完整的系统以便管理教育资源,并希望将不同种类班级的学生融合在一起。但其难点在于:普通教育无法对听障生提供高质量的个别化教学。听障生对教师授课过程中唇读及课后复习中存在很大的障碍。有鉴于此,有必要针对听障生的特殊需求,提供能辅助听障生在融合教育课堂上正常上课的系统平台及装置。
技术实现思路
本专利技术为辅助听障生融入融合教育课堂的辅助系统及装置,是具有音、视频识别及语音转文字的功能,同时该系统加入了资源存储模块、资源获取模块,提供能实时接收教师授课内容的辅助听障生在融合教育课堂上正常上课的系统平台,同时本系统可作为课后复习的视频资料辅助学习。听障生融合教育课堂辅助系统,其特征在与:包括面 ...
【技术保护点】
1.听障生融合教育课堂辅助系统及装置,其特征在于:包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块;所述面部运动数据采集模块用于采集说话人面部运动特征数据;所述视频识别处理模块用于视频数据传输、视频数据接收、视频数据处理;所述语音数据采集模块用于采集说话人语音数据;所述语音识别模块用于将语音信息转至文字信息;所述同步处理模块用于将文字、语音、视频信息同步传递;所述数据传输模块用于将已同步的信息实时不间断的传递;所述资源存储模块用于将以获取的音频、视频、文字信息进行存储;所述资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元,对已存储的信息进行提取;所述数据播放模块用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放;所述显示模块用于显示说话人音频、视频、文字可视化信息。
【技术特征摘要】
1.听障生融合教育课堂辅助系统及装置,其特征在于:包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块;所述面部运动数据采集模块用于采集说话人面部运动特征数据;所述视频识别处理模块用于视频数据传输、视频数据接收、视频数据处理;所述语音数据采集模块用于采集说话人语音数据;所述语音识别模块用于将语音信息转至文字信息;所述同步处理模块用于将文字、语音、视频信息同步传递;所述数据传输模块用于将已同步的信息实时不间断的传递;所述资源存储模块用于将以获取的音频、视频、文字信息进行存储;所述资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元,对已存储的信息进行提取;所述数据播放模块用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放;所述显示模块用于显示说话人音频、视频、文字可视化信息。2.根据权利要求1所述的听障生融合教育课堂辅助系统及装置,其特征在于:该面部运动数据采集模块与视频识别处理模块相连接;该语音数据采集模块与语音识别模块相连接。3.根据权利要求1所述的听障生融合教育课堂辅助系统及装置,其特征在于:该视频识别处理模块、语音识别模块与同步处理模块相连接;同步处理模块与数据传输模块相连接。4.根据权利要求1所述的听障生融合教育课堂辅助系统及装置,其特征在于:所述语音识别模块包括语音处理模块、特征值提取模块、解码模块;所述语音处...
【专利技术属性】
技术研发人员:赵剑,史丽娟,陈岱民,张代治,王丽荣,秦宏伍,石乐民,罗鹏,王柳,
申请(专利权)人:长春大学,
类型:新型
国别省市:吉林,22
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。