听障生融合教育课堂辅助系统及装置制造方法及图纸

本实用新型专利技术涉及听障生融合教育课堂辅助系统及装置，包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块；本实用新型专利技术提供具有音、视频识别系统，同时加入资源存储模块、资源获取模块，能够辅助听障生在课堂内实时接收教师授课内容，同时也可适用于课后复习视频课件，是听障生融合教育的课堂辅助系统。

Classroom Auxiliary System and Device for Integrative Education for Hearing-impaired Students

The utility model relates to a classroom assistant system and device for integrated education for hearing impaired students, including a facial motion data acquisition module, a video recognition processing module, a voice data acquisition module, a speech recognition module, a synchronous processing module, a data transmission module, a display module, a resource storage module, a resource acquisition module and a data playback module; the utility model provides audio and video recognition. Adding resource storage module and resource acquisition module can help hearing impaired students receive teachers'teaching content in real time in class, and can also be applied to review video courseware after class. It is a classroom assistant system of integrated education for hearing impaired students.

【技术实现步骤摘要】
听障生融合教育课堂辅助系统及装置
本专利技术涉及听障生融合教育课堂辅助系统及装置。
技术介绍
我国听力障碍学生（听力障碍学生下文简称听障生）人数众多。由于人类的语言认知过程是一个人多通道的感知过程，除声音信息通道外，唇动视觉信息可以作为语音理解源。对于听障儿童来讲唇动视觉即唇读是最主要的语音理解源，因此听障生主要通过观察说话人的口唇发音动作、肌肉活动及面部表情，形成连续的视知觉，并与头脑中储存的词语表象相比较和联系，进而理解说话者的内容。唇读作为语音的发音运动技能，可以帮助听障儿童利用唇读在口语交流过程中获取信息，有利于他们随班就读，融入主流社会。目前大部分失聪和听障儿童都在聋哑学校或特殊教育学校学习，为了让听障儿童能接受高质量的普通教育，我国部分地区采取了融合教育课堂理念，即：融合指的是让大多数残障儿童进入普通班，并增进在普通班学习的方式。希望能合并普通及特教系统，建立一个统一完整的系统以便管理教育资源，并希望将不同种类班级的学生融合在一起。但其难点在于：普通教育无法对听障生提供高质量的个别化教学。听障生对教师授课过程中唇读及课后复习中存在很大的障碍。有鉴于此，有必要针对听障生的特殊需求，提供能辅助听障生在融合教育课堂上正常上课的系统平台及装置。
技术实现思路
本专利技术为辅助听障生融入融合教育课堂的辅助系统及装置，是具有音、视频识别及语音转文字的功能，同时该系统加入了资源存储模块、资源获取模块，提供能实时接收教师授课内容的辅助听障生在融合教育课堂上正常上课的系统平台，同时本系统可作为课后复习的视频资料辅助学习。听障生融合教育课堂辅助系统，其特征在与：包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块；所述面部运动数据采集模块用于采集说话人面部运动数据；所述视频识别处理模块用于视频数据传输、视频数据接收、视频处理；所述语音数据采集模块用于采集说话人语音数据；所述语音识别模块用于将语音信息转至文字信息；所述同步处理模块用于将文字、语音、视频信息同步传递；所述数据传输模块用于将已同步的信息实时不间断传递；所述资源存储模块用于将以获取的音频、视频、文字信息进行存储；所述资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元对以存储的信息进行提取；所述数据播放模块用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放；所述显示模块用于显示说话人音频、视频、文字可视化信息。本专利技术是利用移动互联网方式解决听障生在融合教育课堂问题的辅助系统及装置，系统通过视频识别处理模块、语音识别模块与同步处理模块后实时捕捉教师上课的唇形变化，听障生通过手机或者其他显示模块观看视频，了解教师授课知识点或通过资源存储模块、资源获取模块登录系统平台巩固复习课间教师授课知识点。附图说明图1是听障生融合教育课堂辅助系统及装置。图2是视频识别处理模块102示意图。图3是语音识别模块104示意图。图4是同步处理模块105示意图。图5是资源获取模块108示意图。具体实施方案下面结合附图详细说明本专利技术的技术方案。图1是听障生融合教育课堂辅助系统及装置示意图。包括面部运动数据采集模块101、视频识别模块102、语音数据采集模块103语音识别模块104、同步处理模块105、数据传输模块106、资源存储模块107、资源获取模块108、数据播放模块109、显示模块110；面部运动数据采集模块101用于采集说话人的面部运动数据；说话人面部数据可以是二维或三维数据。面部运动数据可以通过对说话人的面部运动进行录像的方式获得；视频识别处理模块102所述视频识别处理模块用于视频数据传输、视频数据接收、视频处理。所述视频识别处理模块包括视频传输模块201、视频接收模块202、视频处理模块203。所述视频传输模块201用于对视频信息进行编码、压缩、打包并将流媒体数据传输给视频接收模块；视频接收模块202对接收的流媒体数据解包、解码、获得相应数字图像序列，并将其发送给视频处理模块203；视频处理模块203用于图像与处理、提取面部特征点。其中图像与处理包括原始图像进行滤波除噪、补光、增强灰度值。利用直方图均衡化技术将光照、背景等因素的影响表情图像的灰度的小范围区域进行外延扩展，加强像素灰度值的动态变化范围。其中提取面部特征点，采用Haar-Like特征值反映图像的灰度变化情况，对人唇部的主要特征的位置、大小、相对运动情况及其相互位置变化的进行特征提取，从而达到识别唇部发音动作的目的；语音数据采集模块103用于采集说话人语音数据，说话人的语音数据可以通过对说话人的语音进行录音的方式直接获得；语音识别模块104包括语音处理模块301、特征值提取模块302、解码模块303。所述语音处理模块包括转换单元、降噪单元。所述转换单元用于将语音信号模数转换。所述降噪单元用于降低信号噪声。所述特征值提取模块302用于将语音信号进行特征值提取。所述解码模块303根据声学模型数据库和语言模型数据库，对语音信号特征参数进行解码识别，语音信号特征参数解码识别后将语音信息转至文字信息。该语音识别模块支持回音消除（AEC）、静音检测（VAD）、噪音抑制（DENOISE）、自动增益（AGC）等网络语音技术，但对于低延迟融合教育课堂视频直播平台并不是网络直播，而是在课堂上使用，通话双方距离较近，可忽略该因素；同步处理模块105用于将语音、文字、视频信息同步处理；视频数据接收模块401接收到由视频识别处理模块102传送的数据视频；音频数据接收模块402接收到由语音处理模块301传送的音频数据；文字数据接收模块403接收到由语音识别模块104将语音数据转换的文字数据，同时将视频数据、语音数据、文字数据同步处理；数据传输模块106用于将已同步的信息实时不间断传递；资源存储模块107用于将以获取的音频、视频、文字信息进行存储。且对存储的信息信息按照协议种类进行划分，包括TP、UDP、TCP、HTTP和RTP协议；资源获取模块108包括视频提取单元501、协议分析单元502、媒体解码单元503、用户管理单元504对已存储的信息进行提取；视频提取单元501用于对播放的音视频的传输协议进行提取并发送至协议分析单元502；协议分析单元502用于对接收的音视频信息传输协议进行分析并发送至媒体解码单元503；媒体解码单元503用于对接收的音视频信息的协议进行解码并发送至用户管理单元504；用户管理单元504用于对用户的信息进行管理，管理的内容包括用户注册和登录、查询及编辑；数据播放模块109用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放。播放的方式采用轮流播放、随机播放、重复播放；显示模块110用于显示说话人音频、视频、文字可视化信息；显示模块110可以使显示器、手机等电子显示设备。图2是视频识别处理模块102示意图。视频识别处理模块102的具体工作过程如下：201视频传输模块：视频传输模块对视频信息进行编码、压缩、打包，将流媒体数据传输给视频接收模块；202视频接收模块：视频接收模块对接收的流媒体数据进行解包、解码，获得数字图像序列，并将其发送给视频处理模块；203本文档来自技高网...

【技术保护点】
1.听障生融合教育课堂辅助系统及装置，其特征在于：包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块；所述面部运动数据采集模块用于采集说话人面部运动特征数据；所述视频识别处理模块用于视频数据传输、视频数据接收、视频数据处理；所述语音数据采集模块用于采集说话人语音数据；所述语音识别模块用于将语音信息转至文字信息；所述同步处理模块用于将文字、语音、视频信息同步传递；所述数据传输模块用于将已同步的信息实时不间断的传递；所述资源存储模块用于将以获取的音频、视频、文字信息进行存储；所述资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元，对已存储的信息进行提取；所述数据播放模块用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放；所述显示模块用于显示说话人音频、视频、文字可视化信息。

【技术特征摘要】
1.听障生融合教育课堂辅助系统及装置，其特征在于：包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块；所述面部运动数据采集模块用于采集说话人面部运动特征数据；所述视频识别处理模块用于视频数据传输、视频数据接收、视频数据处理；所述语音数据采集模块用于采集说话人语音数据；所述语音识别模块用于将语音信息转至文字信息；所述同步处理模块用于将文字、语音、视频信息同步传递；所述数据传输模块用于将已同步的信息实时不间断的传递；所述资源存储模块用于将以获取的音频、视频、文字信息进行存储；所述资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元，对已存储的信息进行提取；所述数据播放模块用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放；所述显示模块用于显示说话人音频、视频、文字可视化信息。2.根据权利要求1所述的听障生融合教育课堂辅助系统及装置，其特征在于：该面部运动数据采集模块与视频识别处理模块相连接；该语音数据采集模块与语音识别模块相连接。3.根据权利要求1所述的听障生融合教育课堂辅助系统及装置，其特征在于：该视频识别处理模块、语音识别模块与同步处理模块相连接；同步处理模块与数据传输模块相连接。4.根据权利要求1所述的听障生融合教育课堂辅助系统及装置，其特征在于：所述语音识别模块包括语音处理模块、特征值提取模块、解码模块；所述语音处...

【专利技术属性】
技术研发人员：赵剑，史丽娟，陈岱民，张代治，王丽荣，秦宏伍，石乐民，罗鹏，王柳，
申请(专利权)人：长春大学，
类型：新型
国别省市：吉林,22