一种利用视觉与图像处理相结合的教学演示系统技术方案

本发明专利技术公开了一种利用视觉与图像处理相结合的教学演示系统，涉及教学演示领域，其技术方案包括教学演示主机，教学演示主机包括声音采集模块、图像系统、采集处理系统、自动教学模块、中央处理系统、扬声器、可视化模块和云端存储模块，声音采集模块与采集处理系统之间通信连接，声音采集模块对课堂中学生与讲师的声音进行实时录入；声音采集模块将声音传输到采集处理系统中，通过采集处理系统中的人脸识别模块、动作识别模块和视线比对模块的配合使用实现对教室中学生的人脸、动作以及视线进行识别，同时通过评价模块对学生的人脸、动作以及视线进行识别数据进行判断，从而课堂的听讲率进行判断，便于讲师实时掌握课堂内部学生的听课状态。课状态。课状态。

【技术实现步骤摘要】
一种利用视觉与图像处理相结合的教学演示系统


[0001]本专利技术涉及教学演示
，尤其涉及一种利用视觉与图像处理相结合的教学演示系统。

技术介绍

[0002]常见的图像处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。虽然某些处理也可以用光学方法或模拟技术实现，但它们远不及数字图像处理那样灵活和方便，因而数字图像处理成为图像处理的主要方面。
[0003]经检索，中国专利号为CN108184077A的专利技术专利，公开了一种录播教学演示系统，包括控制终端和多个录播设备；多个录播设备分别架设在对应的教室内；录播设备包括：摄像装置，包括红外摄像头、可见光摄像头和环境摄像头；图像抓取模块，用于以红外摄像头中的人影轮廓对可见光摄像头录像的影像进行裁剪，进而消除背景图像，提取出单纯的人影影像；控制终端包括：服务器，用于存储录播设备录制的视频，及存储相关信息；显示模块，用于显示服务器中视频和/或录播设备的状况；监控模块，用于监控录播设备的状况；管理模块，用于管理服务器中的视频和录播设备；控制模块，用于根据需要选择录播设备，向录播设备发送操作指令；播放模块，用于根据需要将环境影像和人影影像生成2D/3D教学视频进行播放。
[0004]然而上述系统仅能结合实际情况实现2D/3D播放，具有真实感，而且可以远程批量控制录播设备，打破空间限制，节省同等操作消耗人力资源，进而减少能耗，但在实际使用中缺乏对课堂内部学生听课状态的实时检测，进而难以根据学生的状态对教学演示进行实时调节，降低学生听课的积极性，因此需要一种利用视觉与图像处理相结合的教学演示系统。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中存在缺乏对课堂内部学生听课状态的实时检测，进而难以根据学生的状态对教学演示进行实时调节的缺点，而提出的一种利用视觉与图像处理相结合的教学演示系统。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：
[0007]一种利用视觉与图像处理相结合的教学演示系统，包括教学演示主机，所述教学演示主机包括声音采集模块、图像系统、采集处理系统、自动教学模块、中央处理系统、扬声器、可视化模块和云端存储模块，所述声音采集模块与所述采集处理系统之间通信连接，所述声音采集模块对课堂中学生与讲师的声音进行实时录入；
[0008]所述声音采集模块将声音传输到所述采集处理系统中，所述图像系统对课堂中的图像进行实时采集，所述图像系统将采集到的图像传输到所述采集处理系统中，所述采集处理系统的内部包括人脸识别模块、动作识别模块和视线比对模块，所述采集处理系统对采集到的声音与图像数据进行人脸识别、动作识别与视线比对，所述采集处理系统与所述
中央处理系统之间通信连接，所述中央处理系统的内部包括深度学习模块、数据交互模块和评价模块，所述中央处理系统根据采集到的数据信息进行深度学习；
[0009]所述自动教学模块与所述中央处理系统之间通信连接，所述自动教学模块根据学生的个人信息进行自动教学。
[0010]上述技术方案进一步包括：
[0011]所述图像系统通过监控摄像头对课堂内部的图像进行采集，所述图像系统对采集到的图像进行分割处理，同时所述图像系统对分割处理后的图像数据进行识别。
[0012]所述人脸识别模块对传输到所述采集处理系统内部的图像数据进行获取，同时所述人脸识别模块根据图像数据进行人脸识别。
[0013]所述动作识别模块对传输到所述采集处理系统中的图像数据进行获取，所述动作识别模块每隔0.5s识别一次，所述动作识别模块每次识别处理的时间段为两秒，所述动作识别模块对两秒内的图像进行识别，并引入动作惯性，从而对图像中的人物动作进行识别。
[0014]所述视线比对模块对传输到所述采集处理系统中的图像进行获取，并且视线比对模块对学生的视线进行实时检测比对。
[0015]所述深度学习模块对传输到所述中央处理系统中的数据信息进行接收，所述深度学习模块对接收到的数据进行深度学习，进而生成出“课堂听讲判断模型”，所述评价模块对传输到所述中央处理系统中的数据信息对课堂的听讲率进行判断。
[0016]所述中央处理系统与所述可视化模块之间通信连接，所述中央处理系统将处理后的信息传输到所述可视化模块中，所述可视化模块对接收到的数据进行分类，并将数据传输到教学演示主机中进行显示。
[0017]所述云端存储模块对教学演示主机中的数据进行实时存储。
[0018]相比现有技术，本专利技术的有益效果为：
[0019]1、本专利技术中，使用时，通过采集处理系统中的人脸识别模块、动作识别模块和视线比对模块的配合使用实现对教室中学生的人脸、动作以及视线进行识别，同时通过评价模块对学生的人脸、动作以及视线进行识别数据进行判断，从而课堂的听讲率进行判断，便于讲师实时掌握课堂内部学生的听课状态。
[0020]2、本专利技术中，使用时，通过深度学习模块对传输到中央处理系统中的数据信息进行深度学习，进而生成出“课堂听讲判断模型”，通过“课堂听讲判断模型”对自动教学模块进行自适应调节，从而提升学生对课堂的听讲效率。
附图说明
[0021]图1为本专利技术提出的一种利用视觉与图像处理相结合的教学演示系统的系统框图；
[0022]图2为本专利技术中采集处理系统的系统框图；
[0023]图3为本专利技术中中央处理系统的系统框图。
[0024]图中：1、声音采集模块；2、图像系统；3、采集处理系统；4、自动教学模块；5、中央处理系统；6、扬声器；7、可视化模块；8、云端存储模块；9、深度学习模块；10、数据交互模块；11、评价模块；12、人脸识别模块；13、动作识别模块；14、视线比对模块。
具体实施方式
[0025]下文结合附图和具体实施例对本专利技术的技术方案做进一步说明。
[0026]实施例一
[0027]如图1
‑
3所示，本专利技术提出的一种利用视觉与图像处理相结合的教学演示系统，包括教学演示主机，教学演示主机包括声音采集模块1、图像系统2、采集处理系统3、自动教学模块4、中央处理系统5、扬声器6、可视化模块7和云端存储模块8，声音采集模块1与采集处理系统3之间通信连接，声音采集模块1对课堂中学生与讲师的声音进行实时录入；
[0028]声音采集模块1将声音传输到采集处理系统3中，图像系统2对课堂中的图像进行实时采集，图像系统2将采集到的图像传输到采集处理系统3中，采集处理系统3的内部包括人脸识别模块12、动作识别模块13和视线比对模块14，采集处理系统3对采集到的声音与图像数据进行人脸识别、动作识别与视线比对，采集处理系统3与中央处理系统5之间通信连接，中央处理系统5的内部包括深度学习模块9、数据交互模块10和评价模块11，中央处理系统5根据采集到的数据信息进行深度学习，数据交互模块10对演示主机内部的数据进行交互，实现对数据的梳理；
[0029]自动教学模块4与中央处理系统5之间通信连接，自动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用视觉与图像处理相结合的教学演示系统，包括教学演示主机，其特征在于，所述教学演示主机包括声音采集模块(1)、图像系统(2)、采集处理系统(3)、自动教学模块(4)、中央处理系统(5)、扬声器(6)、可视化模块(7)和云端存储模块(8)，所述声音采集模块(1)与所述采集处理系统(3)之间通信连接，所述声音采集模块(1)对课堂中学生与讲师的声音进行实时录入；所述声音采集模块(1)将声音传输到所述采集处理系统(3)中，所述图像系统(2)对课堂中的图像进行实时采集，所述图像系统(2)将采集到的图像传输到所述采集处理系统(3)中，所述采集处理系统(3)的内部包括人脸识别模块(12)、动作识别模块(13)和视线比对模块(14)，所述采集处理系统(3)对采集到的声音与图像数据进行人脸识别、动作识别与视线比对，所述采集处理系统(3)与所述中央处理系统(5)之间通信连接，所述中央处理系统(5)的内部包括深度学习模块(9)、数据交互模块(10)和评价模块(11)，所述中央处理系统(5)根据采集到的数据信息进行深度学习；所述自动教学模块(4)与所述中央处理系统(5)之间通信连接，所述自动教学模块(4)根据学生的个人信息进行自动教学。2.根据权利要求1所述的一种利用视觉与图像处理相结合的教学演示系统，其特征在于，所述图像系统(2)通过监控摄像头对课堂内部的图像进行采集，所述图像系统(2)对采集到的图像进行分割处理，同时所述图像系统(2)对分割处理后的图像数据进行识别。3.根据权利要求2所述的一种利用视觉与图像处理相结合的教学演示系统，其特征在于，所述人脸识别模块(12)对传输到所述采集处理系...

【专利技术属性】
技术研发人员：杨碎明，寇向英，贾寒霜，
申请(专利权)人：西安交通工程学院，
类型：发明
国别省市：