一种基于语音识别技术的学生发言检测跟踪装置制造方法及图纸

本发明专利技术涉及一种基于语音识别技术的学生发言检测跟踪装置，包括老师麦克风、老师语音采集和老师语音识别主机、学生摄像机、学生人脸画面采集和摄像机控制主机、学生人脸识别服务器以及学生学籍管理数据库。所述基于语音识别技术的学生发言检测跟踪装置采用人脸识别的方法形成学生的座位表，不用手工输入，对于频繁变动座位的情况下也能方便的处理；采用语音识别技术实现学生发言跟踪，其正确率高；反应迅速；抗干扰能力强，不受外部光线、教室窗户、室内玻璃墙等的影响；安装简单，无需对设备进行位置标定，也无需设置屏蔽区，简单易用；适用性广，能够兼顾坐立发言的场合。

【技术实现步骤摘要】
一种基于语音识别技术的学生发言检测跟踪装置
本专利技术涉及一种基于语音识别技术的学生发言检测跟踪装置，涉及计算机语音、计算机视觉、嵌入式等
，应用于教育录播系统中学生发言的自动跟踪。
技术介绍
录播系统作为一个教学资源的采集和发布系统，能解决目前优质教学资源覆盖不全面的问题，也能够有效的提升数字教育资源服务水平与能力。录播系统通常要采集课堂上老师授课以及学生互动的所有画面，再通过压缩编码，最后进行实时直播或者存储。学生互动环节，需要对学生发言进行跟踪，并控制摄像机对学生使用特写画面展示，这样观看者更加容易看清学生的表情细节，提高整个系统的体验。学生跟踪早期都需要检测学生的站立动作，大致经历了三代：第一代也就是最早期，通过在座椅上安放压力传感器来检测学生的站立动作。第二代属于智能图像分析阶段，先设置学生起立后头部位置的上限，当学生头部触及这个上限时认为有站立动作。如申请号为201410610741.1，名称为《一种基于主从摄像机的学生跟踪定位方法》的专利就采用了这种方案，又比如申请号为201210405917.0，名称为《一种基于图像定位的摄像机自动跟踪系统及跟踪方法》的专利也采用了类似方法。第三代属于3D图像分析阶段，即通过3D摄像机，加上智能图像分析，得出学生站立的动作和位置，同第二代相比该方案不仅提供了学生站立的动作检测，同时还提供了学生的具体位置，具有更优秀的跟踪能力。如申请号为201710140293.7，名称为《一种用于自动侦测学生起立发言动作的检测方法及其装置》的专利就采用了这种方法。然而，上述的这些都存在一定的技术问题：第一代采用的方案会受学生晃动以及学生的一些小动作影响，基本上不能正常使用。第二代方案误检率较高，需要学生的头部达到预先设定上限后才认为是站立，在低年级的学生，或者站立后头部高度变化不太明显的情况下误检更为严重；教室周围的窗户、后面玻璃墙等也会严重干扰学生站立的检测；另外检测过程中需要等学生完全站立，再通知摄像机转到相应位置，整个过程较慢，通常是学生已经说了几个字，画面才切好；这个方案必须要学生站立，对于一些行动不便、或者一些坐立发言的场合就无能为力了。第三代由于本质上还是基于图像分析，也没有根本上解决第二代方案存在的问题。因此有必要设计一种基于语音识别技术的学生发言检测跟踪装置，以克服上述问题。
技术实现思路
本专利技术的目的在于克服现有技术之缺陷，提供了一种适用性广、安装简单、抗干扰能力强、反应迅速、正确率高的基于语音识别技术的学生发言检测跟踪装置。本专利技术是这样实现的：本专利技术提供一种基于语音识别技术的学生发言检测跟踪装置，包括老师麦克风、老师语音采集和老师语音识别主机、学生摄像机、学生人脸画面采集和摄像机控制主机、学生人脸识别服务器以及学生学籍管理数据库；所述学生摄像机和所述学生人脸画面采集和摄像机控制主机将学生在教室的整体画面采集下来，并传送到所述学生人脸识别服务器，所述学生人脸识别服务器进行画面中的人脸分析，并将分析出来的人脸特征信息与所述学生学籍管理数据库中存储的学生人脸登记信息进行比对，形成班上每个学生在图片中的位置信息，将这些位置信息回传至所述学生人脸画面采集和摄像机控制主机，并根据这些信息以及教室的实际布置情况，生成学生的座位表；老师讲课的过程中，语音由所述老师麦克风和所述老师语音采集和老师语音识别主机实时采集，当老师点名学生发言时，由所述老师语音采集和老师语音识别主机通过语义识别，检测出老师点名的意图以及被点名的具体同学姓名，随后这个学生的姓名被传送到所述学生人脸画面采集和摄像机控制主机，由所述学生人脸画面采集和摄像机控制主机实现相机的转动和画面的切换。进一步地，所述老师语音采集和老师语音识别主机内设有老师点名用的预设结构的语句。进一步地，所述老师语音采集和老师语音识别主机、所述学生人脸画面采集和摄像机控制主机、所述学生人脸识别服务器以及所述学生学籍管理数据库均通过网络传输数据。本专利技术具有以下有益效果：所述基于语音识别技术的学生发言检测跟踪装置采用人脸识别的方法形成学生的座位表，不用手工输入，对于频繁变动座位的情况下也能方便的处理；采用语音识别技术实现学生发言跟踪，通传统的图像识别技术相比，有如下特点：正确率高，老师使用普通话教学的情况下，正确率可以达到98%；反应迅速，能够在老师说出相应命令词后，相机就切到相应的位置；抗干扰能力强，不受外部光线、教室窗户、室内玻璃墙等的影响；安装简单，无需对设备进行位置标定，也无需设置屏蔽区，简单易用；适用性广，能够兼顾坐立发言的场合。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术实施例提供的基于语音识别技术的学生发言检测跟踪装置的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本专利技术保护的范围。如图1，本专利技术实施例提供一种基于语音识别技术的学生发言检测跟踪装置，包括老师麦克风、老师语音采集和老师语音识别主机、学生摄像机、学生人脸画面采集和摄像机控制主机、学生人脸识别服务器以及学生学籍管理数据库。所述基于语音识别技术的学生发言检测跟踪装置的基本工作流程分为两部分：一、自动生成学生座位表：所述学生摄像机和所述学生人脸画面采集和摄像机控制主机将学生在教室的整体画面采集下来，并传送到所述学生人脸识别服务器，所述学生人脸识别服务器进行画面中的人脸分析，并将分析出来的人脸特征信息与所述学生学籍管理数据库中存储的学生人脸登记信息进行比对，形成班上每个学生在图片中的位置信息，将这些位置信息回传至所述学生人脸画面采集和摄像机控制主机，并根据这些信息以及教室的实际布置情况，生成学生的座位表。二、学生发言检测和跟踪：老师讲课的过程中，语音由所述老师麦克风和所述老师语音采集和老师语音识别主机实时采集，当老师点名学生发言时，由所述老师语音采集和老师语音识别主机通过语义识别，检测出老师点名的意图以及被点名的具体同学姓名，随后这个学生的姓名被传送到所述学生人脸画面采集和摄像机控制主机，由所述学生人脸画面采集和摄像机控制主机实现相机的转动和画面的切换。其中，所述老师语音采集和老师语音识别主机内设有老师点名用的预设结构的语句，例如：“请王五回答这个问题”、“王五你来回答一下”、“这个问题谁知道，王五你回答一下”等（其中“王五”为班上同学的姓名）。进一步地，所述老师语音采集和老师语音识别主机、所述学生人脸画面采集和摄像机控制主机、所述学生人脸识别服务器以及所述学生学籍管理数据库均通过网络传输数据。本专利技术具有以下有益效果：所述基于语音识别技术的学生发言检测跟踪装置采用人脸识别的方法形成学生的座位表，不用手工输入，对于频繁变动座位的情况下也能方便的处理；采用语音识别技术实现学生发言跟踪，通传统的图像识别技术相比，本文档来自技高网...

【技术保护点】
一种基于语音识别技术的学生发言检测跟踪装置，其特征在于，包括老师麦克风、老师语音采集和老师语音识别主机、学生摄像机、学生人脸画面采集和摄像机控制主机、学生人脸识别服务器以及学生学籍管理数据库；所述学生摄像机和所述学生人脸画面采集和摄像机控制主机将学生在教室的整体画面采集下来，并传送到所述学生人脸识别服务器，所述学生人脸识别服务器进行画面中的人脸分析，并将分析出来的人脸特征信息与所述学生学籍管理数据库中存储的学生人脸登记信息进行比对，形成班上每个学生在图片中的位置信息，将这些位置信息回传至所述学生人脸画面采集和摄像机控制主机，并根据这些信息以及教室的实际布置情况，生成学生的座位表；老师讲课的过程中，语音由所述老师麦克风和所述老师语音采集和老师语音识别主机实时采集，当老师点名学生发言时，由所述老师语音采集和老师语音识别主机通过语义识别，检测出老师点名的意图以及被点名的具体同学姓名，随后这个学生的姓名被传送到所述学生人脸画面采集和摄像机控制主机，由所述学生人脸画面采集和摄像机控制主机实现相机的转动和画面的切换。

【技术特征摘要】
1.一种基于语音识别技术的学生发言检测跟踪装置，其特征在于，包括老师麦克风、老师语音采集和老师语音识别主机、学生摄像机、学生人脸画面采集和摄像机控制主机、学生人脸识别服务器以及学生学籍管理数据库；所述学生摄像机和所述学生人脸画面采集和摄像机控制主机将学生在教室的整体画面采集下来，并传送到所述学生人脸识别服务器，所述学生人脸识别服务器进行画面中的人脸分析，并将分析出来的人脸特征信息与所述学生学籍管理数据库中存储的学生人脸登记信息进行比对，形成班上每个学生在图片中的位置信息，将这些位置信息回传至所述学生人脸画面采集和摄像机控制主机，并根据这些信息以及教室的实际布置情况，生成学生的座位表；老师讲课的过程中，语音由所述老师麦克风和所述老师语音...

【专利技术属性】
技术研发人员：张红，胡波，李忠民，
申请(专利权)人：武汉东信同邦信息技术有限公司，
类型：发明
国别省市：湖北,42