一种基于人体手势和语音的教学方法及系统技术方案

一种基于人体手势和语音的教学方法及系统，属于使用幻灯片授课的教学方法及系统。包括以下步骤：识别教师手势；根据教师手势，执行相对应手势的操作指令；采集教师语音；从所述语音中提取关键字；将提取的关键字与预设的关键字进行比较；当提取的关键字与预设的关键字相符时，执行与预设的关键字相对应的操作指令；系统基本组件包括：手势采集装置，语音采集装置，手势识别装置，语音识别装置，幻灯片播放软件，投影仪，投影幕；系统增强组件包括：上课内容合成装置，硬盘录像机，视频服务器，课堂内容回放软件，具有视频播放功能的浏览器，视频服务客户端。优点：该方法和系统可广泛用于学校教学、会议演讲、展览场馆游客互动等场合。

A teaching method and system based on human gestures and speech

A teaching method and system based on human gesture and voice belongs to the teaching method and system using slide. It includes the following steps: identifying the teacher's gesture; executing the corresponding gesture operation instructions according to the teacher's gesture; collecting the teacher's voice; extracting the keywords from the speech; comparing the extracted keywords with the preset keywords; executing the preset keywords when the extracted keywords match the preset keywords. The basic components of the system include: gesture acquisition device, voice acquisition device, gesture recognition device, speech recognition device, slide playback software, projector, projection screen; system enhancement components include: class content synthesis device, hard disk recorder, video server, class content playback software. A browser with video playback function and a video service client. Advantages: The method and system can be widely used in school teaching, conference lectures, exhibition venues and other occasions.

【技术实现步骤摘要】
一种基于人体手势和语音的教学方法及系统
本专利技术涉及一种使用幻灯片授课的教学方法及系统，特别是一种基于人体手势和语音的教学方法及系统。
技术介绍
教育是一个国家能够可持续发展的根本，先进的教学设施不但可以提高教学过程的趣味性，而且可以大大缩小授课者与听课者之间的距离，大幅提高教学效果。幻灯片作为一种使用广泛的多媒体教学工具，克服了传统的板书授课方式的缺陷，让教师可以将更多精力集中在内容讲解而非黑板书写上，同时可以用声音、视频、图片、动画等多种载体阐述重点难点，极大提升了课堂的趣味性和教学效果。教师在控制幻灯片翻页或跳转的时候，一般通过鼠标、键盘、激光笔等工具进行操控。使用鼠标和键盘进行操控，意味着教师不能离开授课计算机太远，教师不得不经常在黑板和计算机之间来回移动，影响了教学的流畅性和效率，更难以支持教师到教室其它区域与学生互动。使用激光笔虽然可以摆脱使用键盘鼠标的缺陷，但是需要教师时刻手持专用工具，因此依然对教学效果的发挥起到一定制约作用，由于需要关注幻灯片的展示、换页等操作，教师很容易放弃一些有意义的肢体语言。随着技术的不断进步，人体手势和语音识别技术渐渐应用于现实生活中。因此，在教学方面利用人体手势和语音控制幻灯片放映的做法是未来的发展趋势之一。
技术实现思路
本专利技术的目的是要提供一种基于人体手势和语音的教学方法及系统，解决利用键盘、鼠标或激光笔等方式控制幻灯片的不便，提高课堂效率。本专利技术的目的是这样实现的：本专利技术包括基于人体手势和语音的教学方法以及教学系统，用于识别教师对幻灯片的控制手势和控制语音，实现对幻灯片的无设备操控。基于人体手势和语音的教学方法：通过识别人体手势或者语音对幻灯片进行相对应手势或语音的操作。所述的人体手势操作步骤包括：步骤(1)，识别教师手势，在教师所做出的手势对于操作幻灯片有意义时，幻灯片播放软件自动执行与手势相对应的操作，实现幻灯片的自动切换；步骤(2)，采集教师语音，从所采集语音中提取关键字，将提取的关键字与预设的关键字进行比较，当提取的关键字与预设的关键字相符时，幻灯片播放软件自动执行与关键字相对应的操作，实现幻灯片的自动切换。步骤(1)中，识别教师手势，包括：通过手势采集装置采集教师手势；提取所采集的手势特征；将所述教师手势特征与手势模板库里的手势特征轮流比较；得到相似度最大的模板手势后，判断相似度是否超过阈值，若超过阈值，则将该手势判断为教师想要执行的手势。步骤(1)中，根据教师手势，执行与手势相对应的操作，操作指令包括：当手势是从上往下或从左往右滑动时，实现幻灯片放映切换到下一页；当手势是从下往上或从右往左滑动时，实现幻灯片放映切换到上一页；当手势是伸出一根手指并停留一秒以上，实现幻灯片放映跳转第一个超链接，伸出两根手指并停留一秒以上跳转第二个超链接，依此类推；当手势是从双手合并到向两侧分开，实现幻灯片放映的放大操作，反之执行缩小操作。步骤(2)中，当提取的关键字与预设的关键字相符时，执行与预设的关键字相对应的操作指令，包括：当语音是“切换到上一页”，实现幻灯片放映切换到上一页；当语音是“跳转到第#页”时，则将幻灯片切换到第“#”页，其中“#”为正整数；当语音是“切换到下一页”，实现幻灯片放映切换到下一页；当语音是“跳转到第#个链接”，实现幻灯片放映跳转到第#个超链接，其中“#”为正整数。所述的基于人体手势和语音教学方法的专用系统，包括：基本组件和增强组件；其中，基本组件包括：用于采集教师手势的手势采集装置，用于采集教师语音的语音采集装置，用于识别教师手势的手势识别装置，用于识别教师语音的语音识别装置，以及根据手势和语音识别结果进行幻灯片切换的幻灯片播放软件。增强组件包括：用于将教师的语音讲课内容、教师的讲课过程视频以及幻灯片内容进行同步合成的“上课内容合成装置”，用于将合成后内容进行数字存储的硬盘录像机，用于将合成后内容在网络上进行在线发布的视频服务器，用于在本地回放课堂内容的课堂内容回放软件，以及用于在网络上播放课堂内容的“具有视频播放功能的浏览器”或视频服务客户端。手势采集装置与手势识别装置接口，语音采集装置与语音识别装置接口，手势识别装置和语音识别装置都与幻灯片播放软件接口，幻灯片播放软件播放的内容投影到教室前方的投影幕上；语音采集装置、手势采集装置和幻灯片播放软件同时与上课内容合成装置接口，将这三者内容进行同步合成；上课内容合成装置与视频录像机接口，一方面进行数字化存储，一方面供安装在视频录像机内的课堂内容回放软件回放用，另外还通过视频服务器为远程学员提供实时或按需在线教学服务；远程学员利用自己计算机上安装的具有视频播放功能的浏览器或者视频服务客户端，通过因特网连接到视频服务器进行在线学习。所述的手势采集装置为视频摄像机或体感传感器，用于采集教师手势，其安装位置位于讲台正前方和教室的四个角，保证教师在教室的任何位置均不存在手势遮挡现象。所述的语音采集装置为麦克风阵列，用于采集教师语音，在教室内按照教室大小均匀分布安装，保证教师在教室的任何位置的语音均能良好采集。所述的手势识别装置由教学专用计算机和手势识别软件系统构成，专用计算机用于存储标准人体手势并配合手势识别软件系统进行计算识别，手势识别软件系统安装于专用计算机内，由一系列视频/图像处理与识别模块构成，用于识别手势采集装置采集的教师手势，与专用计算机内存储的标准人体手势比较，判定与哪种标准人体手势最为相似。若相似度超过预设阈值，则判定为教师想要执行相应的动作。所述的语音识别装置由教学专用计算机和语音识别软件系统构成，语音识别软件安装于专用计算机内，用于将所述语音采集装置采集的语音信息的转换成文字，并与预设关键字比较，如果语音信息中的关键字与预设关键字相符，则执行相应的操作。有益效果，由于采用了上述方案，该方法和系统通过识别人体手势和语音操作幻灯片，教师无需任何其它设备，便可通过空中交互的方式控制教学进程，不但解除了教师与计算机之间的交互束缚，而且增强了上课的感染力，大大提升了教学效果。该方法和系统可广泛用于学校教学、会议演讲、展览场馆游客互动等场合。附图说明本专利技术上面的和/或附加的方面和优点从下面结合附图对实施例的描述中变得明显和容易理解，其中：图1为本专利技术的一种基于人体手势和语音的教学方法的手势识别流程图。图2为本专利技术的一种基于人体手势和语音的教学方法的语音识别流程图。图3为本专利技术的一种基于人体手势和语音的教学系统图。图4为本专利技术的一种基于人体手势和语音的教学系统设备布置图。具体实施方式本专利技术包括基于人体手势和语音的教学方法以及教学系统。所述的基于人体手势和语音的教学方法：通过识别人体手势或者语音对幻灯片进行相应的操作；所述的人体手势操作步骤包括：通过识别人体手势或者语音对幻灯片进行相对应手势或语音的操作。所述的人体手势操作步骤包括：步骤(1)，识别教师手势，在教师所做出的手势对于操作幻灯片有意义时，幻灯片执行相对应手势的操作，方便教师对幻灯片的操控；步骤(2)，采集教师语音，从所采集语音中提取关键字，将提取的关键字与预设的关键字进行比较，当提取的关键字与预设的关键字相符时，执行与预设的关键字相对应语音的操作指令。步骤(1)中，识别教师手势，包括：通过手势采集装置采集教师手势；提取所采本文档来自技高网...

【技术保护点】
1.一种基于人体手势和语音的教学方法，其特征是：通过识别教师手势或者语音对幻灯片进行相对应手势或语音的操作；所述的人体手势操作步骤包括：步骤（1），识别教师手势，在教师所做出的手势对于操作幻灯片有意义时，幻灯片播放软件自动执行与手势相对应的操作，实现幻灯片的自动切换；步骤（2），采集教师语音，从所采集语音中提取关键字，将提取的关键字与预设的关键字进行比较，当提取的关键字与预设的关键字相符时，幻灯片播放软件自动执行与关键字相对应的操作，实现幻灯片的自动切换。

【技术特征摘要】
1.一种基于人体手势和语音的教学方法，其特征是：通过识别教师手势或者语音对幻灯片进行相对应手势或语音的操作；所述的人体手势操作步骤包括：步骤（1），识别教师手势，在教师所做出的手势对于操作幻灯片有意义时，幻灯片播放软件自动执行与手势相对应的操作，实现幻灯片的自动切换；步骤（2），采集教师语音，从所采集语音中提取关键字，将提取的关键字与预设的关键字进行比较，当提取的关键字与预设的关键字相符时，幻灯片播放软件自动执行与关键字相对应的操作，实现幻灯片的自动切换。2.根据权利要求1所述的一种基于人体手势和语音的教学方法，其特征是：步骤（1）中，识别教师手势，包括：通过手势采集装置采集教师手势；提取所采集手势的特征；将教师手势特征与手势模板库里的手势特征轮流比较；得到相似度最大的模板手势后，判断相似度是否超过阈值，若超过阈值，则将该手势判断为教师想要执行的手势。3.根据权利要求1所述的一种基于人体手势和语音的教学方法，其特征是：所述的步骤（1）中，根据教师手势，执行与手势相对应的操作，操作指令包括：当手势是从上往下或从左往右滑动时，实现幻灯片放映切换到下一页；当手势是从下往上或从右往左滑动时，实现幻灯片放映切换到上一页；当手势是伸出一根手指并停留一秒以上，实现幻灯片放映跳转第一个超链接，伸出两根手指并停留一秒以上跳转第二个超链接，依此类推；当手势是从双手合并到向两侧分开，实现幻灯片放映的放大操作，反之执行缩小操作。4.根据权利要求1所述的一种基于人体手势和语音的教学方法，其特征是：所述的步骤（2）中，当提取的关键字与预设的关键字相符时，执行与预设的关键字相对应的操作指令，包括：当语音是“切换到上一页”，实现幻灯片放映切换到上一页；当语音是“跳转到第#页”时，则将幻灯片切换到第“#”页，其中“#”为正整数；当语音是“切换到下一页”，实现幻灯片放映切换到下一页；当语音是“跳转到第#个链接”，实现幻灯片放映跳转到第#个超链接，其中“#”为正整数。5.权利要求1所述的一种基于人体手势和语音的教学方法的专用系统，其特征是包括基本组件和增强组件；其中，基本组件包括：用于采集教师手势的手势采集装置、用于采集教师语音的语音采集装置、用于识别教师手势的手势识别装置、用于识别教师语音的语音识别装置以及根据手势和语音识别结果进行...

【专利技术属性】
技术研发人员：胡青松，张亮，贾升煜，程勇，罗大伟，杨俊伟，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32