一种教育机器人与课堂教学的控制方法及系统技术方案

本发明专利技术涉及教育机器人技术领域，具体公开了一种教育机器人与课堂教学的控制方法及系统，系统包括多媒态双臂教育机器人、多媒态服务器、多媒态学生端和多媒态教师端，多媒态双臂教育机器人包括机器人本体、多媒体通信模块、多媒体采集模块、多媒态信息处理模块、教学模块和状态分析模块；多媒态教师端和多媒态学生端用于向多媒态通信模块发送教学模式指令，教学模式指令包括课堂教学模式和课堂辅导模式；课堂教学模式包括教师主讲式、机器人辅助式和机器人主讲式；教师主讲式中，状态分析模块用于分析学生的学习情况并反馈，教学模块基于学生的学习情况对学生进行辅导和提示。采用本发明专利技术的技术方案能够使课堂教学中的互动更高效。

【技术实现步骤摘要】
一种教育机器人与课堂教学的控制方法及系统
本专利技术涉及多媒态双臂教育机器人
，特别涉及一种教育机器人与课堂教学的控制方法及系统。
技术介绍
随着社会的发展，教育问题变成一个越来越受关注的话题。为了有效利用宝贵的学习时间，提高学生的学习效率是很重要的，而提高教师与学生的参与度和投入度是提高学习效率的手段之一。随着机器人技术的发展，多媒态双臂教育机器人也逐渐应用的教学中，但是现有的多媒态双臂教育机器人主要是对一些简单的问题进行回答，不能够与学生和教师形成很好的互动，学生和教师的体验性较差，影响其参与度和投入度，无法提供沉浸式动态语言学习环境，不能更好地提高教师与学生的教学效率。为此，需要一种能进行高效互动的教育机器人与课堂教学的控制方法及系统。
技术实现思路
本专利技术提供了一种教育机器人与课堂教学的控制方法及系统，能够使课堂教学中的互动更高效。为了解决上述技术问题，本申请提供如下技术方案：一种教育机器人与课堂教学的控制系统，包括多媒态双臂教育机器人、多媒态服务器、多媒态学生端和多媒态教师端；多媒态双臂教育机器人包括机器人本体、多媒态通信模块、多媒态采集模块、多媒态信息处理模块、教学模块和状态分析模块；多媒态服务器存储有教育资源数据和教学控制模型；教育资源数据包括案例库、学生特征库和教师特征库；状态分析模块与多媒态服务器相连，状态分析模块内部存放有状态分析模型；状态分析模型包括学生表情识别分析模型、学生学习状态分析模型；多媒态采集模块用于采集教师或学生的声波信号和图像信号；多媒态信息处理模块用于从多媒态采集模块获取教师或学生的声波信号和图像信号，对声波信号进行处理，生成语音信息，并对语音信息进行识别，生成文字信息，对图像信号进行处理，生成图像信息；多媒态通信模块用于将语音信息、文字信息或图像信息发送至多媒态教师端或多媒态学生端；多媒态学生端和多媒态教师端还用于采集语音信息和文字信息，并选择多媒态通信模式；多媒态通信模式包括广播式和双向式；双向式包括一对一、一对多和多对多；多媒态教师端和多媒态学生端用于向多媒态通信模块发送教学模式指令，教学模式指令包括课堂教学模式和课堂辅导模式；课堂教学模式包括教师主讲式、机器人辅助式和机器人主讲式；机器人辅助式的类型包括讨论式、个性化式和游戏式；教师主讲式中，状态分析模块用于分析学生的学习情况并反馈，教学模块用于基于学生的学习情况对学生进行辅导和提示；机器人主讲式中，教学模块用于播放预设的教学内容库中的内容进行教学讲解，并从多媒态信息处理模块获取学生的语音信息、文字信息和图像信息，对学生的学习过程进行跟踪；教学内容库中的内容播放完毕后，自动进入课堂辅导模式。基础方案原理及有益效果如下：本方案中，教师和学生可以根据实际教学情况，通过多媒态教师端和多媒态学生端发送教学模式指令，以便多媒态双臂教育机器人在不同的教学模式下执行不同的动作，针对性更强，能更好的与教师或学生进行交互。同时，教师和学生还可以选择多媒态通信模式，实现广播式和双向式的信息传递。多媒态双臂教育机器人参与学生管理，实时分析学生的学习情况，教学模块基于学生的学习情况对学生进行辅导和提示；能提高其学习效率。多媒态信息处理模块将传统单通道教学方式改变成多通道(声音+文字+图像)，互动性更强，而且多种动态信息刺激学生的大脑神经，有助于提高学生的长时记忆能力和学习效率。综上，本方案使学生，老师与多媒态双臂教育机器人之间的互动更高效，更紧密。进一步，教学模块还用于获取多媒态教师端发送的教师课堂讲解内容的文字信息，教学模块还用于分析文字信息，生成讲解结果，基于讲解结果和预设的教学内容对学生进行解答。便于根据教师的讲解，对学生进行解答。进一步，所述多媒态双臂教育机器人还包括广播模块，广播模块还用于从多媒态信息处理模块获取语音信息并播放。进一步，多媒态通信模块还用于从多媒态服务器获取案例库、学生特征库和教师特征库的更新数据。便于对案例库、学生特征库和教师特征库进行更新。进一步，还包括多媒态端，多媒态教师端还用于向多媒态通信模块发送多媒体控制指令，多媒态通信模块还用于根据多媒体控制指令向多媒态端发送控制信号。能协助教师进行多媒体端的控制，简化教师的操作。一种教育机器人与课堂教学的控制方法，包括如下步骤：S1、多媒态学生端或多媒态教师端选择教学模式，教学模式包括教师主讲式、机器人主讲式和机器人辅助式；当选择教师主讲式或机器人主讲式时，转跳到S3，当选择机器人辅助式时，转跳到S2；S2、获取机器人辅助式中的模式类型选择信息，并转跳到S3；模式类型选择信息包括个性化式、讨论式和游戏式；S3、多媒态双臂教育机器人开始授课并采集学生学习时的学习状态信息，学习状态信息包括图像信息、文字信息和语音信息；S4、多媒态双臂教育机器人基于学习时的图像信息、文字信息和语音信息对学生的学习状态进行分析；判断学生是否状态良好，状态不良好包括发呆、东张西望和多动；当学生状态不良好时，转跳到S5，当学生状态良好时，转跳到S6；S5、多媒态双臂教育机器人对学生进行提醒，并在提醒后转跳到S3；S6、多媒态双臂教育机器人向每一学生进行课堂测验；S7、多媒态双臂教育机器人采集学生的学习结果信息，基于学习结果信息对学生的测验结果进行分析；S8、判断单个学生答题正确率是否低于N1；如果低于，转跳到S9，如果不低于，转跳到S11；S9、判断答题正确率低于N1的学生测验次数是否超过N次，如果超过转跳到S14，如果不超过，转跳到S10；S10，对学生进行重新分组，调整教学方法，并转跳到S1；S11、判断单个学生答题正确率是否低于N2，如果低于转跳到S2，如果不低于，转跳到S12；S12、判断单个学生答题正确率是否高于N3，如果不高于，转跳到S13，如果高于，转跳到S14；其中，N1＜N2＜N3；S13、将答题正确率不高于N3的学生分入自习组；并转跳到S6；S14、获取教师的总结并播放。本方案中，教师和学生可以根据实际教学情况，通过教师端和学生端选择教学模式，以便多媒态双臂教育机器人在不同的教学模式下执行不同的动作，针对性更强，能更好的与教师或学生进行交互。多媒态双臂教育机器人参与学生管理，实时分析学生的学习情况，教学模块基于学生的学习情况对学生进行辅导和提示；能提高其学习效率。综上，本方案使学生，老师与多媒态双臂教育机器人之间的互动更高效，更紧密。附图说明图1为实施一教育机器人与课堂教学的控制系统的逻辑框图；图2为实施二教育机器人与课堂教学的控制系统中视觉跟踪单元、语音采集单元和通信模块信息采集的示意图；图3为实施二教育机器人与课堂教学的控制系统中视觉跟踪单元信息传递的示意图；图4为实施例二教育机器人与课堂教学的控制系统中通信模式的流程示意图；本文档来自技高网...

【技术保护点】
1.一种教育机器人与课堂教学的控制系统，包括多媒态双臂教育机器人、多媒态服务器、多媒态学生端和多媒态教师端；/n其特征在于，多媒态双臂教育机器人包括机器人本体、多媒态通信模块、多媒态采集模块、多媒态信息处理模块、教学模块和状态分析模块；/n多媒态服务器存储有教育资源数据和教学控制模型；教育资源数据包括案例库、学生特征库和教师特征库；/n状态分析模块与多媒态服务器相连，状态分析模块内部存放有状态分析模型；状态分析模型包括学生表情识别分析模型、学生学习状态分析模型；/n多媒态采集模块用于采集教师或学生的声波信号和图像信号；多媒态信息处理模块用于从多媒态采集模块获取教师或学生的声波信号和图像信号，对声波信号进行处理，生成语音信息，并对语音信息进行识别，生成文字信息，对图像信号进行处理，生成图像信息；多媒态通信模块用于将语音信息、文字信息或图像信息发送至多媒态教师端或多媒态学生端；/n多媒态学生端和多媒态教师端还用于采集语音信息和文字信息，并选择多媒态通信模式；多媒态通信模式包括广播式和双向式；双向式包括一对一、一对多和多对多；/n多媒态教师端和多媒态学生端用于向多媒态通信模块发送教学模式指令，教学模式指令包括课堂教学模式和课堂辅导模式；课堂教学模式包括教师主讲式、机器人辅助式和机器人主讲式；机器人辅助式的类型包括讨论式、个性化式和游戏式；/n教师主讲式中，状态分析模块用于分析学生的学习情况并反馈，教学模块用于基于学生的学习情况对学生进行辅导和提示；/n机器人主讲式中，教学模块用于播放预设的教学内容库中的内容进行教学讲解，并从多媒态信息处理模块获取学生的语音信息、文字信息和图像信息，对学生的学习过程进行跟踪；教学内容库中的内容播放完毕后，自动进入课堂辅导模式。/n...

【技术特征摘要】
1.一种教育机器人与课堂教学的控制系统，包括多媒态双臂教育机器人、多媒态服务器、多媒态学生端和多媒态教师端；
其特征在于，多媒态双臂教育机器人包括机器人本体、多媒态通信模块、多媒态采集模块、多媒态信息处理模块、教学模块和状态分析模块；
多媒态服务器存储有教育资源数据和教学控制模型；教育资源数据包括案例库、学生特征库和教师特征库；
状态分析模块与多媒态服务器相连，状态分析模块内部存放有状态分析模型；状态分析模型包括学生表情识别分析模型、学生学习状态分析模型；
多媒态采集模块用于采集教师或学生的声波信号和图像信号；多媒态信息处理模块用于从多媒态采集模块获取教师或学生的声波信号和图像信号，对声波信号进行处理，生成语音信息，并对语音信息进行识别，生成文字信息，对图像信号进行处理，生成图像信息；多媒态通信模块用于将语音信息、文字信息或图像信息发送至多媒态教师端或多媒态学生端；
多媒态学生端和多媒态教师端还用于采集语音信息和文字信息，并选择多媒态通信模式；多媒态通信模式包括广播式和双向式；双向式包括一对一、一对多和多对多；
多媒态教师端和多媒态学生端用于向多媒态通信模块发送教学模式指令，教学模式指令包括课堂教学模式和课堂辅导模式；课堂教学模式包括教师主讲式、机器人辅助式和机器人主讲式；机器人辅助式的类型包括讨论式、个性化式和游戏式；
教师主讲式中，状态分析模块用于分析学生的学习情况并反馈，教学模块用于基于学生的学习情况对学生进行辅导和提示；
机器人主讲式中，教学模块用于播放预设的教学内容库中的内容进行教学讲解，并从多媒态信息处理模块获取学生的语音信息、文字信息和图像信息，对学生的学习过程进行跟踪；教学内容库中的内容播放完毕后，自动进入课堂辅导模式。


2.根据权利要求1所述的教育机器人与课堂教学的控制系统，其特征在于：教学模块还用于获取多媒态教师端发送的教师课堂讲解内容的文字信息，教学模块还用于分析文字信息，生成讲解结果，基于讲解结果和预设的教学内容对学生进行解答。


3.根据权利要求2所述的教育机器人与课堂教学的控制系统，其特征在于：所述多媒态双臂教育机器人还包括广播模块，广播模块还用于从多媒态信息处理模块获取语音信息并播放。

【专利技术属性】
技术研发人员：何宋西莹，
申请(专利权)人：重庆师范大学，重庆鲁班机器人技术研究院有限公司，
类型：发明
国别省市：重庆;50