一种基于人工智能的在线教育人机交互方法与系统技术方案

本发明专利技术公开了一种基于人工智能的在线教育人机交互方法与系统，涉及电子信息领域的一种数字化视听技术，包括一种能够识别受众情绪的子系统和智能会话子系统。尤其是将其二者与在线教育系统相结合，可以更好向受众呈现个性化的教学内容。本系统从增强在线学习的人机交互生动性角度出发，情绪识别子系统通过用户观看视频时的表情来判断用户的学习状态，然后智能会话子系统依据用户的状态进行机器问答式的交互。情绪识别子系统最终将受众的情绪分为七类：生气、厌恶、害怕、伤心、惊讶、中立、开心。而智能会话子系统会根据不同的情绪来调节相应的课程内容并进行机器问答式的交互，从而起到将传统课堂上的师生交互与反馈搬到线上，赋予在线课堂以更加逼真的拟人互动性。

A method and system of human-machine interaction based on artificial intelligence for online education

The invention discloses an online education human-computer interaction method and system based on artificial intelligence, which involves a digital audio-visual technology in the field of electronic information, including a subsystem and an intelligent session subsystem that can identify the audience's emotions. In particular, combining them with the online education system can give the audience more personalized teaching content. From the view of enhancing the human-computer interaction and vividness of the online learning, the system determines the learning state of the user through the user watching the expression of the video, and then the intelligent session subsystem carries out the machine question and answer interaction according to the user's state. The emotion recognition subsystem finally divides the audience's emotions into seven categories: anger, disgust, fear, sadness, surprise, neutrality and happiness. The intelligent conversation subsystem will adjust the course content according to the different emotion and carry on the interactive machine question and answer type, so as to move the teachers and students' interaction and feedback in the traditional classroom to the line, and give the online classroom more realistic personification.

【技术实现步骤摘要】
一种基于人工智能的在线教育人机交互方法与系统
本专利技术涉及电子信息领域的一种数字化视听技术，包括一种能够识别受众情绪的子系统和智能会话子系统，尤其是将其二者与在线教育系统相结合，可以更好向受众呈现个性化的教学内容。
技术介绍
在线教育(也称为e-Learning)是通过应用信息科技和互联网技术进行课程内容传播分享和快速学习的方法。在线教育的教学方式以网络为介质，用户与教师通过网络即使相隔万里也可以开展教学活动；此外，借助网络课件，用户还可以随时随地进行学习，真正打破了时间和空间的限制，网络远程教育是最方便不过的学习方式。现有的在线教育系统，包括教师终端、网关服务器、用户终端等设备、教师终端提供课程的视频信息，然后宽带网关设备通过网关服务器将课程视频信息发送到用户终端，受众通过用户终端即可观看老师的授课内容。然而，在发展的过程中也出现了一些问题：由于虚拟世界的限制，受众与老师交互性不好；每个用户的学习进度不一致，对知识点的掌握程度不一样，而采用统一的课表难以满足受众个性化的需求。为了解决上述技术问题，专利CN201320133075.8公开了包括教师终端、服务器和至少一个用户终端的解决方案，所述教师终端和所述至少一个用户终端都借助于无线通信网络连接到所述服务器。专利CN201410132195.5公开了一种在线教育互动的方法及系统，包括由第一客户端获取用户手动书写的信息，响应用户的发送请求，将手动书写的信息发送至目标客户端；目标客户端接收后，将所述信息呈现给目标用户，同时获取目标用户手动书写的反馈信息的方式来实现。专利CN201310567606.9公开发了一种在线教育提问方法及系统，包括服务器，以及与该服务器连接的讲师端和若干用户端，该系统包括：提交模块，设置于讲师端和若干用户端；用于用户端提交问题或者答案至服务器的转发模块；转发模块，设置于服务器中，用于服务器将问题发送至其他用户端和讲师端进行显示，以及所述答案发送至用户端和讲师端。专利CN201610813907.9提供了一种移动互联网的在线教育系统，包括：云存储端、客户端、资料结构化单元、个性化推荐单元、学习评估单元等模块。云存储端用于提供海量数据的云存储，实现数据保存、备份；客户端，该客户端用于上传或下载相应的数据；资料结构化单元用于将数据中的学习资料进行分类并转换成细粒度可考核，形成可评估数据；个性化推荐单元根据学习资料官方定制或用户个性化定制若干课程模板，该模块根据课程模板定制课程顺序实现在线教育；学习评估单元根据练习评测、测验评测、学习过程收集的数据，评估学员学习情况。总体来看，虽然现有的在线教育系统已经能够在某些方面初步提供个性化的服务，但在交互在线教育方法与系统方面还未见专利报道。本专利技术以现有流行在线教育平台为基础框架，以情绪识别模块的输出为依据，通过智能会话模块围绕课程内容进行个性化的人机交互。
技术实现思路
目前的在线教育，向用户直接提供视频，无法根据用户的学习状态适时调整课堂内容，因此，效果并不理想。它对用户的认知水平要求较高；缺乏有效管理；对于系统性和操作性较强的知识的学习缺乏优势，缺乏人机互动交流。本专利技术公开一种基于人工智能的在线教育人机交互方法与系统，包括在线教育人机交互方法、情绪识别子系统和智能会话子系统。本系统从增强在线学习的人机交互生动性角度出发，情绪识别子系统通过用户观看视频时的表情来判断用户的学习状态。而智能会话子系统会根据不同的情绪来调节相应的课程内容并进行机器问答式的交互，从而起到将传统课堂上的师生交互与反馈搬到线上，赋予在线课堂以更加逼真的拟人互动性。(如图1)面向在线教育的情绪识别子系统是指，通过用户端摄像头采集的影像信息，利用计算机情绪识别技术分析用户的情绪，进而判断用户的学习状态和接受程度。在此基础上，适时调整在线课程的呈现内容与方式，解决传统在线教育学习效果不佳的问题。面向在线教育的智能会话子系统是指，通过接收用户的语音输入并将其转换成文字形式，再利用自然语言理解模块对其进行处理。会话管理负责协调以上各部分的调用及维护当前会话状态，选择特定回复方式并交由自然语言生成部分进行处理。自然语言生成部分输出文字形式的回复，作为输入由语音合成部分将文字转换成语音输出给用户。本专利技术解决其技术问题所采取的具体技术方案：情绪识别子系统可概括为5个部分：卷积神经网络提取图像特征，递归神经网络建模时序特征，音频模块处理音频信息，AggregatedCNN进行粗略分类，融合网络将不同类型特征融合。智能会话子系统可概括为5个部分：语音识别，自然语言理解，对话管理，自然语言生成，语音合成。卷积神经网络作为特征提取器，提取图像特征。递归神经网络将图像特征在时间序列上进行建模。音频模块作为音频特征提取器，提取音频特征。聚集卷积神经网络接收来自卷积神经网络的特征向量，对特征进行粗略的分类。融合网络将不同类型的特征融合，对该小片段视频的情绪进行预测。情绪识别子系统最终将受众的情绪分为七类：生气、厌恶、害怕、伤心、惊讶、中立、开心。语音识别模块负责接收用户的语音输入并将其转换成文字形式交由自然语言理解模块进行处理。自然语言理解模块是了一个基于本体和语义文法的上下文相关问答系统。会话管理模块负责协调各个模块的调用及维护当前会话状态，选择特定回复方式并交由自然语言生成模块进行处理。自然语言生成模块输出文字形式的回复，作为输入交由语音合成模块进行语音合成的处理。语音合成模块中使用统计参数语音合成方法将自然语言生成模块的输出转换成语音，然后输出给用户。针对不同的情绪，智能会话子系统会通过人机问答的形式做出不同的交互，以调节课堂节奏和气氛，帮助用户轻松愉快地完成课程内容的学习。以在线教育为背景，基于人工智能的在线教育人机交互方法将生气、厌恶、害怕、伤心、惊讶、中立、开心七种情绪对应地理解为：课堂节奏过慢或过快产生抵触情绪、不适应讲者的授课风格、课堂内容难度太大产生畏难情绪、跟不上课堂进度、不能理解讲者所授内容(生气、厌恶、害怕、伤心)，意想不到的知识点(惊讶)，正在认真听讲(中立)，对知识点理解的很透彻(开心)。例如，当用户流露出惊讶、中立、开心的表情时，系统会认为其对该部分知识掌握较好，将推送下一场景或给出适当的褒扬，并提升课堂节奏；当用户流露出生气、厌恶的表情时，系统会认为其对老师授课风格不适应，或感觉该部分内容较为枯燥，将播放舒缓音乐等调节课堂气氛，让用户尽快进入良好的学习状态；当用户流露出害怕、伤心的表情时，系统会认为其因为知识内容太过深入难以理解，或产生了畏难情绪，将给课堂管理者及时的反馈，并适当调整课程内容或者补充辅助的知识，帮助用户重新理解这部分内容。智能会话子系统在用户学习的同时会自动管理一个重点内容提示窗口，该窗口是当前讲述内容的重点知识。依据所讲述的内容智能会话子系统在适当的场景下提出对应的问题。若用户回答正确且情绪识别子系统的反馈结果为惊讶、中立或开心的三者之一，则将推送下一教学场景。若用户回答正确且情绪识别子系统的反馈是厌恶，智能会话子系统则发出“这个内容或许有些单调，但这是基础，沉住气坚持下去”等类似的温馨提示。若在教学过程中用户出现生气或厌恶情绪，则由智能会话子系统播放舒缓的乐曲或者风趣的问答对话，待用户情绪本文档来自技高网...

【技术保护点】
一种基于人工智能的在线教育人机交互方法与系统，包括：在线教育人机交互方法、情绪识别子系统、智能会话子系统、课堂组织模块；其特征在于：所述在线教育人机交互方法具有两个与用户进行交互的方法，分别是：情绪识别子系统和智能会话子系统。所述情绪识别子系统通过学生端摄像头采集的影像信息，利用计算机情绪识别技术分析学生的情绪，进而判断受教育者的学习状态和接受程度。所述智能会话子系统通过接收学生的语音输入并将其转换成文字形式，再利用自然语言理解模块对其进行处理。

【技术特征摘要】
1.一种基于人工智能的在线教育人机交互方法与系统，包括：在线教育人机交互方法、情绪识别子系统、智能会话子系统、课堂组织模块；其特征在于：所述在线教育人机交互方法具有两个与用户进行交互的方法，分别是：情绪识别子系统和智能会话子系统。所述情绪识别子系统通过学生端摄像头采集的影像信息，利用计算机情绪识别技术分析学生的情绪，进而判断受教育者的学习状态和接受程度。所述智能会话子系统通过接收学生的语音输入并将其转换成文字形式，再利用自然语言理解模块对其进行处理。2.根据权利要求1所述的一种基于人工智能的在线教育人机交互方法与系统，其特征在于：情绪识别子系统包括5个部分，分别为：卷积神经网络提取图像特征，递归神经网络建模时序特征，音频模块处理音频信息，AggregatedCNN进行粗略分类，融合网络将不同类型特征融合。3.根据权利要求1、2情绪识别子系统将用户情绪分为7类，分别是：生气、厌恶、害怕、开心、伤心、惊讶和中立。4.根据权利要求1所述的一种基于人工智能的在线教育人机交互方法与系统，其特征在于：智能会话子系统包括5个部分，分别为：语音识别模块、自然语言理解模块、会话管理模块、自然语言生成模块、语音合成模块，其中语音识别模块负责接收用户的语音输入并将其转换成文字形式交由自然语言理解模块进行处理。自然语言理解模块是了一个基于本体和语义文法的上下文相关问答系统。会话管理模块负责协调各个模块的调用及维护当前会话状态，选择特定回复方式并交由自然语言生成模块进行处理。自然语言生成模块输出文字形式的回复，作为输入交由语音合成模块进行语音合成的处理。语音合成模块中使用统计参数语音合成方法将自然语言生成模块的输出转换成语音，然后输出给用户。5.根据权利要求1所述的一种基于人工智能的在线教育人机交互方...

【专利技术属性】
技术研发人员：吴春国，张怡美，石一锐，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22